warc-mapreduce

Innen: MIA
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2017. július 25., 21:00-kor történt szerkesztése után volt. (Új oldal, tartalma: „{{DISPLAYTITLE:warc-mapreduce}} Java-ban írt program WARC és WET fájlok feldolgozásához a Hadoop keretrendszer MapReduce nevű API-jával. Így terabá…”)
(eltér) ← Régebbi változat | Aktuális változat (eltér) | Újabb változat→ (eltér)

Java-ban írt program WARC és WET fájlok feldolgozásához a Hadoop keretrendszer MapReduce nevű API-jával. Így terabájtos méretű adathalmazok dolgozhatók fel párhuzamos módon egy több ezer node-ból álló klaszteren is hibamentesen, úgy, hogy kisebb, független csomagokra osztja fel őket a rendszer.