„Warc-mapreduce” változatai közötti eltérés

Innen: MIA
(Új oldal, tartalma: „{{DISPLAYTITLE:warc-mapreduce}} Java-ban írt program WARC és WET fájlok feldolgozásához a Hadoop keretrendszer MapReduce nevű API-jával. Így terabá…”)
 
 
(3 közbenső módosítás ugyanattól a szerkesztőtől nincs mutatva)
(Nincs különbség)

A lap jelenlegi, 2020. október 12., 13:09-kori változata

Java-ban írt program WARC és WET fájlok feldolgozásához a Hadoop keretrendszer MapReduce nevű API-jával. Így terabájtos méretű adathalmazok dolgozhatók fel párhuzamos módon egy több ezer node-ból álló klaszteren is hibamentesen, úgy, hogy kisebb, független csomagokra osztja fel őket a rendszer.