„Warc-mapreduce” változatai közötti eltérés
| (2 közbenső módosítás ugyanattól a szerkesztőtől nincs mutatva) | |||
| 1. sor: | 1. sor: | ||
{{DISPLAYTITLE:warc-mapreduce}} |
{{DISPLAYTITLE:warc-mapreduce}} |
||
Java-ban írt program [[WARC]] és [[WET]] fájlok feldolgozásához a [[Hadoop]] keretrendszer MapReduce nevű API-jával. Így terabájtos méretű adathalmazok dolgozhatók fel párhuzamos módon egy több ezer node-ból álló klaszteren is hibamentesen, úgy, hogy kisebb, független csomagokra osztja fel őket a rendszer. |
Java-ban írt program [[WARC]] és [[WET]] fájlok feldolgozásához a [[Hadoop]] keretrendszer MapReduce nevű API-jával. Így terabájtos méretű adathalmazok dolgozhatók fel párhuzamos módon egy több ezer node-ból álló klaszteren is hibamentesen, úgy, hogy kisebb, független csomagokra osztja fel őket a rendszer. |
||
| − | |||
| − | [[Mapreduce|Warc-mapreduce]] |
||
---- |
---- |
||
