„Warc-mapreduce” változatai közötti eltérés
(Új oldal, tartalma: „{{DISPLAYTITLE:warc-mapreduce}} Java-ban írt program WARC és WET fájlok feldolgozásához a Hadoop keretrendszer MapReduce nevű API-jával. Így terabá…”) |
|||
| 1. sor: | 1. sor: | ||
{{DISPLAYTITLE:warc-mapreduce}} |
{{DISPLAYTITLE:warc-mapreduce}} |
||
Java-ban írt program [[WARC]] és [[WET]] fájlok feldolgozásához a [[Hadoop]] keretrendszer MapReduce nevű API-jával. Így terabájtos méretű adathalmazok dolgozhatók fel párhuzamos módon egy több ezer node-ból álló klaszteren is hibamentesen, úgy, hogy kisebb, független csomagokra osztja fel őket a rendszer. |
Java-ban írt program [[WARC]] és [[WET]] fájlok feldolgozásához a [[Hadoop]] keretrendszer MapReduce nevű API-jával. Így terabájtos méretű adathalmazok dolgozhatók fel párhuzamos módon egy több ezer node-ból álló klaszteren is hibamentesen, úgy, hogy kisebb, független csomagokra osztja fel őket a rendszer. |
||
| + | |||
| + | [[Mapreduce|Warc-mapreduce]] |
||
---- |
---- |
||
