Admin: Új oldal, tartalma: „Java/Scala szoftver WARC fájloknak az Apache Spark nevű (a Hadoop MapReduce-nál lényegesen gyorsabb) párhuzamos működésű keretrendszeren való feldolgo…”

2017-07-25T16:20:49Z

Új oldal, tartalma: „Java/Scala szoftver WARC fájloknak az Apache Spark nevű (a Hadoop MapReduce-nál lényegesen gyorsabb) párhuzamos működésű keretrendszeren való feldolgo…”

Új lap

Java/Scala szoftver [[WARC]] fájloknak az Apache Spark nevű (a [[Hadoop]] MapReduce-nál lényegesen gyorsabb) párhuzamos működésű keretrendszeren való feldolgozásához, kielemzéséhez. A [[CDX]] indexfájlok alapján dönti el, hogy egy nagyobb [[WARC]] halmazból egyáltalán mit érdemes adatfeldolgozás céljából átadni a Spark rendszernek. (Egyik fejlesztője az [[Internet Archive]] programozója, aki az IA digitalizált könyvállományához is átdolgozta a szoftvert IABooksOnArchiveSpark néven.)

----

* [https://github.com/helgeho/ArchiveSpark A ArchiveSpark a GitHub-on]
* [http://l3s.de/%7Eholzmann/papers/archivespark2016jcdl.pdf Helge Holzmann - Vinay Goel - Avishek Anand: ArchiveSpark: Efficient Web Archive Access, Extraction and Derivation]
* [https://en.wikipedia.org/wiki/Apache_Spark Wikipedia: Apache Spark]

[[Category:SZOFTVEREK]]

ArchiveSpark - Laptörténet

Admin: Új oldal, tartalma: „Java/Scala szoftver WARC fájloknak az Apache Spark nevű (a Hadoop MapReduce-nál lényegesen gyorsabb) párhuzamos működésű keretrendszeren való feldolgo…”