Admin: Új oldal, tartalma: „Eredetileg webes keresőgéphez szánt, de ma már inkább webarchiváláshoz használt, Java-ban írt, open source crawler, ami nagyon jól skálázható és bőv…”

2017-07-25T16:16:37Z

Új oldal, tartalma: „Eredetileg webes keresőgéphez szánt, de ma már inkább webarchiváláshoz használt, Java-ban írt, open source crawler, ami nagyon jól skálázható és bőv…”

Új lap

Eredetileg webes keresőgéphez szánt, de ma már inkább webarchiváláshoz használt, Java-ban írt, open source [[crawler]], ami nagyon jól skálázható és bővíthető, és akár egy 100 darabos klaszteren is futtatható, nagy teljesítményű aratógépként. Az 1.x jelű verziója a [[Hadoop]] adatszerkezetre épül, míg a 2.x alá bármilyen NoSQL adattároló megoldás tehető. Összekapcsolható sokféle további eszközzel, pl. az [[Apache Tika]] metaadat- és szövegkiemelővel, vagy a [[Solr]] keresővel. 2014-ben a [[Common Crawl]] a Nutch-t kezdte el használni a tömeges aratásaihoz.

----

* [http://nutch.apache.org Az Apache Nutch honlapja]
* [https://wiki.apache.org/nutch/ Apache Nutch Wiki]
* [https://en.wikipedia.org/wiki/Apache_Nutch Wikipedia: Apache Nutch]

[[Category:SZOFTVEREK]]

Apache Nutch - Laptörténet

Admin: Új oldal, tartalma: „Eredetileg webes keresőgéphez szánt, de ma már inkább webarchiváláshoz használt, Java-ban írt, open source crawler, ami nagyon jól skálázható és bőv…”