Admin: Új oldal, tartalma: „Kanadai keresőcég által 2013 óta Java-ban fejlesztett, open source, nagy teljesítményű és teljes körű funkcionalitású web crawler. A begyűjtött tartal…”

2021-09-09T06:40:34Z

Új oldal, tartalma: „Kanadai keresőcég által 2013 óta Java-ban fejlesztett, open source, nagy teljesítményű és teljes körű funkcionalitású web crawler. A begyűjtött tartal…”

Új lap

Kanadai keresőcég által 2013 óta Java-ban fejlesztett, open source, nagy teljesítményű és teljes körű funkcionalitású web [[crawler]]. A begyűjtött tartalom használható keresési célokra, de archívumként is. Konfigurációs fájlokban megadott paraméterekkel parancsmódban futtatható, de API-n keresztül is vezérelhető, így be lehet építeni egy saját alkalmazásba. Van benne nyelvfelismerés és ki tudja nyerni a szöveget HTML, PDF, Word stb fájlokból, sőt a képfájlokat és képi PDF-eket OCR-ezi is. Böngészőn keresztül is tud archiválni és oldalképeket készíteni. Felismeri a korábbi mentéshez képest módosult vagy törölt URL-eket, kezeli a sitemap.xml és a robot.txt szabályokat, valamint a bejelentkezéseket. A tartalmat különféle formátumokba és adatbázisokba tudja elmenteni, akár egyszerre többe is. Fizetős felhőszolgáltatás formájában is kínálja a Norconex.

----

* [https://opensource.norconex.com/collectors/http/ A Norconex HTTP Collector weboldala]
* [https://github.com/Norconex/collector-http A Norconex HTTP Collector a GitHub-on]

[[Category:SZOFTVEREK]]

Norconex HTTP Collector - Laptörténet

Admin: Új oldal, tartalma: „Kanadai keresőcég által 2013 óta Java-ban fejlesztett, open source, nagy teljesítményű és teljes körű funkcionalitású web crawler. A begyűjtött tartal…”