„Crawler4j” változatai közötti eltérés
| 1. sor: | 1. sor: | ||
| − | 2010-2018 között fejlesztett, nyílt forráskódú, Java nyelven írt, több szálon történő adatgyűjtésre is képes web [[crawler]] program. Beállítható a mélység, a bináris fájlok letölthetősége, az URL-ek maximális száma, a [[ |
+ | 2010-2018 között fejlesztett, nyílt forráskódú, Java nyelven írt, több szálon történő adatgyűjtésre is képes web [[crawler]] program. Beállítható a mélység, a bináris fájlok letölthetősége, az URL-ek maximális száma, a [[user-agent]] string, a politeness szintje (agresszívra állítva másodpercenként 200 Wikipédia oldalt is letölt!). A megszakadt job folytatható, a tartalom pedig Postgres adatbázisba is menthető. |
---- |
---- |
||
A lap jelenlegi, 2021. szeptember 6., 21:57-kori változata
2010-2018 között fejlesztett, nyílt forráskódú, Java nyelven írt, több szálon történő adatgyűjtésre is képes web crawler program. Beállítható a mélység, a bináris fájlok letölthetősége, az URL-ek maximális száma, a user-agent string, a politeness szintje (agresszívra állítva másodpercenként 200 Wikipédia oldalt is letölt!). A megszakadt job folytatható, a tartalom pedig Postgres adatbázisba is menthető.
- https://github.com/yasserg/crawler4j/ A Crawler4j a GitHub-on]
