Crawler4j
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2021. szeptember 6., 21:56-kor történt szerkesztése után volt.
2010-2018 között fejlesztett, nyílt forráskódú, Java nyelven írt, több szálon történő adatgyűjtésre is képes web crawler program. Beállítható a mélység, a bináris fájlok letölthetősége, az URL-ek maximális száma, a user-agent string, a politeness szintje (agresszívra állítva másodpercenként 200 Wikipédia oldalt is letölt!). A megszakadt job folytatható, a tartalom pedig Postgres adatbázisba is menthető.
- https://github.com/yasserg/crawler4j/ A Crawler4j a GitHub-on]
