Crawler4j

Innen: MIA
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2021. szeptember 6., 21:57-kor történt szerkesztése után volt.
(eltér) ← Régebbi változat | Aktuális változat (eltér) | Újabb változat→ (eltér)

2010-2018 között fejlesztett, nyílt forráskódú, Java nyelven írt, több szálon történő adatgyűjtésre is képes web crawler program. Beállítható a mélység, a bináris fájlok letölthetősége, az URL-ek maximális száma, a user-agent string, a politeness szintje (agresszívra állítva másodpercenként 200 Wikipédia oldalt is letölt!). A megszakadt job folytatható, a tartalom pedig Postgres adatbázisba is menthető.

A lap eredeti címe: „https://webarchivum.oszk.hu/mediawiki/index.php?title=Crawler4j&oldid=1654”