Chronicrawl

Chronicrawl egy kísérleti stádiumban futó crawler. Célja, hogy költséghatékony állandóan futó aratások futtatását biztosítsa. A böngésző alapú aratás kezelést kombinálja a hagyományosabb link feltáró módszerrel. A robot állandóan fut és adaptívan alkalmazkodik az egyes webportálok elemeinek változási gyakoriságához. A fejlesztés során jelentkező legfontosabb kihívás éppen a változási gyakoriság felmérése, a portálok egyes aloldalainak illetve tartalmi egységeinek (rovatainak) szintjén. A projekt gazdája az Ausztrál Nemzeti Könyvtár.

---

• [ https://github.com/nla/chronicrawl A szoftver oldala a GitHub-on]