Chronicrawl

A Chronicrawl egy kísérleti stádiumban levő új crawler, melyet az Ausztrál Nemzeti Könyvtár fejleszt elsősorban hírportálok lementéséhez. A rendszer a böngésző alapú archiválást kombinálja a hagyományosabb link feltáró módszerrel. A robot folyamatosan fut és adaptívan alkalmazkodik az egyes hírportálok oldalainak változási gyakoriságához. A fejlesztés során jelentkező legfontosabb kihívás éppen a változás mértékének és ütemének meghatározása az egyes aloldalak, illetve tartalmi egységek (rovatok) szintjén.

---

• [ https://github.com/nla/chronicrawl A Chronicrawl a GitHub-on]