Crawl scope

A Heritrix crawlerbe beépülő modul, amellyel az aratás scope-ja, vagyis a robot által bejárandó webtér kiterjedése szabályozható. Ez a Java objektum dönti el minden talált URI cím esetében, hogy követnie kell-e a Heritrixnek. A következő paraméterezési lehetőségek vannak: BroadScope (csak a kiindulóponttól számított linkmélység számít), SurtPrefixScope (a SURT formára hozott címek prefix része paraméterezhető), FilterScope (különböző típusú szűrőfeltételek - pl. reguláris kifejezések - adhatók meg az URI-ra vonatkozóan). Az egyszerűbb paraméterezhetőség kedvéért van még DomainScope, HostScope és PathScope is, de ugyanezek a SurtPrefixScope-pal is szabályozhatók.

---

• Heritrix User Manual: 6.1.1. Crawl Scope