Admin: Új oldal, tartalma: „A Heritrix crawlerbe beépülő modul, amellyel az aratás scope-ja, vagyis a robot által bejárandó webtér kiterjedése szabályozható. Ez a Java objek…”

2017-07-25T16:42:28Z

Új oldal, tartalma: „A Heritrix crawlerbe beépülő modul, amellyel az aratás scope-ja, vagyis a robot által bejárandó webtér kiterjedése szabályozható. Ez a Java objek…”

Új lap

A [[Heritrix]] [[crawler]]be beépülő modul, amellyel az aratás [[scope]]-ja, vagyis a robot által bejárandó webtér kiterjedése szabályozható. Ez a Java objektum dönti el minden talált URI cím esetében, hogy követnie kell-e a Heritrixnek. A következő paraméterezési lehetőségek vannak: BroadScope (csak a kiindulóponttól számított linkmélység számít), SurtPrefixScope (a [[SURT]] formára hozott címek prefix része paraméterezhető), FilterScope (különböző típusú szűrőfeltételek - pl. reguláris kifejezések - adhatók meg az URI-ra vonatkozóan). Az egyszerűbb paraméterezhetőség kedvéért van még DomainScope, HostScope és PathScope is, de ugyanezek a SurtPrefixScope-pal is szabályozhatók.

----

* [http://crawler.archive.org/articles/user_manual/config.html#modules Heritrix User Manual: 6.1.1. Crawl Scope]

[[Category:SZOFTVEREK]]

Crawl scope - Laptörténet

Admin: Új oldal, tartalma: „A Heritrix crawlerbe beépülő modul, amellyel az aratás scope-ja, vagyis a robot által bejárandó webtér kiterjedése szabályozható. Ez a Java objek…”