Crawler

Innen: MIA

(spider, web robot, bot, harvester)

A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel:

  • Milyen mélységig kövesse a linkeket egy webhelyen belül?
  • Kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig?
  • Milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan?
  • Milyen gyakorisággal térjen vissza ugyanarra a webhelyre?
  • Figyelembe vegye-e a robots.txt-ben megadott tiltásokat?