„Crawler” változatai közötti eltérés
a (→(spider, web robot, bot, harvester)) |
|||
| 1. sor: | 1. sor: | ||
= (spider, web robot, bot, harvester) = |
= (spider, web robot, bot, harvester) = |
||
| − | A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: milyen mélységig kövesse a linkeket egy |
+ | A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: milyen mélységig kövesse a linkeket egy webhelyen belül? kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig? milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan? milyen gyakorisággal térjen vissza ugyanarra a webhelyre? figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat? |
---- |
---- |
||
A lap 2023. szeptember 4., 13:12-kori változata
(spider, web robot, bot, harvester)
A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: milyen mélységig kövesse a linkeket egy webhelyen belül? kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig? milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan? milyen gyakorisággal térjen vissza ugyanarra a webhelyre? figyelembe vegye-e a robots.txt-ben megadott tiltásokat?
