„Crawler” változatai közötti eltérés

Innen: MIA
a ((spider, web robot, bot, harvester))
((spider, web robot, bot, harvester))
1. sor: 1. sor:
 
= (spider, web robot, bot, harvester) =
 
= (spider, web robot, bot, harvester) =
   
A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: milyen mélységig kövesse a linkeket egy webhelyen belül? kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig? milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan? milyen gyakorisággal térjen vissza ugyanarra a webhelyre? figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat?
+
A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel:
  +
* milyen mélységig kövesse a linkeket egy webhelyen belül?
  +
* kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig?
  +
* milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan?
  +
* milyen gyakorisággal térjen vissza ugyanarra a webhelyre?
  +
* figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat?
   
 
----
 
----

A lap 2023. szeptember 4., 13:13-kori változata

(spider, web robot, bot, harvester)

A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel:

  • milyen mélységig kövesse a linkeket egy webhelyen belül?
  • kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig?
  • milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan?
  • milyen gyakorisággal térjen vissza ugyanarra a webhelyre?
  • figyelembe vegye-e a robots.txt-ben megadott tiltásokat?