„Crawler” változatai közötti eltérés
(Új oldal, tartalma: „= (spider, web robot, bot, harvester) = A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lement…”) |
a (→(spider, web robot, bot, harvester)) |
||
| (3 közbenső módosítás, amit 2 másik szerkesztő végzett, nincs mutatva) | |||
| 1. sor: | 1. sor: | ||
= (spider, web robot, bot, harvester) = |
= (spider, web robot, bot, harvester) = |
||
| − | A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: |
+ | A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel: |
| + | * Milyen mélységig kövesse a linkeket egy webhelyen belül? |
||
| + | * Kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig? |
||
| + | * Milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan? |
||
| + | * Milyen gyakorisággal térjen vissza ugyanarra a webhelyre? |
||
| + | * Figyelembe vegye-e a [[robots txt|robots.txt]]-ben megadott tiltásokat? |
||
| + | ---- |
||
| − | * [https://hu.wikipedia.org/wiki/Keres%C5%91robot Magyar Wikipédia: Keresőrobot] |
||
| + | |||
| − | * [https://en.wikipedia.org/wiki/Web_crawler Angol Wikipedia: Web crawler] |
||
| + | * [https://hu.wikipedia.org/wiki/Keres%C5%91robot Wikipédia: Keresőrobot] |
||
| + | * [https://en.wikipedia.org/wiki/Web_crawler Wikipedia: Web crawler] |
||
[[Category:FOGALMAK]] |
[[Category:FOGALMAK]] |
||
A lap jelenlegi, 2023. szeptember 4., 13:13-kori változata
(spider, web robot, bot, harvester)
A keresőgépek számára vagy archiválási célra a weboldalakat linkek mentén bejáró és többnyire tartalmukat is lementő szoftverek gyűjtőneve. A crawler egy előre megadott URL címlistából (seeds) indul ki, majd követi az ezeken a weboldalakon talált linkeket is. A viselkedése részletesen konfigurálható, például ilyen paraméterekkel:
- Milyen mélységig kövesse a linkeket egy webhelyen belül?
- Kövesse-e a más site-okra mutató linkeket és ha igen, akkor meddig?
- Milyen fájltípusokat és milyen mérethatárig mentsen le? hány szálon induljon el párhuzamosan?
- Milyen gyakorisággal térjen vissza ugyanarra a webhelyre?
- Figyelembe vegye-e a robots.txt-ben megadott tiltásokat?
