Crawl settings
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2017. július 23., 14:36-kor történt szerkesztése után volt. (Új oldal, tartalma: „ A crawler működését szabályozó paraméterek: pl. milyen típusú fájlokat mentsen, milyen mélységig kövesse a linkeket, milyen gyakran arasson újra egy…”)
A crawler működését szabályozó paraméterek: pl. milyen típusú fájlokat mentsen, milyen mélységig kövesse a linkeket, milyen gyakran arasson újra egy webhelyet, max. hány kérést küldjön másodpercenként vagy percenként a szervernek, figyelembe vegye-e a robots.txt-ben megadott korlátozásokat?
