Crawl settings

A crawler működését szabályozó paraméterek: pl. milyen típusú fájlokat mentsen, milyen mélységig kövesse a linkeket, milyen gyakran arasson újra egy webhelyet, max. hány kérést küldjön másodpercenként vagy percenként a szervernek, figyelembe vegye-e a robots.txt-ben megadott korlátozásokat?