Robots.txt

Egy egyszerű szövegfájl a gyökérkönyvtárban, mellyel a website adminisztrátora szabályozni tudja, hogy a keresőgépek és az archiváló szolgáltatások által indított crawler-ek a webszerveren levő tartalom mely részét járhatják be, sőt akár ki is tilthatja őket teljesen. (Viszont a crawler szoftverek egy része tartalmaz olyan opciót, amellyel figyelmen kívül hagyhatók a robots.txt-ben megadott tiltások.) A tiltások és engedélyek alkönyvtárakra, fájlokra és az egyes crawler-ekre (user-agent-ekre) korlátozhatók.

A szabályozás másik lehetséges módja a magukban a weboldalakban elhelyezett robots meta tag-ek használata. Lásd még: opt-out.

• Wikipedia: Robots exclusion standard
• robots.txt fájl létrehozása
• The Web Robots Pages
• robotstxt-from-warcs - Robots in the Archives