Robots meta tag
A HTML fájlok head részében elhelyezhető metaadat elem, amellyel a weboldal gazdája szabályozhatja, hogy egy crawler, illetve a mögötte levő keresőrendszer/archívum mit tehet az adott oldallal. A lehetséges opciók: indexelheti-e a tartalmát, követheti-e a rajta levő linkeket, archiválhatja-e a tartalmát, megjeleníthet-e belőle részletet a találati listában? Lásd még: robots.txt.
