Robots meta tag
A lap korábbi változatát látod, amilyen Admin (vitalap | szerkesztései) 2017. július 23., 21:34-kor történt szerkesztése után volt.
A HTML fájlok head részében elhelyezhető metaadat elem, amellyel a weboldal gazdája szabályozhatja, hogy egy crawler, illetve a mögötte levő keresőrendszer/archívum mit tehet az adott oldallal. A lehetséges opciók: indexelheti-e a tartalmát, követheti-e a rajta levő linkeket, archiválhatja-e a tartalmát, megjeleníthet-e belőle részletet a találati listában? Lásd még: robots.txt.
