I file Robots sono dei comuni file di testo con determinate istruzioni e vengono spesso utilizzati per isolare alcuni contenuti del nostro sito che non vogliamo far indicizzare allo spider.
Questo metodo potrebbe essere utile per contenuti che vogliamo che rimangano privati e per non mischiare le statistiche delle visite degli utenti con quelle degli spider. Ma si va incontro a un altro problema: quello che se diamo istruzioni allo spider di non indicizzare una certa pagina, quella pagina non apparirà nelle SERP dei motori di ricerca.
La normale sintassi di un file robots è la seguente: