fbpx

File robots: cos’è e come impostarlo

file robots txt

Il file robots.txt è un file testuale con cui poter controllare ciò a cui a gli spider possono accedere quando effettuano la scansione del vostro sito web. Esso deve obbligatoriamente trovarsi al livello root del vostro dominio ed è consultabile aggiungendo la stringa /robots.txt alla home page (ad esempio, https://vostrodominio.com/robots.txt). È assimilabile a un mezzo di comunicazione tra il sito e lo spider.

Leggi tuttoFile robots: cos’è e come impostarlo