Il file robots.txt è un semplice file di testo nella root del sito che istruisce i crawler dei motori di ricerca su quali pagine scansionare o ignorare, ottimizzando il crawl budget e evitando aree inutili come /wp-admin/. Non protegge contenuti sensibili né blocca l'indicizzazione, ma guida l'esplorazione. Su WordPress, si crea manualmente o con plugin SEO, usando direttive come User-agent, Disallow e Allow; testalo sempre con Google Search Console per evitare errori comuni come bloccare l'intero sito. Per esperti, gestisce wildcard, parametri dinamici e integrazioni con meta robots.