Auditite
Torna al glossario
SEO tecnica

Robots.txt

Scopri cos'è un file robots.txt, come controlla il comportamento di scansione dei motori di ricerca e come configurarlo correttamente per ottenere risultati SEO migliori.

Il file Robots.txt è un file di testo semplice collocato nella root del tuo sito web che fornisce ai crawler dei motori di ricerca istruzioni su quali parti del sito possono o non possono accedere. Segue il Robots Exclusion Protocol ed è il primo file che i bot controllano prima di scansionare il sito. Pur suggerendo un comportamento di scansione, non garantisce che le pagine bloccate vengano escluse dai risultati di ricerca.

Perché conta per la SEO

Il robots.txt ha un ruolo fondamentale nella gestione del crawl budget. Indirizzando i bot lontano da aree di scarso valore come pannelli di amministrazione, ambienti di staging, contenuti duplicati o pagine di navigazione a faccette, fai in modo che i crawler dedichino il loro tempo limitato alle pagine che contano davvero per il tuo posizionamento. I file robots.txt configurati male sono una delle cause più comuni di problemi di indicizzazione e possono bloccare per errore intere sezioni di un sito ai motori di ricerca.

Come configurare robots.txt

Posiziona il file nella root del dominio, in modo che sia accessibile all'indirizzo del dominio seguito da /robots.txt. Usa le direttive User-agent per indicare bot specifici e le regole Disallow per bloccare dei percorsi. La direttiva Allow può prevalere su regole disallow più ampie per specifici sottopercorsi.

Indica la tua sitemap XML in fondo al file con la direttiva Sitemap. Questo aiuta i motori di ricerca a scoprire la sitemap senza dover passare da Google Search Console.

Per le pagine che vuoi escludere del tutto dai risultati di ricerca, usa un meta tag noindex invece del robots.txt. Il blocco tramite robots.txt impedisce ai crawler di vedere la direttiva noindex, e la pagina può quindi continuare ad apparire nei risultati di ricerca.

Errori comuni

  • Bloccare i file CSS e JavaScript: i motori di ricerca moderni devono renderizzare le pagine per capirle. Bloccare le risorse critiche per il rendering compromette il rendering JavaScript e danneggia il tuo posizionamento.
  • Usare il robots.txt per nascondere le pagine dai risultati di ricerca: le pagine bloccate possono comunque essere indicizzate se altri siti le linkano. Usa noindex per la deindicizzazione.
  • Lasciare una direttiva disallow-all dell'ambiente di staging: dopo il lancio di un sito, verifica che il robots.txt non contenga ancora un disallow generalizzato risalente alla fase di sviluppo.
  • Non testare le modifiche: usa il tester del robots.txt in Google Search Console prima di distribuire gli aggiornamenti in produzione.
  • Dimenticare gli slash finali: Disallow /admin blocca /admin, /admin/ e /admin/page, mentre Disallow /admin/ blocca solo i percorsi all'interno della directory.

Un file robots.txt configurato correttamente è alla base della SEO tecnica e prepara il terreno per una scansione e un'indicizzazione efficienti.

Guardalo in azione

Scopri come Auditite mette in pratica il robots.txt.

Esplora la SEO tecnica

Scopri come lo gestisce Auditite

Inizia e scopri la piattaforma in azione.

Inizia ora

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.