Auditite
Tutti i playbook
Guida Technical SEO Specialist

Guida alle best practice per robots.txt con Auditite

Padroneggia la configurazione del robots.txt per controllare l'accesso dei crawler, proteggere le pagine sensibili e ottimizzare l'allocazione del crawl budget.

Panoramica

Il file robots.txt controlla a quali parti del tuo sito possono accedere i crawler dei motori di ricerca. Un robots.txt configurato male può bloccare l'indicizzazione di pagine critiche o sprecare crawl budget su URL di basso valore. Questa guida copre le best practice per ogni scenario comune.

Passaggio 1: fai l'audit del tuo robots.txt attuale

  1. Accedi al tuo robots.txt su yourdomain.com/robots.txt.
  2. Verificalo con il tester del robots.txt di Google Search Console.
  3. Verifica che nessuna pagina o risorsa critica sia bloccata per errore.
  4. Verifica che i file CSS e JavaScript necessari per il rendering non siano bloccati.

Passaggio 2: comprendi la sintassi

Direttive di base

DirettivaScopo
User-agentSpecifica a quale crawler si applicano le regole
DisallowBlocca la scansione del percorso specificato
AllowHa la precedenza su un Disallow per un percorso più specifico
SitemapPunta alla posizione della tua sitemap XML
Crawl-delayRichiede un ritardo tra le richieste (non rispettato da Google)

Regole di precedenza

  • I percorsi più specifici hanno la precedenza su quelli meno specifici.
  • Allow ha la precedenza su Disallow quando la lunghezza dei percorsi è uguale.
  • Le regole distinguono tra maiuscole e minuscole nei percorsi.
  • I caratteri jolly (*) corrispondono a qualsiasi sequenza di caratteri.
  • Il carattere $ indica la fine di un URL.

Passaggio 3: pattern di configurazione comuni

Blocca le pagine di amministrazione e quelle interne

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/

Blocca risultati di ricerca e filtri

Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=

Consenti risorse specifiche all'interno di directory bloccate

Disallow: /private/
Allow: /private/public-page/

Blocca tipi di file specifici

Disallow: /*.pdf$
Disallow: /*.doc$

Passaggio 4: ottimizzazione del crawl budget

  1. Blocca i parametri URL che creano contenuti duplicati (ordinamento, ID di sessione, parametri di tracciamento).
  2. Blocca le pagine dei risultati della ricerca interna: raramente hanno valore SEO e possono generare URL infiniti.
  3. Blocca le combinazioni di filtri paginate che gestisci con i tag canonical.
  4. Non bloccare le pagine che vuoi impostare su noindex: usa invece il meta robots. Bloccarle con robots.txt impedisce a Google di vedere la direttiva noindex.

Passaggio 5: errori comuni da evitare

Blocco di CSS e JavaScript

Google deve eseguire il rendering delle tue pagine per valutarle. Bloccare i file CSS o JS nel robots.txt impedisce il rendering e può danneggiare il posizionamento.

Usare il robots.txt per la deindicizzazione

Robots.txt impedisce la scansione, non l'indicizzazione. Se una pagina ha link esterni che puntano a essa, Google può comunque indicizzarla senza scansionarla. Usa i meta tag noindex per la rimozione dall'indice.

Regole Disallow troppo ampie

Un Disallow: / blocca l'intero sito. Un Disallow: /blog blocca sia /blog/ sia /blogging-tips/. Includi sempre gli slash finali per le directory.

Dimenticare la direttiva Sitemap

Inserisci sempre la posizione della tua sitemap in fondo al file robots.txt:

Sitemap: https://yourdomain.com/sitemap.xml

Passaggio 6: test e monitoraggio

  1. Dopo ogni modifica al robots.txt, testa il file aggiornato in Google Search Console.
  2. Verifica che le tue pagine più importanti non siano bloccate usando lo strumento Controllo URL.
  3. Monitora le statistiche di scansione di Google Search Console per verificare le variazioni della frequenza di scansione dopo gli aggiornamenti di robots.txt.
  4. Usa Auditite per fare l'audit della configurazione di robots.txt insieme alla scansione completa del sito.
  5. Conserva uno storico delle versioni delle modifiche al tuo robots.txt per poter tornare indietro in caso di problemi.

Robots.txt per più ambienti

Assicurati che gli ambienti di staging e sviluppo blocchino tutti i crawler:

User-agent: *
Disallow: /

Rimuovi questo blocco prima di mettere in produzione qualsiasi ambiente. Andare online per errore con un Disallow totale è uno degli errori di rilascio SEO più comuni.

Smetti di copiare e incollare. Inizia ad automatizzare.

Auditite trasforma i playbook in flussi di audit attivi. Inizia per vedere come.

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.