Guida alle best practice per robots.txt con Auditite
Padroneggia la configurazione del robots.txt per controllare l'accesso dei crawler, proteggere le pagine sensibili e ottimizzare l'allocazione del crawl budget.
Panoramica
Il file robots.txt controlla a quali parti del tuo sito possono accedere i crawler dei motori di ricerca. Un robots.txt configurato male può bloccare l'indicizzazione di pagine critiche o sprecare crawl budget su URL di basso valore. Questa guida copre le best practice per ogni scenario comune.
Passaggio 1: fai l'audit del tuo robots.txt attuale
- Accedi al tuo robots.txt su
yourdomain.com/robots.txt. - Verificalo con il tester del robots.txt di Google Search Console.
- Verifica che nessuna pagina o risorsa critica sia bloccata per errore.
- Verifica che i file CSS e JavaScript necessari per il rendering non siano bloccati.
Passaggio 2: comprendi la sintassi
Direttive di base
| Direttiva | Scopo |
|---|---|
| User-agent | Specifica a quale crawler si applicano le regole |
| Disallow | Blocca la scansione del percorso specificato |
| Allow | Ha la precedenza su un Disallow per un percorso più specifico |
| Sitemap | Punta alla posizione della tua sitemap XML |
| Crawl-delay | Richiede un ritardo tra le richieste (non rispettato da Google) |
Regole di precedenza
- I percorsi più specifici hanno la precedenza su quelli meno specifici.
- Allow ha la precedenza su Disallow quando la lunghezza dei percorsi è uguale.
- Le regole distinguono tra maiuscole e minuscole nei percorsi.
- I caratteri jolly (*) corrispondono a qualsiasi sequenza di caratteri.
- Il carattere $ indica la fine di un URL.
Passaggio 3: pattern di configurazione comuni
Blocca le pagine di amministrazione e quelle interne
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/
Blocca risultati di ricerca e filtri
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=
Consenti risorse specifiche all'interno di directory bloccate
Disallow: /private/
Allow: /private/public-page/
Blocca tipi di file specifici
Disallow: /*.pdf$
Disallow: /*.doc$
Passaggio 4: ottimizzazione del crawl budget
- Blocca i parametri URL che creano contenuti duplicati (ordinamento, ID di sessione, parametri di tracciamento).
- Blocca le pagine dei risultati della ricerca interna: raramente hanno valore SEO e possono generare URL infiniti.
- Blocca le combinazioni di filtri paginate che gestisci con i tag canonical.
- Non bloccare le pagine che vuoi impostare su noindex: usa invece il meta robots. Bloccarle con robots.txt impedisce a Google di vedere la direttiva noindex.
Passaggio 5: errori comuni da evitare
Blocco di CSS e JavaScript
Google deve eseguire il rendering delle tue pagine per valutarle. Bloccare i file CSS o JS nel robots.txt impedisce il rendering e può danneggiare il posizionamento.
Usare il robots.txt per la deindicizzazione
Robots.txt impedisce la scansione, non l'indicizzazione. Se una pagina ha link esterni che puntano a essa, Google può comunque indicizzarla senza scansionarla. Usa i meta tag noindex per la rimozione dall'indice.
Regole Disallow troppo ampie
Un Disallow: / blocca l'intero sito. Un Disallow: /blog blocca sia /blog/ sia /blogging-tips/. Includi sempre gli slash finali per le directory.
Dimenticare la direttiva Sitemap
Inserisci sempre la posizione della tua sitemap in fondo al file robots.txt:
Sitemap: https://yourdomain.com/sitemap.xml
Passaggio 6: test e monitoraggio
- Dopo ogni modifica al robots.txt, testa il file aggiornato in Google Search Console.
- Verifica che le tue pagine più importanti non siano bloccate usando lo strumento Controllo URL.
- Monitora le statistiche di scansione di Google Search Console per verificare le variazioni della frequenza di scansione dopo gli aggiornamenti di robots.txt.
- Usa Auditite per fare l'audit della configurazione di robots.txt insieme alla scansione completa del sito.
- Conserva uno storico delle versioni delle modifiche al tuo robots.txt per poter tornare indietro in caso di problemi.
Robots.txt per più ambienti
Assicurati che gli ambienti di staging e sviluppo blocchino tutti i crawler:
User-agent: *
Disallow: /
Rimuovi questo blocco prima di mettere in produzione qualsiasi ambiente. Andare online per errore con un Disallow totale è uno degli errori di rilascio SEO più comuni.
Playbook correlati
Playbook di implementazione del markup schema per la SEO
Playbook passo passo per implementare i dati strutturati su tutto il sito, ottenere risultati multimediali e migliorare la visibilità nella ricerca.
ChecklistChecklist SEO per la migrazione del sito con Auditite
Checklist completa per preservare l'equity SEO durante spostamenti di dominio, migrazioni di CMS, restyling e passaggi a HTTPS.
PlaybookPlaybook per il test dei dati strutturati con Auditite
Approccio sistematico per testare, convalidare e risolvere i problemi del markup dei dati strutturati su tutto il tuo sito web.
Smetti di copiare e incollare. Inizia ad automatizzare.
Auditite trasforma i playbook in flussi di audit attivi. Inizia per vedere come.