Guida alle best practice di robots.txt per i team SEO
Scopri le best practice del robots.txt per controllare l'accesso dei crawler, proteggere le pagine sensibili e ottimizzare in modo efficace il tuo crawl budget.
Il team Auditite
Indice dei contenuti
Capire il robots.txt e il suo ruolo nella SEO
Il file robots.txt è un semplice file di testo collocato nella directory principale del tuo sito web che indica ai crawler dei motori di ricerca quali parti del sito possono e non possono accedere. Nonostante la sua semplicità, una configurazione errata del robots.txt è uno degli errori di SEO tecnica più comuni, e tra i più dannosi.
Una sola direttiva fuori posto può bloccare l'indicizzazione dell'intero sito, mentre un file troppo permissivo può sprecare crawl budget su pagine che non dovrebbero mai comparire nei risultati di ricerca.
Come funziona il robots.txt
Quando un crawler di un motore di ricerca arriva sul tuo dominio, la prima cosa che richiede è https://yourdomain.com/robots.txt. In base alle direttive che trova, decide quali URL può visitare.
Le direttive principali includono:
- User-agent: specifica a quale crawler si applicano le regole (ad es.
Googlebot,Bingbotoppure*per tutti) - Disallow — blocca la scansione del percorso indicato
- Allow — consente esplicitamente la scansione di un percorso (utile per annullare regole Disallow più ampie)
- Sitemap: indica ai crawler la tua sitemap XML
- Crawl-delay — indica a certi bot di attendere tra una richiesta e l'altra (Googlebot non lo rispetta)
Limitazioni importanti
Il robots.txt è una direttiva, non una misura di sicurezza. I bot ben educati la rispettano, ma quelli malevoli la ignorano del tutto. Non usare mai il robots.txt per nascondere informazioni sensibili: usa invece l'autenticazione lato server.
Inoltre, bloccare una pagina con il robots.txt non ne impedisce la comparsa nei risultati di ricerca. Se altri siti linkano una pagina bloccata, Google può comunque indicizzare l'URL (senza contenuto). Per impedire completamente l'indicizzazione, usa invece il meta tag noindex.
Regole essenziali di robots.txt per ogni sito
Blocca i risultati della ricerca interna
Le pagine dei risultati della ricerca interna creano combinazioni di URL quasi infinite che sprecano crawl budget e rischiano di essere segnalate come thin o duplicate content:
Disallow: /search
Disallow: /search?
Blocca la navigazione a faccette
I siti e-commerce con filtri per colore, taglia, fascia di prezzo e altri attributi generano migliaia di URL basati su parametri. Blocca questi percorsi filtrati:
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Blocca le aree di amministrazione e di login
I crawler non hanno motivo di visitare il tuo pannello di amministrazione, le pagine di login o le aree di gestione degli account:
Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/
Blocca le pagine del carrello e del checkout
Le pagine del carrello e del checkout sono specifiche della sessione e non hanno alcun valore SEO:
Disallow: /cart
Disallow: /checkout
Blocca i percorsi di contenuti duplicati
Se il tuo CMS genera più pattern di URL per lo stesso contenuto (ad es. archivi dei tag, archivi per data), blocca i duplicati:
Disallow: /tag/
Disallow: /author/
Includi il riferimento alla sitemap
Includi sempre una direttiva sitemap in fondo al tuo robots.txt:
Sitemap: https://yourdomain.com/sitemap-index.xml
Errori comuni del robots.txt da evitare
Blocco dei file CSS e JavaScript
Anni fa era prassi comune bloccare i file CSS e JS ai crawler. Oggi è dannoso, perché Google ha bisogno di renderizzare completamente le tue pagine per valutarne la qualità. Se Googlebot non può accedere ai tuoi CSS e JS, non può valutare correttamente i tuoi Core Web Vitals né comprendere il layout della pagina.
Usare Disallow: / senza rendersi conto dell'impatto
Una singola direttiva Disallow: / sotto User-agent: * blocca l'intero sito a tutti i crawler. A volte viene aggiunta in fase di sviluppo e dimenticata per errore dopo il lancio. Controlla sempre il tuo robots.txt dopo migrazioni o restyling del sito.
Regole Allow e Disallow in conflitto
Quando più regole si applicano allo stesso percorso URL, i motori di ricerca usano la regola corrispondente più specifica. Tuttavia, affidarsi a questo comportamento genera confusione e complica la manutenzione. Mantieni le regole chiare e senza sovrapposizioni.
Dimenticare di aggiornare dopo le modifiche al sito
Il tuo robots.txt dovrebbe evolversi insieme al sito. Nuovi pattern di URL, sezioni dismesse e modifiche strutturali richiedono tutti aggiornamenti del robots.txt. Includi la revisione del robots.txt nel tuo normale processo di audit SEO tecnico.
Robots.txt per piattaforme diverse
WordPress
WordPress serve un robots.txt virtuale a meno che non esista un file fisico; la nostra guida a robots.txt per WordPress spiega come modificarlo in sicurezza con Yoast, Rank Math o via FTP. I siti WordPress hanno comunemente bisogno di bloccare:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/
Shopify
Shopify genera un file robots.txt predefinito che in genere è ben configurato, ma è possibile personalizzarlo tramite il file template robots.txt.liquid. Tra le aggiunte più comuni c'è il blocco delle pagine di filtro delle collezioni e degli URL delle varianti.
Next.js e single-page application
I siti pesanti in JavaScript richiedono un’attenzione particolare. Assicurati di non bloccare i bundle JavaScript di cui Googlebot ha bisogno per renderizzare le tue pagine. Leggi la nostra guida completa alla SEO per JavaScript per maggiori dettagli.
Testare il tuo robots.txt
Il robots.txt è anche il primo posto in cui guardare quando ti serve la posizione della sitemap di un sito; vedi come trovare la sitemap di un sito web.
Ispezione URL di Google Search Console
Usa lo strumento Controllo URL per verificare se specifici URL sono bloccati dal tuo robots.txt. È il test più autorevole perché usa il vero parser di Google.
Strumenti per testare il robots.txt
Diversi strumenti online possono validare la sintassi del tuo robots.txt e testare URL specifici rispetto alle tue regole. Esegui questi test dopo ogni modifica.
Monitoraggio automatico
Configura un monitoraggio automatico che ti avvisi se il robots.txt cambia in modo inatteso. Una modifica accidentale durante un rilascio potrebbe bloccare la scansione di pagine critiche. Auditite monitora il tuo robots.txt e ti avvisa di qualsiasi modifica che possa incidere sulla SEO.
Tecniche avanzate per il robots.txt
Crawl-delay per i bot non Google
Googlebot ignora la direttiva Crawl-delay, ma altri bot come Bingbot e Yandex la rispettano. Se i crawler secondari sovraccaricano il tuo server, aggiungi un crawl delay:
User-agent: Bingbot
Crawl-delay: 5
Pattern matching con i caratteri jolly
Nei percorsi di robots.txt si possono usare sia * (corrisponde a qualsiasi sequenza di caratteri) sia $ (corrisponde alla fine dell'URL):
Disallow: /*.pdf$— Blocca tutti i file PDFDisallow: /*?sessionid=— Blocca gli URL con parametri di sessioneDisallow: /category/*/feed/— Blocca i feed nei percorsi delle categorie
Regole specifiche per i bot
Puoi creare regole diverse per crawler diversi. È utile quando vuoi che Google scansioni alcune pagine ma non Bing, o viceversa:
User-agent: Googlebot
Allow: /special-section/
User-agent: Bingbot
Disallow: /special-section/
Checklist di audit del robots.txt
Esegui questa checklist durante ogni audit SEO tecnico:
- Il file è accessibile a
https://yourdomain.com/robots.txt - Nessuna pagina critica è bloccata (homepage, pagine prodotto, post del blog)
- I file CSS e JS non sono bloccati
- Le pagine di scarso valore sono bloccate correttamente (ricerca, filtri, admin)
- L'URL della sitemap è incluso
- Non esistono direttive in conflitto
- La sintassi è valida e formattata correttamente
- Il file corrisponde alla struttura attuale del sito (nessuna regola obsoleta)
Punti chiave
Il tuo file robots.txt è uno strumento potente ma poco sfumato per controllare l'accesso dei crawler. Usalo in modo strategico per proteggere il tuo crawl budget, ma ricorda che non sostituisce i tag noindex, i canonical tag o i controlli di accesso lato server. Controllalo regolarmente, testa ogni modifica e mantienilo sempre allineato all'architettura attuale del tuo sito.
Resta aggiornato
Ricevi insight, strategie e aggiornamenti sul prodotto direttamente nella tua casella di posta.
Niente spam. Annulli l’iscrizione quando vuoi.
Vuoi vedere Auditite in azione?
Inizia subito e scopri come Auditite può trasformare il tuo flusso di lavoro di audit SEO.
Inizia ora