Template di configurazione del robots.txt con Auditite
Configura correttamente il robots.txt con questo template. Copre direttive per i principali crawler, pattern comuni dei CMS e procedure di test.
Panoramica
Il file robots.txt controlla quali parti del tuo sito i crawler dei motori di ricerca possono raggiungere. Un robots.txt configurato male può impedire l'indicizzazione di contenuti importanti o sprecare crawl budget su pagine di poco valore. Questo template offre configurazioni standard per i tipi di sito più comuni.
Riferimento sintassi robots.txt
| Direttiva | Scopo | Esempio |
|---|---|---|
| User-agent | Specifica a quale crawler si applicano le regole | User-agent: Googlebot |
| Disallow | Blocca la scansione di un percorso | Disallow: /admin/ |
| Allow | Consente esplicitamente la scansione (ha la precedenza su Disallow) | Allow: /admin/public/ |
| Sitemap | Punta alla tua sitemap XML | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | Ritardo tra le richieste di scansione (non rispettato da Google) | Crawl-delay: 10 |
Regole chiave:
- Il robots.txt deve trovarsi nella root:
https://example.com/robots.txt - Le direttive distinguono tra maiuscole e minuscole nei percorsi
- I percorsi più specifici hanno la precedenza su quelli meno specifici
- Un
Disallow:vuoto significa “consenti tutto” - Un robots.txt assente significa “consenti tutto”
Template standard
# Robots.txt for example.com
# Updated: 2026-10-15
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
Template specifici per CMS
WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/
Sitemap: https://example.com/sitemap_index.xml
Shopify
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=
Sitemap: https://example.com/sitemap.xml
E-commerce (generale)
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
Cosa bloccare e cosa consentire
| Tipo di contenuto | Bloccare? | Motivo |
|---|---|---|
| Pagine di admin/login | Sì | Nessun valore SEO, rischio per la sicurezza |
| Pagine dei risultati di ricerca | Sì | Contenuti scarni/duplicati |
| Carrello/checkout | Sì | Nessun valore SEO, dati personali |
| Pagine degli account utente | Sì | Dati personali, nessun valore SEO |
| URL della navigazione a faccette | Sì | Contenuti duplicati, spreco di scansione |
| Parametri di ordinamento/filtro | Sì | Contenuti duplicati |
| Endpoint API | Sì | Non per uso pubblico |
| File CSS/JS | No | Google ne ha bisogno per il rendering |
| Immagini | No | Le immagini devono essere indicizzate |
| PDF/documenti | No | Spesso contenuti di valore |
| Contenuti del blog | No | Contenuti SEO principali |
| Pagine prodotto | No | Contenuti SEO principali |
Configurazione dei crawler AI
| Crawler | User-agent | Scopo | Raccomandazione |
|---|---|---|---|
| GPTBot | GPTBot | Dati di addestramento di OpenAI | Blocca se necessario |
| Google-Extended | Google-Extended | Dati di addestramento di Gemini | Blocca se necessario |
| CCBot | CCBot | Common Crawl | Blocca se necessario |
| Anthropic | anthropic-ai | Dati di addestramento di Claude | Blocca se necessario |
| Bytespider | Bytespider | TikTok/ByteDance | Blocca se necessario |
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Checklist di test
- Il file è accessibile all'indirizzo
/robots.txt(restituisce stato 200) - La sintassi è valida (nessun refuso nelle direttive)
- I contenuti importanti NON sono bloccati
- Le pagine di scarso valore SONO bloccate
- L'URL è incluso nella sitemap ed è valido
- Testato con il tester robots.txt di Google (Search Console)
- Nessun
Disallow: /accidentale che blocchi l'intero sito - I file CSS e JS non sono bloccati (necessari per il rendering)
- La directory delle immagini non è bloccata
Foglio di lavoro dell'audit
| Pattern dell'URL | Attualmente bloccato? | Da bloccare? | Azione necessaria |
|---|---|---|---|
| / (intero sito) | No | ||
| /admin/ | Sì | ||
| /blog/ | No | ||
| /search? | Sì |
Errori comuni
| Errore | Impatto | Correzione |
|---|---|---|
Blocco dell'intero sito (Disallow: /) | Non viene indicizzato nulla | Rimuovi o specifica i percorsi |
| Blocco di CSS/JS | Problemi di rendering, scarsa valutazione | Consenti le directory CSS/JS |
| Blocco delle immagini | Nessun traffico dalla ricerca di immagini | Consenti le directory delle immagini |
| Sitemap non inclusa | Scoperta più lenta delle nuove pagine | Aggiungi la direttiva Sitemap |
| Usare robots.txt per il noindex | Non rimuove dall'indice | Usa invece il meta noindex |
| Spazio prima dei due punti | La direttiva potrebbe non essere interpretata | Rimuovi gli spazi |
Auditite convalida la configurazione del tuo robots.txt a ogni audit, segnalando contenuti importanti bloccati, sitemap mancanti ed errori di sintassi.
Template correlati
Checklist di implementazione dello schema markup per la SEO
Implementa correttamente i dati strutturati con questa checklist sullo schema markup. Copre tutti i principali tipi di schema, i passaggi di validazione e gli errori di implementazione più comuni.
ChecklistChecklist di audit SEO per la sicurezza del sito web
Verifica l'impatto SEO della sicurezza del tuo sito. Copre HTTPS, contenuti misti, header, segnali di malware e stato di Google Safe Browsing.
ScorecardScorecard del SEO audit: workflow SEO automatizzato
Valuta lo stato di salute SEO del tuo sito su fattori tecnici, on-page e off-page. Griglia di valutazione ponderata con raccomandazioni di priorità attuabili.
Vuoi la guida pratica dietro questo template?
Dai un'occhiata ai nostri playbook per guide passo passo al processo di audit.