Auditite
Tutti i template
Template SEO Manager

Template di configurazione del robots.txt con Auditite

Configura correttamente il robots.txt con questo template. Copre direttive per i principali crawler, pattern comuni dei CMS e procedure di test.

Panoramica

Il file robots.txt controlla quali parti del tuo sito i crawler dei motori di ricerca possono raggiungere. Un robots.txt configurato male può impedire l'indicizzazione di contenuti importanti o sprecare crawl budget su pagine di poco valore. Questo template offre configurazioni standard per i tipi di sito più comuni.

Riferimento sintassi robots.txt

DirettivaScopoEsempio
User-agentSpecifica a quale crawler si applicano le regoleUser-agent: Googlebot
DisallowBlocca la scansione di un percorsoDisallow: /admin/
AllowConsente esplicitamente la scansione (ha la precedenza su Disallow)Allow: /admin/public/
SitemapPunta alla tua sitemap XMLSitemap: https://example.com/sitemap.xml
Crawl-delayRitardo tra le richieste di scansione (non rispettato da Google)Crawl-delay: 10

Regole chiave:

  • Il robots.txt deve trovarsi nella root: https://example.com/robots.txt
  • Le direttive distinguono tra maiuscole e minuscole nei percorsi
  • I percorsi più specifici hanno la precedenza su quelli meno specifici
  • Un Disallow: vuoto significa “consenti tutto”
  • Un robots.txt assente significa “consenti tutto”

Template standard

# Robots.txt for example.com
# Updated: 2026-10-15

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Template specifici per CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/

Sitemap: https://example.com/sitemap_index.xml

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=

Sitemap: https://example.com/sitemap.xml

E-commerce (generale)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Cosa bloccare e cosa consentire

Tipo di contenutoBloccare?Motivo
Pagine di admin/loginSìNessun valore SEO, rischio per la sicurezza
Pagine dei risultati di ricercaSìContenuti scarni/duplicati
Carrello/checkoutSìNessun valore SEO, dati personali
Pagine degli account utenteSìDati personali, nessun valore SEO
URL della navigazione a faccetteSìContenuti duplicati, spreco di scansione
Parametri di ordinamento/filtroSìContenuti duplicati
Endpoint APISìNon per uso pubblico
File CSS/JSNoGoogle ne ha bisogno per il rendering
ImmaginiNoLe immagini devono essere indicizzate
PDF/documentiNoSpesso contenuti di valore
Contenuti del blogNoContenuti SEO principali
Pagine prodottoNoContenuti SEO principali

Configurazione dei crawler AI

CrawlerUser-agentScopoRaccomandazione
GPTBotGPTBotDati di addestramento di OpenAIBlocca se necessario
Google-ExtendedGoogle-ExtendedDati di addestramento di GeminiBlocca se necessario
CCBotCCBotCommon CrawlBlocca se necessario
Anthropicanthropic-aiDati di addestramento di ClaudeBlocca se necessario
BytespiderBytespiderTikTok/ByteDanceBlocca se necessario
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Checklist di test

  • Il file è accessibile all'indirizzo /robots.txt (restituisce stato 200)
  • La sintassi è valida (nessun refuso nelle direttive)
  • I contenuti importanti NON sono bloccati
  • Le pagine di scarso valore SONO bloccate
  • L'URL è incluso nella sitemap ed è valido
  • Testato con il tester robots.txt di Google (Search Console)
  • Nessun Disallow: / accidentale che blocchi l'intero sito
  • I file CSS e JS non sono bloccati (necessari per il rendering)
  • La directory delle immagini non è bloccata

Foglio di lavoro dell'audit

Pattern dell'URLAttualmente bloccato?Da bloccare?Azione necessaria
/ (intero sito)No
/admin/Sì
/blog/No
/search?Sì

Errori comuni

ErroreImpattoCorrezione
Blocco dell'intero sito (Disallow: /)Non viene indicizzato nullaRimuovi o specifica i percorsi
Blocco di CSS/JSProblemi di rendering, scarsa valutazioneConsenti le directory CSS/JS
Blocco delle immaginiNessun traffico dalla ricerca di immaginiConsenti le directory delle immagini
Sitemap non inclusaScoperta più lenta delle nuove pagineAggiungi la direttiva Sitemap
Usare robots.txt per il noindexNon rimuove dall'indiceUsa invece il meta noindex
Spazio prima dei due puntiLa direttiva potrebbe non essere interpretataRimuovi gli spazi

Auditite convalida la configurazione del tuo robots.txt a ogni audit, segnalando contenuti importanti bloccati, sitemap mancanti ed errori di sintassi.

Vuoi la guida pratica dietro questo template?

Dai un'occhiata ai nostri playbook per guide passo passo al processo di audit.

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.