Auditite
Torna al blog
SEO tecnica Audit SEO tecnico 2025-07-02 8 min di lettura

Guida alle best practice di robots.txt per i team SEO

Scopri le best practice del robots.txt per controllare l'accesso dei crawler, proteggere le pagine sensibili e ottimizzare in modo efficace il tuo crawl budget.

A

Il team Auditite

robots.txtSEO tecnicacontrollo della scansioneGooglebot

Capire il robots.txt e il suo ruolo nella SEO

Il file robots.txt è un semplice file di testo collocato nella directory principale del tuo sito web che indica ai crawler dei motori di ricerca quali parti del sito possono e non possono accedere. Nonostante la sua semplicità, una configurazione errata del robots.txt è uno degli errori di SEO tecnica più comuni, e tra i più dannosi.

Una sola direttiva fuori posto può bloccare l'indicizzazione dell'intero sito, mentre un file troppo permissivo può sprecare crawl budget su pagine che non dovrebbero mai comparire nei risultati di ricerca.

Come funziona il robots.txt

Quando un crawler di un motore di ricerca arriva sul tuo dominio, la prima cosa che richiede è https://yourdomain.com/robots.txt. In base alle direttive che trova, decide quali URL può visitare.

Le direttive principali includono:

  • User-agent: specifica a quale crawler si applicano le regole (ad es. Googlebot, Bingbot oppure * per tutti)
  • Disallow — blocca la scansione del percorso indicato
  • Allow — consente esplicitamente la scansione di un percorso (utile per annullare regole Disallow più ampie)
  • Sitemap: indica ai crawler la tua sitemap XML
  • Crawl-delay — indica a certi bot di attendere tra una richiesta e l'altra (Googlebot non lo rispetta)

Limitazioni importanti

Il robots.txt è una direttiva, non una misura di sicurezza. I bot ben educati la rispettano, ma quelli malevoli la ignorano del tutto. Non usare mai il robots.txt per nascondere informazioni sensibili: usa invece l'autenticazione lato server.

Inoltre, bloccare una pagina con il robots.txt non ne impedisce la comparsa nei risultati di ricerca. Se altri siti linkano una pagina bloccata, Google può comunque indicizzare l'URL (senza contenuto). Per impedire completamente l'indicizzazione, usa invece il meta tag noindex.

Regole essenziali di robots.txt per ogni sito

Blocca i risultati della ricerca interna

Le pagine dei risultati della ricerca interna creano combinazioni di URL quasi infinite che sprecano crawl budget e rischiano di essere segnalate come thin o duplicate content:

Disallow: /search
Disallow: /search?

Blocca la navigazione a faccette

I siti e-commerce con filtri per colore, taglia, fascia di prezzo e altri attributi generano migliaia di URL basati su parametri. Blocca questi percorsi filtrati:

Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=

Blocca le aree di amministrazione e di login

I crawler non hanno motivo di visitare il tuo pannello di amministrazione, le pagine di login o le aree di gestione degli account:

Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/

Blocca le pagine del carrello e del checkout

Le pagine del carrello e del checkout sono specifiche della sessione e non hanno alcun valore SEO:

Disallow: /cart
Disallow: /checkout

Blocca i percorsi di contenuti duplicati

Se il tuo CMS genera più pattern di URL per lo stesso contenuto (ad es. archivi dei tag, archivi per data), blocca i duplicati:

Disallow: /tag/
Disallow: /author/

Includi il riferimento alla sitemap

Includi sempre una direttiva sitemap in fondo al tuo robots.txt:

Sitemap: https://yourdomain.com/sitemap-index.xml

Errori comuni del robots.txt da evitare

Blocco dei file CSS e JavaScript

Anni fa era prassi comune bloccare i file CSS e JS ai crawler. Oggi è dannoso, perché Google ha bisogno di renderizzare completamente le tue pagine per valutarne la qualità. Se Googlebot non può accedere ai tuoi CSS e JS, non può valutare correttamente i tuoi Core Web Vitals né comprendere il layout della pagina.

Usare Disallow: / senza rendersi conto dell'impatto

Una singola direttiva Disallow: / sotto User-agent: * blocca l'intero sito a tutti i crawler. A volte viene aggiunta in fase di sviluppo e dimenticata per errore dopo il lancio. Controlla sempre il tuo robots.txt dopo migrazioni o restyling del sito.

Regole Allow e Disallow in conflitto

Quando più regole si applicano allo stesso percorso URL, i motori di ricerca usano la regola corrispondente più specifica. Tuttavia, affidarsi a questo comportamento genera confusione e complica la manutenzione. Mantieni le regole chiare e senza sovrapposizioni.

Dimenticare di aggiornare dopo le modifiche al sito

Il tuo robots.txt dovrebbe evolversi insieme al sito. Nuovi pattern di URL, sezioni dismesse e modifiche strutturali richiedono tutti aggiornamenti del robots.txt. Includi la revisione del robots.txt nel tuo normale processo di audit SEO tecnico.

Robots.txt per piattaforme diverse

WordPress

WordPress serve un robots.txt virtuale a meno che non esista un file fisico; la nostra guida a robots.txt per WordPress spiega come modificarlo in sicurezza con Yoast, Rank Math o via FTP. I siti WordPress hanno comunemente bisogno di bloccare:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/

Shopify

Shopify genera un file robots.txt predefinito che in genere è ben configurato, ma è possibile personalizzarlo tramite il file template robots.txt.liquid. Tra le aggiunte più comuni c'è il blocco delle pagine di filtro delle collezioni e degli URL delle varianti.

Next.js e single-page application

I siti pesanti in JavaScript richiedono un’attenzione particolare. Assicurati di non bloccare i bundle JavaScript di cui Googlebot ha bisogno per renderizzare le tue pagine. Leggi la nostra guida completa alla SEO per JavaScript per maggiori dettagli.

Testare il tuo robots.txt

Il robots.txt è anche il primo posto in cui guardare quando ti serve la posizione della sitemap di un sito; vedi come trovare la sitemap di un sito web.

Ispezione URL di Google Search Console

Usa lo strumento Controllo URL per verificare se specifici URL sono bloccati dal tuo robots.txt. È il test più autorevole perché usa il vero parser di Google.

Strumenti per testare il robots.txt

Diversi strumenti online possono validare la sintassi del tuo robots.txt e testare URL specifici rispetto alle tue regole. Esegui questi test dopo ogni modifica.

Monitoraggio automatico

Configura un monitoraggio automatico che ti avvisi se il robots.txt cambia in modo inatteso. Una modifica accidentale durante un rilascio potrebbe bloccare la scansione di pagine critiche. Auditite monitora il tuo robots.txt e ti avvisa di qualsiasi modifica che possa incidere sulla SEO.

Tecniche avanzate per il robots.txt

Crawl-delay per i bot non Google

Googlebot ignora la direttiva Crawl-delay, ma altri bot come Bingbot e Yandex la rispettano. Se i crawler secondari sovraccaricano il tuo server, aggiungi un crawl delay:

User-agent: Bingbot
Crawl-delay: 5

Pattern matching con i caratteri jolly

Nei percorsi di robots.txt si possono usare sia * (corrisponde a qualsiasi sequenza di caratteri) sia $ (corrisponde alla fine dell'URL):

  • Disallow: /*.pdf$ — Blocca tutti i file PDF
  • Disallow: /*?sessionid= — Blocca gli URL con parametri di sessione
  • Disallow: /category/*/feed/ — Blocca i feed nei percorsi delle categorie

Regole specifiche per i bot

Puoi creare regole diverse per crawler diversi. È utile quando vuoi che Google scansioni alcune pagine ma non Bing, o viceversa:

User-agent: Googlebot
Allow: /special-section/

User-agent: Bingbot
Disallow: /special-section/

Checklist di audit del robots.txt

Esegui questa checklist durante ogni audit SEO tecnico:

  • Il file è accessibile a https://yourdomain.com/robots.txt
  • Nessuna pagina critica è bloccata (homepage, pagine prodotto, post del blog)
  • I file CSS e JS non sono bloccati
  • Le pagine di scarso valore sono bloccate correttamente (ricerca, filtri, admin)
  • L'URL della sitemap è incluso
  • Non esistono direttive in conflitto
  • La sintassi è valida e formattata correttamente
  • Il file corrisponde alla struttura attuale del sito (nessuna regola obsoleta)

Punti chiave

Il tuo file robots.txt è uno strumento potente ma poco sfumato per controllare l'accesso dei crawler. Usalo in modo strategico per proteggere il tuo crawl budget, ma ricorda che non sostituisce i tag noindex, i canonical tag o i controlli di accesso lato server. Controllalo regolarmente, testa ogni modifica e mantienilo sempre allineato all'architettura attuale del tuo sito.

Resta aggiornato

Ricevi insight, strategie e aggiornamenti sul prodotto direttamente nella tua casella di posta.

Niente spam. Annulli l’iscrizione quando vuoi.

Vuoi vedere Auditite in azione?

Inizia subito e scopri come Auditite può trasformare il tuo flusso di lavoro di audit SEO.

Inizia ora
Inizia ora

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.