Auditite
Torna al blog
SEO tecnica Audit SEO tecnico 2026-10-12 9 min di lettura

robots.txt in WordPress: cosa inserire e perché

Come funziona il robots.txt di WordPress: il file virtuale predefinito, come modificarlo in Yoast, Rank Math o via FTP, un file consigliato e le regole che danneggiano silenziosamente la SEO.

A

Il team Auditite

robots.txtWordPressSEO tecnicacontrollo della scansione

La maggior parte dei siti WordPress non ha affatto un file robots.txt. Visita https://yoursite.com/robots.txt e ne vedrai comunque uno, perché WordPress lo genera al volo. Questa distanza tra “il file che vedi” e “il file che esiste” è il punto in cui nascono la maggior parte dei problemi del robots.txt su WordPress: si modifica un file fisico che un plugin poi ignora, oppure un'impostazione del plugin che un file fisico sovrascrive in silenzio.

Questa guida spiega come funziona davvero il robots.txt di WordPress, come modificarlo in sicurezza, come si presenta un file sensato per un sito tipico e le regole che toglieremmo da quasi tutti i robots.txt di WordPress che incontriamo.

Come WordPress genera il file robots.txt

Il core di WordPress include una funzione chiamata do_robots(). Quando una richiesta per /robots.txt arriva a WordPress e nella root web non esiste alcun file robots.txt fisico, WordPress ne genera uno virtuale e lo restituisce.

Su un'installazione WordPress aggiornata con la visibilità per i motori di ricerca attivata, il file virtuale ha questo aspetto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Stanno succedendo tre cose:

  1. Disallow: /wp-admin/ tiene i crawler lontani dall'area di amministrazione, che non contiene nulla che valga la pena indicizzare.
  2. Allow: /wp-admin/admin-ajax.php riapre l'unico endpoint di amministrazione che temi e plugin richiamano dal front end. Bloccarlo può impedire a Google di visualizzare i contenuti caricati tramite AJAX.
  3. Sitemap: punta alla sitemap XML di base che WordPress include dalla versione 5.5. Se un plugin SEO sostituisce la sitemap di base, di solito il plugin sostituisce questa riga con il proprio indice delle sitemap (ad esempio sitemap_index.xml).

Poiché il file è virtuale, plugin e temi possono modificarlo tramite il filtro robots_txt senza toccare il file system. È esattamente così che Yoast SEO e Rank Math aggiungono le loro righe di sitemap.

Il file fisico vince sempre

Se carichi un vero robots.txt nella root del web, il tuo web server lo serve direttamente e WordPress non esegue mai do_robots(). Qualsiasi impostazione del plugin che modifica il file virtuale smette di avere effetto. È il motivo più comune per cui qualcuno dice “ho modificato il robots.txt nel mio plugin SEO ma non è cambiato nulla”.

Controllo rapido: apri il file via SFTP o con il file manager del tuo host. Se robots.txt esiste nella stessa cartella di wp-config.php, è quello che viene servito.

Come modificare il robots.txt in WordPress

Ci sono tre modi affidabili. Scegline uno e mantienilo, così esiste sempre una sola fonte di verità.

Opzione 1: Yoast SEO

  1. Vai su Yoast SEO → Strumenti → Editor di file.
  2. Se non esiste alcun file fisico, Yoast offre di crearne uno. Fai clic su Crea file robots.txt.
  3. Modifica e salva.

Nota che l'editor di file di Yoast scrive un file fisico. Da quel momento il file virtuale di WordPress non viene più usato. Se l'opzione File editor non è presente, probabilmente la modifica dei file è disabilitata nella tua installazione (ad esempio tramite DISALLOW_FILE_EDIT in wp-config.php) oppure il tuo host non consente a PHP di scrivere nella root web.

Opzione 2: Rank Math

  1. Vai su Rank Math → Impostazioni generali → Modifica robots.txt.
  2. Modifica il contenuto e salva.

Rank Math modifica il file virtuale tramite il filtro. Se esiste un file robots.txt fisico, Rank Math mostra il campo in sola lettura e ti chiede di eliminare prima il file fisico.

Opzione 3: carica tu stesso il file

  1. Crea un file di testo semplice chiamato robots.txt (UTF-8, senza BOM).
  2. Caricalo via SFTP o con il file manager del tuo hosting nella root del web.
  3. Carica https://yoursite.com/robots.txt in una finestra privata per confermare che venga servito il nuovo contenuto. Svuota la cache della pagina o della CDN se vedi ancora la versione precedente.

Questa opzione è la più prevedibile, soprattutto sugli hosting gestiti e nelle configurazioni multisite, perché nessun plugin può modificarla a tua insaputa.

Per un tipico blog WordPress o sito aziendale, questo è molto vicino a quello che consigliamo:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Perché c'è ogni riga:

  • Le regole admin sono quelle predefinite di WordPress e sono sicure.
  • /?s= e /search/ bloccano gli URL dei risultati della ricerca interna. Le pagine di ricerca interna possono generare un numero illimitato di URL thin quasi duplicati e sono una fonte comune di spam: i bot inviano query contenenti frasi spam e quegli URL possono finire per essere scoperti e sottoposti a scansione. Bloccarli risparmia attività di scansione per le pagine che contano.
  • Sitemap: dovrebbe puntare alla sitemap che il tuo sito serve davvero. Aprila in un browser per confermare che restituisca XML e non un 404. Se non sei sicuro di quale sia la tua sitemap, la nostra guida su come trovare la sitemap di un sito web ti accompagna passo dopo passo.

Aggiunte per WooCommerce

I negozi spesso aggiungono:

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=

Queste pagine sono specifiche per l'utente e non hanno alcun valore di ricerca. La regola add-to-cart conta più di quanto si pensi: ogni link a una scheda prodotto con ?add-to-cart= è un URL scansionabile che genera lavoro per il server.

I filtri a faccette (?filter_color=, ?orderby=) sono una questione di giudizio. Sui cataloghi piccoli, lasciali scansionabili e gestisci i duplicati con i canonical. Sui cataloghi grandi in cui i filtri si moltiplicano in migliaia di combinazioni, bloccare i pattern di parametri peggiori può essere utile. La nostra guida alla navigazione a faccette tratta questa decisione nel dettaglio.

Cosa non mettere nel robots.txt di WordPress

Ecco il punto che la maggior parte dei tutorial sul robots.txt sbaglia: trattano il file come un elenco di “cose da nascondere”. La maggior parte dei problemi del robots.txt su WordPress deriva da regole aggiunte con buone intenzioni anni fa.

Non bloccare /wp-content/ o /wp-includes/

Le vecchie guide lo consigliavano per “proteggere” le cartelle di WordPress. Quelle cartelle contengono i CSS, i JavaScript e le immagini di cui Google ha bisogno per visualizzare le tue pagine. Google renderizza le pagine in modo simile a un browser, quindi bloccare queste risorse può far sembrare le pagine rotte o vuote a Googlebot. La documentazione di Google sconsiglia di bloccare le risorse necessarie per il rendering.

Non bloccare /wp-content/uploads/

È lì che si trovano le tue immagini. Se lo blocchi, le immagini scompaiono da Google Immagini e le pagine che le usano come contesto perdono segnali.

Non usare il robots.txt per rimuovere pagine da Google

Disallow blocca la scansione, non l’indicizzazione. Se altri siti linkano un URL bloccato, Google può comunque indicizzare l’URL stesso, in genere senza descrizione, perché non può leggere la pagina. Peggio ancora, un tag noindex su una pagina bloccata non viene mai visto, perché Google non può scaricarla. Per rimuovere dall’indice archivi di tag, pagine allegato o pagine thin, usa noindex (tramite Yoast o Rank Math) e lasciale scansionabili finché non escono dall’indice.

Non bloccare per riflesso feed, tag o categorie

I feed aiutano la scoperta. Le pagine di categoria sono spesso tra le pagine hub più forti di un blog. Se gli archivi dei tag sono scarni, imposta il noindex; non bloccarli nel robots.txt.

Attenzione ai blocchi generalizzati dei bot

Da quando sono comparsi i crawler dell'AI generativa, molti proprietari di siti hanno aggiunto blocchi come:

User-agent: GPTBot
Disallow: /

È una scelta aziendale legittima. Basta essere precisi su quali user agent si bloccano. Bloccare Googlebot o aggiungere User-agent: * / Disallow: / nel tentativo di bloccare i bot di IA vi rimuoverà del tutto dalla ricerca. L'opt-out di Google dall'addestramento dell'IA usa un token separato, Google-Extended, che non influisce sulla scansione di Google Search.

La casella “Scoraggia i motori di ricerca”

In Impostazioni → Lettura, WordPress ha una casella “Scoraggia i motori di ricerca dall'indicizzare questo sito”. È pensata per i siti di staging e sviluppo. Le versioni attuali di WordPress la implementano soprattutto con un meta tag robots noindex invece di affidarsi al robots.txt.

Il classico scenario di errore: un sito viene costruito in staging con questa casella spuntata, migrato in produzione e lanciato con la casella ancora spuntata. Poche settimane dopo il traffico crolla. Aggiungi “Visibilità per i motori di ricerca” a ogni checklist di lancio e verificala sul sito live all'interno di una checklist per la migrazione del sito.

Come testare il robots.txt di WordPress

  1. Recuperalo direttamente da https://yoursite.com/robots.txt e conferma che restituisca stato 200 con contenuto text/plain. Un errore 5xx su robots.txt è grave: Google potrebbe considerare l'intero sito temporaneamente non accessibile.
  2. Controlla il report robots.txt in Google Search Console (in Impostazioni). Mostra quali file robots.txt Google ha trovato, quando li ha scaricati l'ultima volta ed eventuali problemi di parsing.
  3. Testa gli URL importanti con lo strumento Ispezione URL per verificare che non siano bloccati.
  4. Convalida la sintassi con un validatore robots.txt prima di distribuire le modifiche.
  5. Ricontrolla dopo ogni modifica ai plugin. Cambiare plugin SEO spesso modifica la riga della sitemap e il vecchio URL può restituire un 404.

Un esempio pratico

Ecco un robots.txt ereditato che riscriveremmo a vista (a scopo illustrativo, ma molto rappresentativo):

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /feed/
Disallow: /*?*

Sitemap: https://example.com/sitemap.xml

Problemi, in ordine di gravità:

  1. /wp-includes/, /wp-content/plugins/ e /wp-content/themes/ bloccano CSS e JavaScript di cui Google ha bisogno per renderizzare la pagina.
  2. /*?* blocca ogni URL con una query string, compresi gli URL paginati o con tracciamento legittimi e le chiamate admin-ajax.php con parametri.
  3. /tag/ blocca gli archivi dei tag, ma questi restano indicizzati tramite i link, ora senza alcun contenuto leggibile da Google. Lo strumento giusto è noindex.
  4. /feed/ elimina un utile percorso di scoperta senza alcun vantaggio.
  5. L’URL della sitemap punta a sitemap.xml, ma il sito usa Yoast, che serve sitemap_index.xml.

La versione corretta è il file consigliato mostrato in precedenza, più noindex sugli archivi dei tag impostato nel plugin SEO.

Per uno sguardo più ampio a direttive, caratteri jolly e crawl budget, consulta la nostra guida alle best practice per robots.txt e l’audit SEO tecnico per WordPress.

Domande frequenti

Dove si trova il file robots.txt in WordPress?

Nella maggior parte delle installazioni non esiste un file fisico. WordPress genera un robots.txt virtuale quando viene richiesto /robots.txt. Se esiste un file reale, si trova nella web root, nella stessa cartella di wp-config.php, e sostituisce quello virtuale.

Come modifico robots.txt in WordPress senza un plugin?

Crea un file di testo semplice chiamato robots.txt, caricalo nella root del tuo sito via SFTP o tramite il file manager del tuo hosting e svuota la cache delle pagine o della CDN. Il file fisico sostituisce subito il file virtuale di WordPress.

Perché le modifiche al robots.txt fatte con Yoast o Rank Math non compaiono?

Di solito perché esiste un file robots.txt fisico e il server serve quello al posto della versione virtuale del plugin, oppure perché una cache sta ancora servendo il vecchio file. Controlla la root web e svuota le cache.

Devo bloccare wp-content in robots.txt?

No. wp-content contiene i CSS, i JavaScript e le immagini di cui Google ha bisogno per renderizzare le tue pagine. Bloccarlo può far apparire le pagine rotte a Googlebot e rimuove le immagini da Google Immagini.

Robots.txt può rimuovere una pagina WordPress da Google?

No. Disallow blocca solo la scansione. Per rimuovere una pagina dai risultati di ricerca, aggiungi una direttiva noindex e mantieni la pagina scansionabile, così Google può vederla.

Resta aggiornato

Ricevi insight, strategie e aggiornamenti sul prodotto direttamente nella tua casella di posta.

Niente spam. Annulli l’iscrizione quando vuoi.

Vuoi vedere Auditite in azione?

Inizia subito e scopri come Auditite può trasformare il tuo flusso di lavoro di audit SEO.

Inizia ora
Inizia ora

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.