Auditite
Torna al glossario
SEO tecnica

Crawl budget

Scopri cos'è il crawl budget, come i motori di ricerca allocano le risorse di scansione e come ottimizzare il tuo sito perché le pagine importanti vengano indicizzate.

Il crawl budget indica il numero di pagine che un bot di un motore di ricerca scansionerà sul tuo sito in un dato periodo. È determinato da due fattori: il crawl rate limit (quanto velocemente un bot può scansionare senza sovraccaricare il server) e la crawl demand (quanto Google vuole scansionare il tuo sito in base a popolarità e freschezza). Ogni sito riceve una quantità finita di risorse di scansione, e il modo in cui la gestisci incide direttamente su quali pagine vengono scoperte e indicizzate.

Perché conta per la SEO

Il crawl budget diventa critico per i siti di grandi dimensioni con migliaia o milioni di pagine. Se i bot dei motori di ricerca impiegano il tempo a disposizione per effettuare il crawling di pagine di scarso valore, come contenuti duplicati, URL con molti parametri o archivi obsoleti, le tue pagine più importanti potrebbero non essere scansionate né indicizzate. Per i siti più piccoli (sotto qualche migliaio di pagine) il crawl budget raramente è un problema, perché i bot di solito riescono a coprire ogni pagina. Per e-commerce, editori di news e piattaforme enterprise, invece, un crawl budget gestito male porta direttamente a lacune di indicizzazione e a perdite di traffico organico.

Come ottimizzare il crawl budget

Inizia individuando ed eliminando lo spreco di scansione. Usa i log del server o Google Search Console per vedere quali URL Googlebot visita più spesso. Blocca le pagine poco importanti con le direttive del robots.txt oppure applica tag noindex alle pagine che non dovrebbero comparire nei risultati di ricerca. Assicurati che la tua sitemap XML includa solo URL canonical e indicizzabili, così i motori di ricerca danno priorità alle pagine giuste.

Migliora l'architettura del sito per mantenere le pagine importanti a non più di tre clic dalla homepage. Usa i link interni in modo strategico per indicare quali pagine contano di più. Correggi o rimuovi i link rotti e le catene di redirect che sprecano risorse di scansione. Inoltre, mantieni veloci i tempi di risposta del server: un server lento riduce il limite di frequenza di scansione perché i bot rallentano per evitare di sovraccaricare la tua infrastruttura.

Errori comuni

  • Includere pagine noindex nella sitemap: invia segnali contrastanti ai crawler e spreca budget su pagine che non vuoi indicizzare.
  • Ignorare la navigazione a faccette: la navigazione a faccette può creare migliaia di URL basati su parametri che diluiscono in modo significativo il crawl budget.
  • Lasciare le catene di redirect: ogni passaggio di una catena di redirect 301 consuma risorse di scansione. Unifica le catene in singoli redirect.
  • Non monitorare le statistiche di scansione: controlla regolarmente il report Statistiche di scansione in Google Search Console per individuare anomalie, come improvvisi picchi di pagine scansionate ma non indicizzate.
  • Pensare che il crawl budget non conti: anche i siti di medie dimensioni possono sviluppare index bloat nel tempo se le pagine di scarso valore si accumulano senza controllo.

Una gestione efficace del crawl budget fa sì che i motori di ricerca concentrino le loro risorse limitate sulle pagine che generano visibilità organica e ricavi.

Guardalo in azione

Scopri come Auditite mette in pratica il crawl budget.

Esplora la SEO tecnica

Scopri come lo gestisce Auditite

Inizia e scopri la piattaforma in azione.

Inizia ora

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.