Crawl budget
Scopri cos'è il crawl budget, come i motori di ricerca allocano le risorse di scansione e come ottimizzare il tuo sito perché le pagine importanti vengano indicizzate.
Il crawl budget indica il numero di pagine che un bot di un motore di ricerca scansionerà sul tuo sito in un dato periodo. È determinato da due fattori: il crawl rate limit (quanto velocemente un bot può scansionare senza sovraccaricare il server) e la crawl demand (quanto Google vuole scansionare il tuo sito in base a popolarità e freschezza). Ogni sito riceve una quantità finita di risorse di scansione, e il modo in cui la gestisci incide direttamente su quali pagine vengono scoperte e indicizzate.
Perché conta per la SEO
Il crawl budget diventa critico per i siti di grandi dimensioni con migliaia o milioni di pagine. Se i bot dei motori di ricerca impiegano il tempo a disposizione per effettuare il crawling di pagine di scarso valore, come contenuti duplicati, URL con molti parametri o archivi obsoleti, le tue pagine più importanti potrebbero non essere scansionate né indicizzate. Per i siti più piccoli (sotto qualche migliaio di pagine) il crawl budget raramente è un problema, perché i bot di solito riescono a coprire ogni pagina. Per e-commerce, editori di news e piattaforme enterprise, invece, un crawl budget gestito male porta direttamente a lacune di indicizzazione e a perdite di traffico organico.
Come ottimizzare il crawl budget
Inizia individuando ed eliminando lo spreco di scansione. Usa i log del server o Google Search Console per vedere quali URL Googlebot visita più spesso. Blocca le pagine poco importanti con le direttive del robots.txt oppure applica tag noindex alle pagine che non dovrebbero comparire nei risultati di ricerca. Assicurati che la tua sitemap XML includa solo URL canonical e indicizzabili, così i motori di ricerca danno priorità alle pagine giuste.
Migliora l'architettura del sito per mantenere le pagine importanti a non più di tre clic dalla homepage. Usa i link interni in modo strategico per indicare quali pagine contano di più. Correggi o rimuovi i link rotti e le catene di redirect che sprecano risorse di scansione. Inoltre, mantieni veloci i tempi di risposta del server: un server lento riduce il limite di frequenza di scansione perché i bot rallentano per evitare di sovraccaricare la tua infrastruttura.
Errori comuni
- Includere pagine noindex nella sitemap: invia segnali contrastanti ai crawler e spreca budget su pagine che non vuoi indicizzare.
- Ignorare la navigazione a faccette: la navigazione a faccette può creare migliaia di URL basati su parametri che diluiscono in modo significativo il crawl budget.
- Lasciare le catene di redirect: ogni passaggio di una catena di redirect 301 consuma risorse di scansione. Unifica le catene in singoli redirect.
- Non monitorare le statistiche di scansione: controlla regolarmente il report Statistiche di scansione in Google Search Console per individuare anomalie, come improvvisi picchi di pagine scansionate ma non indicizzate.
- Pensare che il crawl budget non conti: anche i siti di medie dimensioni possono sviluppare index bloat nel tempo se le pagine di scarso valore si accumulano senza controllo.
Una gestione efficace del crawl budget fa sì che i motori di ricerca concentrino le loro risorse limitate sulle pagine che generano visibilità organica e ricavi.
Articoli correlati
Rilevata, attualmente non indicizzata: come risolvere
Cosa significa "Rilevata, ma non ancora indicizzata" in Search Console, in cosa si differenzia da "Scansionata, ma non ancora indicizzata" e come risolverlo.
Analisi dei file di log per la SEO: insight sul crawl
Usa l'analisi dei file di log del server per capire come Googlebot scansiona il tuo sito, individuare gli sprechi di crawl budget e ottimizzare per una migliore indicizzazione.
Navigazione a faccette e best practice SEO
Risolvi i problemi SEO della navigazione a faccette. Scopri quando indicizzare i filtri, come gestire i parametri URL ed evitare lo spreco di crawl budget sui siti di grandi dimensioni.