Playbook di ottimizzazione del crawl budget con Auditite
Massimizza l'efficienza di scansione dei motori di ricerca indirizzando il crawl budget verso le tue pagine più preziose e riducendo gli sprechi.
Panoramica
Il crawl budget è il numero di pagine che un motore di ricerca scansionerà sul tuo sito in un dato arco di tempo. Per i siti di grandi dimensioni (oltre 10.000 pagine), il crawl budget influisce direttamente sulla rapidità con cui i contenuti nuovi e aggiornati vengono indicizzati. Questo playbook mostra come massimizzare l'efficienza di scansione.
Passo 1: comprendi il tuo crawl budget
- Controlla il report Statistiche di scansione di Google Search Console per vedere il crawl rate medio giornaliero.
- Esamina la distribuzione delle richieste di scansione per tipo di risposta (200, 301, 404 e così via).
- Analizza la frequenza di crawl per gruppo di URL (usa i log del server per i dati più accurati).
- Confronta il totale degli URL scansionabili con la frequenza di crawl giornaliera per stimare il tempo di crawl dell'intero sito.
Fattori del crawl budget
| Fattore | Impatto |
|---|---|
| Velocità di risposta del server | Risposte più rapide = più pagine scansionate per sessione |
| Popolarità del sito | I siti più popolari ricevono crawl budget maggiori |
| Freschezza dei contenuti | I siti aggiornati di frequente vengono scansionati più spesso |
| Scoperta degli URL | Sitemap e link interni facilitano la scoperta |
| Errori di scansione | Tassi di errore elevati riducono il crawl budget assegnato |
Passaggio 2: individua gli sprechi di crawl budget
Fonti comuni di spreco
- URL della navigazione a faccette. Filtri e ordinamenti creano migliaia di URL quasi duplicati.
- Pagine di ricerca interna. Ogni query di ricerca genera un URL unico con contenuti scarsi.
- Combinazioni di filtri con paginazione. La pagina 47 di un elenco prodotti filtrato ha un valore minimo.
- Pagine soft 404. Pagine che restituiscono 200 ma non hanno contenuti reali.
- URL basati su calendario e date. Pagine di archivio che generano combinazioni infinite di URL.
- Parametri di sessione e di tracciamento. URL con identificatori di sessione univoci.
- Percorsi di contenuto duplicati. Più percorsi URL verso lo stesso contenuto.
Passaggio 3: blocca gli URL di basso valore
- Usa il robots.txt per bloccare i pattern che non generano valore SEO (risultati di ricerca, parametri di sessione).
- Usa il nofollow sui link interni verso le pagine di navigazione a faccette di scarso valore.
- Implementa la gestione dei parametri URL per rimuovere lato server i parametri superflui.
- Consolida i percorsi duplicati con tag canonical e redirect 301.
Passo 4: dai priorità agli URL di maggior valore
- Assicurati che le pagine più importanti siano linkate dalla homepage o dalla navigazione principale (bassa profondità di scansione).
- Invia una sitemap XML che contenga solo le pagine a più alta priorità.
- Usa i link interni per creare percorsi chiari verso le pagine che vuoi far scansionare di frequente.
- Aggiorna regolarmente i contenuti delle pagine prioritarie: i segnali di contenuto fresco favoriscono una scansione più frequente.
Passaggio 5: migliora le prestazioni del server
- Ottimizza il tempo di risposta del server portandolo sotto i 500 ms per tutte le pagine.
- Usa una CDN per ridurre la latenza per i crawler distribuiti a livello globale.
- Assicurati che il tuo server riesca a gestire richieste di scansione simultanee senza limitazioni.
- Monitora gli errori del server: gli errori 500 durante il crawling riducono la frequenza di crawl di Googlebot.
Passaggio 6: metti ordine nello spazio degli URL
- Reindirizza o rimuovi le pagine che non servono a nulla (promozioni obsolete, eventi scaduti, thin content).
- Consolida le pagine quasi duplicate usando tag canonical o redirect 301.
- Rimuovi le pagine di scarso valore dalla sitemap XML.
- Correggi tutti gli errori di crawl segnalati in Google Search Console.
Passaggio 7: monitora l'efficienza del crawl
Monitora queste metriche ogni mese:
- Pagine scansionate in totale al giorno
- Percentuale di pagine scansionate di alto valore (che generano traffico o ricavi)
- Tempo dalla pubblicazione del contenuto alla prima scansione di Googlebot
- Tempo dalla prima scansione all'indicizzazione
- Rapporto tra URL in sitemap e URL indicizzati
- Tempo di risposta del server nei periodi di scansione di picco
- Usa l'analisi dei log del server per verificare che Googlebot dedichi tempo alle tue pagine prioritarie.
- Configura il monitoraggio delle scansioni di Auditite per rilevare i cambiamenti nei pattern di crawl.
- Dopo aver apportato le modifiche, monitora le statistiche di crawl per due-quattro settimane per misurarne l'impatto.
Playbook correlati
Checklist per la migrazione a HTTPS con Auditite
Checklist completa per migrare da HTTP a HTTPS senza perdere ranking, traffico o link equity. Guida passo passo.
ChecklistChecklist SEO per JavaScript con agenti AI
Checklist essenziale per assicurarsi che i contenuti renderizzati con JavaScript siano completamente scansionabili, indicizzabili e performanti per la ricerca.
GuidaGuida all'analisi dei file di log: workflow SEO automatizzato
Usa l'analisi dei log del server per capire come i motori di ricerca scansionano il tuo sito e ottimizzare l'allocazione del crawl budget.
Smetti di copiare e incollare. Inizia ad automatizzare.
Auditite trasforma i playbook in flussi di audit attivi. Inizia per vedere come.