Calcolatore del crawl budget: workflow SEO automatizzato
Calcola e ottimizza l'allocazione del crawl budget del tuo sito. Include formule per il crawl rate, l'individuazione degli sprechi e la copertura delle pagine prioritarie.
Panoramica
Il crawl budget è il numero di pagine che un motore di ricerca scansionerà sul tuo sito in un dato intervallo di tempo. Per i siti di grandi dimensioni (oltre 10.000 pagine), un uso inefficiente del crawl budget significa che le pagine importanti vengono scansionate meno di frequente, ritardando l'indicizzazione di nuovi contenuti e aggiornamenti. Questo calcolatore ti aiuta a misurare, analizzare e ottimizzare il tuo crawl budget.
Stima del crawl budget
Estrai questi valori dai log del server o da Google Search Console.
| Metrica | Valore | Fonte |
|---|---|---|
| Richieste totali di Googlebot/giorno (media) | Log del server | |
| Totale pagine indicizzabili | Scansione del sito | |
| URL totali del sito (inclusi quelli non indicizzabili) | Log del server | |
| Dimensione media della pagina (KB) | Scansione del sito | |
| Tempo di risposta del server (ms medi) | Log del server |
Calcolo della frequenza di scansione
Crawl Efficiency = Indexable pages crawled / Total pages crawled × 100
Crawl Freshness = Googlebot requests per day / Total indexable pages
→ If > 1: Pages crawled more than once daily (good)
→ If < 1: Average days between crawls = 1 / Crawl Freshness
Full Crawl Cycle = Total indexable pages / Googlebot requests per day
→ Number of days for Google to crawl every indexable page once
Esempio:
- Richieste di Googlebot/giorno: 5.000
- Pagine indicizzabili: 25.000
- Ciclo di scansione completo: 25.000 / 5.000 = 5 giorni
Individuazione degli sprechi di scansione
Individua gli URL che consumano crawl budget senza dare valore.
| Categoria di spreco | URL | % del crawl budget | Azione |
|---|---|---|---|
| Pagine soft 404 | Correggi o rimuovi | ||
| Catene di redirect (3+ passaggi) | Accorcia fino a renderlo diretto | ||
| Contenuto duplicato (senza canonical) | Aggiungi i canonical tag | ||
| Archivi paginati | Aggiungi noindex oppure usa rel=next/prev | ||
| URL della navigazione a faccette | Blocca con robots.txt o noindex | ||
| Duplicati basati sui parametri | Configurare i parametri URL in GSC | ||
| Prodotti scaduti/esauriti | Restituire 410 o fare redirect | ||
| Pagine orfane (senza link interni) | Aggiungi link o rimuovi | ||
| Pagine di tag/archivio di scarso valore | Noindex | ||
| Spreco totale | % |
Formula dell'impatto dello spreco
Wasted Crawls/Day = Total Googlebot requests × Waste Percentage
Recovered Crawls/Day = Wasted Crawls after fixes are implemented
New Full Crawl Cycle = Indexable pages / (Googlebot requests - Wasted Crawls + Recovered Crawls)
Copertura delle pagine prioritarie
Assicurati che le tue pagine più importanti vengano scansionate di frequente.
| Gruppo di pagine | Numero | Frequenza di scansione target | Frequenza attuale | Lacuna |
|---|---|---|---|---|
| Homepage + navigazione principale | 5-20 | Giornaliero | ||
| Pagine chiave di prodotti/servizi | 20-50 | Ogni 2-3 giorni | ||
| Post del blog con molto traffico | 50-100 | Settimanale | ||
| Nuovi contenuti (ultimi 30 giorni) | Variabile | Ogni giorno nella prima settimana | ||
| Pagine di categoria/archivio | Variabile | Settimanale | ||
| Tutti gli altri contenuti | Variabile | Mensile |
Azioni di ottimizzazione
| Azione | Impatto sul crawl budget | Impegno | Priorità |
|---|---|---|---|
| Correggi le catene di redirect | Alto: elimina più richieste per ogni catena | Basso | 1 |
| Rimuovere/mettere in noindex le pagine scarne | Alto — libera budget per le pagine di valore | Media | 2 |
| Correggi i soft 404 | Medio — evita scansioni sprecate | Basso | 3 |
| Migliora il tempo di risposta del server | Alto — risposte più rapide = più pagine scansionate | Alta | 4 |
| Ottimizza la sitemap XML | Media — indirizza i crawler verso le pagine prioritarie | Basso | 5 |
| Implementa correttamente i canonical | Media — riduce le scansioni duplicate | Media | 6 |
| Blocca gli URL con faceted navigation nel robots.txt | Alto per l'e-commerce: può eliminare migliaia di URL inutili | Basso | 7 |
| Aggiungi link interni alle pagine prioritarie | Media: segnala importanza ai crawler | Media | 8 |
Checklist per l'analisi dei log del server
Per usare questo calcolatore in modo efficace, analizza i log del tuo server per:
- Richieste totali di Googlebot al giorno (filtra per user agent)
- URL scansionati più di frequente
- URL scansionati meno di frequente
- Codici di risposta restituiti a Googlebot (200, 301, 404, 500)
- Tempo di risposta medio alle richieste di Googlebot
- Pagine scansionate che sono in noindex o hanno un canonical verso un'altra pagina
- Pattern di scansione per fascia oraria
Monitoraggio
| Metrica | Frequenza dei controlli | Strumento |
|---|---|---|
| Frequenza di scansione di Googlebot | Settimanale | Log del server |
| Errori di scansione | Settimanale | Google Search Console |
| Tasso di indicizzazione | Mensile | operatore site:, GSC |
| Frequenza di crawl delle pagine prioritarie | Mensile | Log del server |
| Percentuale di crawl waste | Trimestrale | Questo calcolatore + Auditite |
Auditite individua automaticamente lo spreco di crawl budget durante gli audit tecnici, segnalando catene di redirect, soft 404 e contenuti duplicati che consumano risorse dei crawler senza offrire valore SEO.
Template correlati
Template di mappatura dei redirect con Auditite
Pianifica e monitora i reindirizzamenti degli URL durante migrazioni o ristrutturazioni del sito. Include la scelta del tipo di reindirizzamento, il rilevamento delle catene e fogli di lavoro di validazione.
TemplateTemplate di configurazione del robots.txt con Auditite
Configura correttamente il robots.txt con questo template. Copre direttive per i principali crawler, pattern comuni dei CMS e procedure di test.
ChecklistChecklist di implementazione dello schema markup per la SEO
Implementa correttamente i dati strutturati con questa checklist sullo schema markup. Copre tutti i principali tipi di schema, i passaggi di validazione e gli errori di implementazione più comuni.
Vuoi la guida pratica dietro questo template?
Dai un'occhiata ai nostri playbook per guide passo passo al processo di audit.