Auditite
Torna al blog
SEO tecnica Audit SEO tecnico 2025-09-20 9 min di lettura

Analisi dei file di log per la SEO: insight sul crawl

Usa l'analisi dei file di log del server per capire come Googlebot scansiona il tuo sito, individuare gli sprechi di crawl budget e ottimizzare per una migliore indicizzazione.

A

Il team Auditite

analisi dei file di logSEO tecnicaanalisi del crawlGooglebot

Perché l'analisi dei file di log è la tecnica SEO più sottovalutata

La maggior parte dei professionisti SEO si affida a dati di scansione di terze parti e a Google Search Console per capire come i motori di ricerca interagiscono con i propri siti. Ma c'è una fonte di dati più autorevole che si trova proprio ora sul tuo server: i file di log.

I file di log del server registrano ogni singola richiesta fatta al tuo sito web, comprese quelle dei crawler dei motori di ricerca. Analizzando questi log ottieni una visione reale e puntuale di come Googlebot, Bingbot e gli altri crawler impiegano il loro tempo sul tuo sito, senza campionamenti, stime o interpretazioni di terze parti.

Cosa ti dicono i log del server

Ogni voce di log contiene in genere:

  • Timestamp — quando è stata effettuata la richiesta
  • Indirizzo IP — identifica il richiedente (verificabile rispetto agli IP noti dei bot)
  • User agent — il bot o il browser che effettua la richiesta
  • URL richiesto: quale pagina è stata visitata
  • Codice di stato HTTP — la risposta del server (200, 301, 404, 500 e così via)
  • Byte trasferiti — dimensione della risposta
  • Referrer: da dove proviene la richiesta (spesso vuoto per i bot)
  • Tempo di risposta — quanto tempo ha impiegato il server a rispondere

Da questi dati grezzi puoi ricavare approfondimenti che nessun altro tool SEO è in grado di fornire.

Insight chiave dall'analisi dei file di log

Frequenza di scansione per tipo di pagina

Con quale frequenza Googlebot visita le tue pagine più importanti rispetto a quelle di poco valore? Tra i risultati più comuni:

  • Articoli del blog scansionati ogni giorno mentre le pagine prodotto vengono scansionate ogni mese
  • Pagine di categoria scansionate in eccesso a causa del volume di link interni
  • Nuovi contenuti ignorati perché privi di link interni
  • URL con parametri scansionati in eccesso pur non avendo alcun valore SEO

Se Googlebot spende il 60% del suo crawl budget su pagine che generano il 5% del tuo traffico, hai un problema di crawl budget che richiede attenzione immediata.

Pagine orfane nel mondo reale

Una pagina che compare nei file di log ma non ha link interni nel tuo sito riceve l'attenzione dei crawler tramite link esterni o vecchie voci della sitemap. Confronta gli URL dei log con l'architettura del sito per individuare queste pagine orfane e decidere se integrarle nella struttura o lasciarle così.

Distribuzione dei codici di stato

Analizza la percentuale di richieste che restituiscono ciascun codice di stato:

  • Alta percentuale di 200: sano, i crawler trovano contenuti attivi
  • Alta percentuale di 301/302 — i crawler stanno raggiungendo vecchi URL: valuta di correggere le catene di redirect
  • Alto tasso di 404: notevole spreco di crawl su URL rotti
  • Qualsiasi errore 5xx — Problemi del server che bloccano del tutto la scansione

Crawl rate e prestazioni del server

I file di log rivelano se il tuo server è abbastanza veloce da supportare una scansione efficiente. Se i tempi medi di risposta superano i 500 ms, Googlebot rallenterà la frequenza di scansione. Monitora nel tempo l'andamento dei tempi di risposta per individuare presto un peggioramento delle prestazioni.

Per consigli su come migliorare i tempi di risposta del server, consulta la nostra guida all'ottimizzazione del TTFB.

Scansioni di scoperta vs. di aggiornamento

Classifica le visite dei crawler in:

  • Crawl di scoperta: prime visite a nuovi URL
  • Scansioni di aggiornamento: nuove visite agli URL già scansionati

Se le scansioni di scoperta sono rare, i tuoi nuovi contenuti non vengono trovati abbastanza in fretta. Questo può indicare link interni carenti o una sitemap XML non aggiornata.

Come condurre un'analisi dei file di log

Passaggio 1: raccogli i tuoi log

Ottieni i file di log del server dal tuo hosting provider o dall’amministratore del server. I formati di log più comuni includono:

  • Apache Common Log Format
  • Apache Combined Log Format (include referrer e user agent)
  • Log di accesso di Nginx
  • Log del cloud provider (CloudFront, Cloud CDN, ecc.)

Per i siti dietro una CDN, potrebbe essere necessario raccogliere i log sia dalla CDN sia dal server di origine, perché la CDN può gestire alcune richieste senza raggiungere l'origine.

Passo 2: filtra per i bot dei motori di ricerca

Estrai solo le richieste dei crawler verificati dei motori di ricerca. Cerca gli user agent che contengono:

  • Googlebot (ricerca web)
  • Googlebot-Mobile (ricerca da mobile)
  • Googlebot-Image (ricerca per immagini)
  • Bingbot (Bing)
  • Slurp (Yahoo)

Importante: verifica l'identità del bot con una reverse DNS lookup sull'indirizzo IP. Molti scraper falsificano gli user agent dei motori di ricerca.

Passo 3: analizza i pattern di scansione

Con i dati filtrati, analizza:

  • Pagine scansionate al giorno — Andamento del volume complessivo di scansione
  • URL più scansionati — dove i bot passano più tempo
  • URL scansionati meno spesso: pagine importanti trascurate
  • Scansione per tipo di pagina — confronta blog, prodotti, categorie e altri tipi di pagina
  • Scansione per codice di stato — quanto tempo viene sprecato su errori e redirect
  • Scansione per tempo di risposta — individua le pagine lente che rallentano la scansione

Passo 4: incrocia con i dati sulle prestazioni

Combina le informazioni dei file di log con:

  • Dati di Google Search Console: confronta le statistiche di scansione con quanto riporta Google
  • Dati di analytics — individua le pagine con molto traffico organico ma bassa frequenza di scansione
  • Dati della sitemap — trova le pagine nella tua sitemap che i crawler non visitano mai
  • Dati sui link interni — correla la frequenza di scansione con il numero di link interni

Passaggio 5: passa all'azione

In base alla tua analisi, dai priorità alle correzioni:

  1. Blocca le pagine di basso valore scansionate in eccesso tramite robots.txt
  2. Aggiungi link interni alle pagine di alto valore scansionate poco
  3. Correggi i 404 e le catene di redirect che consumano crawl budget
  4. Migliora i tempi di risposta del server per le pagine lente
  5. Aggiorna la sitemap in modo che corrisponda a ciò che i crawler dovrebbero davvero visitare

Automatizzare l'analisi dei file di log

L'analisi manuale dei log funziona per gli audit una tantum, ma non è sostenibile per il monitoraggio continuo. Automatizza il processo:

  • Configurare una pipeline di log che acquisisca, filtri e archivi le richieste dei bot
  • Creazione di dashboard che visualizzano nel tempo gli schemi di scansione
  • Configurare avvisi per comportamenti di scansione insoliti (cali improvvisi, picchi di errori 5xx)
  • Pianificare report mensili che confrontino le metriche di efficienza della scansione

Auditite si integra con i log del tuo server per offrire un'analisi continua delle scansioni, avvisandoti dei problemi man mano che emergono invece di aspettare il prossimo audit manuale.

Cosa tenere d'occhio nel monitoraggio continuo

Variazioni del crawl budget

Un calo improvviso del volume di scansione giornaliero può indicare problemi di prestazioni del server, una configurazione errata del robots.txt o una penalizzazione. Indaga subito.

Scansione dei nuovi pattern di URL

Se Googlebot inizia all'improvviso a scansionare intensamente un nuovo pattern di URL, potrebbe aver scoperto un insieme di URL con parametri o una nuova sezione del tuo sito. Stabilisci se è intenzionale o se si tratta di una perdita da bloccare.

Pattern stagionali

Alcuni siti vedono aumentare la frequenza di scansione prima dei periodi di picco (ad es. e-commerce prima delle festività). Comprendere questi schemi aiuta a pianificare quando pubblicare nuovi contenuti per ottenere la massima attenzione di scansione.

Confronto tra bot

Confronta il comportamento di Googlebot e Bingbot. Se Bingbot scansiona pagine che Googlebot ignora (o viceversa), emergono differenze nel modo in cui ciascun motore scopre e dà priorità ai contenuti.

Punti chiave

L’analisi dei file di log offre il quadro più accurato di come i motori di ricerca interagiscono con il tuo sito:

  1. I log del server sono la fonte di verità sul comportamento di scansione, senza campionamenti né stime
  2. Individua gli sprechi di crawl trovando le pagine di scarso valore che assorbono un'attenzione sproporzionata dei crawler
  3. Scopri le pagine trascurate che meritano una frequenza di scansione maggiore
  4. Monitora le prestazioni del server per assicurarti che i crawler non siano rallentati da risposte lente
  5. Automatizza l'analisi continua per intercettare i problemi prima che incidano sul posizionamento

Se combinata con i dati di Google Search Console, analytics e audit SEO tecnici, l'analisi dei file di log completa il quadro dello stato di salute del tuo sito per i motori di ricerca.

Resta aggiornato

Ricevi insight, strategie e aggiornamenti sul prodotto direttamente nella tua casella di posta.

Niente spam. Annulli l’iscrizione quando vuoi.

Vuoi vedere Auditite in azione?

Inizia subito e scopri come Auditite può trasformare il tuo flusso di lavoro di audit SEO.

Inizia ora
Inizia ora

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.