Auditite
Torna al glossario
SEO tecnica

Analisi dei file di log

Scopri cos'è l'analisi dei file di log, come analizzare i log del server per capire il comportamento dei crawler dei motori di ricerca e come migliora la SEO tecnica.

L'analisi dei file di log è la pratica di esaminare i log di accesso del server per capire come i crawler dei motori di ricerca interagiscono con il tuo sito. Ogni volta che Googlebot, Bingbot o un altro crawler richiede una pagina, il server registra la richiesta, compresi URL, timestamp, user agent, codice di stato HTTP e dimensione della risposta. L'analisi di questi log rivela esattamente quali pagine visitano i crawler, con che frequenza ritornano, quali pagine ignorano e quali errori incontrano. Questi dati sono molto più dettagliati e accurati di quelli forniti da Google Search Console o da qualsiasi strumento di terze parti.

Perché conta per la SEO

La log file analysis ti dà la verità sul comportamento dei crawler. Mentre Google Search Console riporta ciò che Google ha scelto di indicizzare, i log del server mostrano ciò che Google ha effettivamente scansionato, comprese le pagine scansionate ma non indicizzate e quelle mai scansionate. Questa distinzione è fondamentale per diagnosticare i problemi di indicizzazione.

Capire l'allocazione del crawl budget è uno dei principali casi d'uso. I log rivelano se i crawler spendono tempo su pagine di poco valore come archivi paginati, URL filtrati dalla navigazione a faccette o varianti di parametri, invece che sui tuoi contenuti più importanti. Mettono inoltre in luce trappole di scansione, loop di redirect ed errori del server che sprecano in silenzio le risorse di scansione.

Come implementare

Inizia accedendo ai log grezzi del server. La maggior parte dei provider di hosting li salva in formati standard come l'Apache Combined Log Format o i log di accesso di Nginx. Se usi una CDN, potresti dover attivare il logging a livello di CDN per catturare le richieste dei bot servite dalla cache.

Filtra i log per isolare il traffico dei crawler dei motori di ricerca usando le stringhe user agent. Googlebot si identifica con «Googlebot» nello user agent, Bingbot con «bingbot» e così via. Tieni presente che alcuni bot mascherano il proprio user agent, quindi verifica il traffico legittimo dei bot con ricerche DNS inverse.

Usa strumenti di analisi dei log come Screaming Frog Log Analyzer, Botify o script personalizzati per elaborare grandi file di log. Concentrati sulle metriche chiave: frequenza di scansione per URL, distribuzione dei codici di stato, tempo medio di risposta e rapporto tra pagine scansionate e pagine indicizzate.

Best practice

  • Analizza con regolarità: esegui l'analisi dei file di log almeno una volta al mese. I pattern di scansione cambiano nel tempo e individuare presto i problemi evita che i problemi di indicizzazione si aggravino.
  • Confronta con la tua sitemap: confronta gli URL della tua sitemap XML con quelli effettivamente scansionati dai bot. Gli URL della sitemap mai scansionati indicano problemi di scoperta o di priorità.
  • Monitora l'andamento della frequenza di scansione: un calo improvviso spesso segnala un problema tecnico, come errori del server, modifiche al robots.txt o problemi di qualità del sito.
  • Monitora i codici di stato: tassi elevati di 404, 500 o redirect 301/302 nel traffico dei crawler indicano problemi che richiedono attenzione immediata.
  • Individua le pagine orfane: le pagine che i crawler trovano ma che non sono nella tua sitemap né nella struttura dei link interni sono pagine orfane che potrebbero dover essere collegate o rimosse.
  • Misura i tempi di risposta: se il server risponde lentamente alle richieste dei crawler, i bot ridurranno la frequenza di scansione. L'analisi dei log rivela quali pagine o sezioni hanno i tempi di risposta del server più lenti.

L'analisi dei file di log è il metodo più affidabile per capire come i motori di ricerca vivono davvero il tuo sito web.

Guardalo in azione

Scopri come Auditite mette in pratica l'analisi dei file di log.

Esplora la SEO tecnica

Scopri come lo gestisce Auditite

Inizia e scopri la piattaforma in azione.

Inizia ora

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.