Auditite
Tutti i playbook
Guida Technical SEO Specialist

Guida all'analisi dei file di log: workflow SEO automatizzato

Usa l'analisi dei log del server per capire come i motori di ricerca scansionano il tuo sito e ottimizzare l'allocazione del crawl budget.

Panoramica

I file di log del server rivelano esattamente come i motori di ricerca interagiscono con il tuo sito: quali pagine scansionano, con che frequenza, quali saltano e dove incontrano errori. Questi dati sono preziosi per capire l'allocazione del crawl budget e diagnosticare problemi di indicizzazione che altri strumenti non riescono a rilevare.

Passo 1: ottieni e prepara i file di log

  1. Richiedi l'accesso ai log di accesso grezzi del tuo server web (Apache, Nginx o log della CDN).
  2. Individua il formato di log in uso (Common Log Format, Combined o personalizzato).
  3. Esporta almeno 30 giorni di dati di log per un’analisi significativa.
  4. Filtra i log per includere solo le richieste dei bot dei motori di ricerca (Googlebot, Bingbot e così via).
  5. Verifica che i bot siano autentici controllando che i loro indirizzi IP si risolvano in intervalli IP noti di Google/Bing.

Passaggio 2: metriche chiave da estrarre

Frequenza di scansione

  1. Calcola il numero totale di richieste di Googlebot al giorno.
  2. Individua le tendenze: la frequenza di scansione è in aumento, in calo o stabile?
  3. Confronta la frequenza di scansione con il numero di pagine del tuo sito.

Distribuzione della scansione

  1. Raggruppa gli URL scansionati per template di pagina (prodotto, categoria, blog, ecc.).
  2. Calcola la percentuale di crawl budget spesa per ogni tipo di template.
  3. Confronta questo dato con il contributo di ricavi o traffico di ciascun template.
Tipo di template% del crawl budget% del fatturato organico
Pagine prodotto??
Pagine di categoria??
Post del blog??
Altro??

Se un tipo di template consuma una grande quota di crawl budget ma contribuisce poco ai ricavi, indaga sul perché.

Distribuzione dei codici di stato

  1. Calcola la percentuale di richieste dei bot che restituiscono ciascun codice di stato (200, 301, 302, 404, 500).
  2. Un'alta percentuale di risposte diverse da 200 spreca crawl budget.
  3. Individua gli URL specifici che restituiscono errori e correggili.

Latenza di scansione

  1. Calcola il tempo medio di risposta alle richieste dei bot.
  2. Individua le pagine con tempi di risposta superiori a 2 secondi: rallentano l'intera scansione.
  3. Confronta i tempi di risposta per i bot con quelli per gli utenti, per individuare rallentamenti specifici dei bot.

Passaggio 3: individua lo spreco di crawl budget

  1. Trova le pagine che Googlebot scansiona di frequente ma che non hanno alcun valore SEO (pagine di amministrazione, risultati di ricerca, URL filtrati).
  2. Individua le catene di redirect in cui Googlebot segue più passaggi per arrivare all'URL finale.
  3. Cerca le pagine soft 404 (pagine che restituiscono stato 200 ma senza contenuto reale).
  4. Controlla la presenza di crawl trap infinite (pagine di calendario, URL con parametri che generano combinazioni illimitate).

Passaggio 4: scopri le pagine importanti non scansionate

  1. Confronta l'elenco degli URL nella tua sitemap con gli URL scansionati da Googlebot.
  2. Individua gli URL della sitemap che Googlebot non ha visitato negli ultimi 30 giorni.
  3. Queste pagine potrebbero avere problemi di link interni, trovarsi troppo in profondità nell'architettura del sito o essere bloccate dal robots.txt.
  4. Dai priorità alla correzione dell’accessibilità per le pagine di alto valore non scansionate.

Passo 5: ottimizza il crawl budget

In base ai tuoi risultati, intraprendi queste azioni:

  1. Blocca la scansione delle pagine di scarso valore tramite robots.txt o link interni nofollow.
  2. Correggi le catene di redirect per ridurre i passaggi di scansione sprecati.
  3. Correggi o rimuovi le pagine che restituiscono errori 404 e 500.
  4. Migliora il tempo di risposta del server per le pagine lente.
  5. Aggiungi link interni alle pagine importanti che non vengono scansionate.
  6. Aggiorna la tua sitemap XML in modo che includa solo le pagine che vuoi siano scansionate e indicizzate.

Passaggio 6: monitoraggio continuo

  1. Analizza i file di log ogni mese per monitorare i cambiamenti nel comportamento dei crawler.
  2. Metti in correlazione le variazioni della frequenza di scansione con le variazioni di indicizzazione e ranking.
  3. Monitora i cali improvvisi della scansione, che possono indicare un problema tecnico o una penalizzazione.
  4. Dopo modifiche importanti al sito (migrazione, restyling, lancio di una nuova sezione), analizza i log entro la prima settimana per verificare che il comportamento di scansione sia sano.
  5. Usa le analisi di crawl di Auditite per integrare i dati dei file di log con ulteriori insight sul crawl.

Strumenti per l'analisi dei log

Se i tuoi log sono troppo grandi per un'analisi manuale, usa strumenti specializzati in grado di analizzare, filtrare e visualizzare i log del server su larga scala. Cerca strumenti che possano incrociare i dati dei log con quelli di scansione e di search analytics per un quadro completo.

Smetti di copiare e incollare. Inizia ad automatizzare.

Auditite trasforma i playbook in flussi di audit attivi. Inizia per vedere come.

Ricevi gli insight ogni settimana

Unisciti ai team che ogni settimana ricevono playbook concreti, benchmark e aggiornamenti di prodotto.