Auditite
Retour au blog
SEO technique Audit SEO technique 2025-09-20 9 min de lecture

Analyse des fichiers de logs pour le SEO : enseignements sur le crawl

Utilisez l’analyse des fichiers de logs serveur pour comprendre comment Googlebot explore votre site, repérer le budget de crawl gaspillé et optimiser l’indexation.

A

L'équipe Auditite

analyse des fichiers de logsSEO techniqueanalyse de crawlGooglebot

Pourquoi l’analyse des fichiers de logs est la technique SEO la plus sous-estimée

La plupart des professionnels du SEO s’appuient sur des données de crawl tierces et sur Google Search Console pour comprendre comment les moteurs de recherche interagissent avec leurs sites. Mais il existe une source de données plus fiable, déjà présente sur votre serveur : les fichiers de logs.

Les fichiers de logs du serveur enregistrent chaque requête adressée à votre site, y compris celles des robots des moteurs de recherche. En analysant ces logs, vous obtenez une vue de référence de la façon exacte dont Googlebot, Bingbot et les autres robots passent leur temps sur votre site : sans échantillonnage, sans estimation, sans interprétation tierce.

Ce que vous apprennent les logs serveur

Chaque entrée de log contient généralement :

  • Horodatage — le moment où la requête a été effectuée
  • Adresse IP : identifie le demandeur (peut être vérifiée par rapport aux IP de bots connues)
  • User agent : le bot ou le navigateur à l’origine de la requête
  • URL demandée : la page consultée
  • Code de statut HTTP — la réponse du serveur (200, 301, 404, 500, etc.)
  • Octets transférés — taille de la réponse
  • Référent — D'où provient la requête (souvent vide pour les bots)
  • Temps de réponse : le temps qu’a mis le serveur à répondre

À partir de ces données brutes, vous pouvez tirer des enseignements qu'aucun autre outil SEO ne peut fournir.

Enseignements clés de l'analyse des fichiers de logs

Fréquence d'exploration par type de page

À quelle fréquence Googlebot visite-t-il vos pages les plus importantes par rapport aux pages à faible valeur ? Voici les constats les plus courants :

  • Articles de blog explorés quotidiennement tandis que les pages produit sont explorées chaque mois
  • Pages de catégorie sur-explorées en raison du volume de liens internes
  • Nouveau contenu ignoré faute de liens internes
  • URL à paramètres explorées de façon excessive alors qu’elles n’ont aucune valeur SEO

Si Googlebot consacre 60 % de son budget de crawl à des pages qui génèrent 5 % de votre trafic, vous avez un problème de budget de crawl qui demande une attention immédiate.

Les pages orphelines dans la nature

Une page qui apparaît dans vos fichiers de logs mais n’a aucun lien interne sur votre site reçoit l’attention des robots via des liens externes ou d’anciennes entrées de sitemap. Croisez les URL des logs avec votre architecture de site pour repérer ces pages orphelines et décider de les intégrer à votre structure ou de les laisser de côté.

Répartition des codes de statut

Analysez le pourcentage de requêtes renvoyant chaque code de statut :

  • Taux de 200 élevé — Sain, les robots trouvent du contenu en ligne
  • Taux élevé de 301/302 : les robots atteignent d’anciennes URL, envisagez de corriger les chaînes de redirections
  • Taux de 404 élevé — gaspillage de crawl important sur des URL cassées
  • Toute erreur 5xx — problèmes serveur qui bloquent entièrement le crawl

Taux de crawl et performances du serveur

Les fichiers de logs révèlent si votre serveur est assez rapide pour permettre une exploration efficace. Si les temps de réponse moyens dépassent 500 ms, Googlebot ralentit sa fréquence d'exploration. Suivez l'évolution du temps de réponse dans la durée pour détecter tôt toute dégradation des performances.

Pour des conseils sur l'amélioration des temps de réponse du serveur, consultez notre guide sur l'optimisation du TTFB.

Crawls de découverte ou de rafraîchissement

Classez les visites de robots en :

  • Crawls de découverte — premières visites de nouvelles URL
  • Explorations de rafraîchissement : nouvelles visites d’URL déjà explorées

Si les crawls de découverte sont rares, votre nouveau contenu n’est pas trouvé assez vite. Cela peut indiquer un maillage interne faible ou un sitemap XML obsolète.

Comment mener une analyse de logs

Étape 1 : collecter vos logs

Obtenez les fichiers de logs serveur auprès de votre hébergeur ou de votre administrateur système. Les formats de logs courants sont :

  • Apache Common Log Format
  • Apache Combined Log Format (inclut le referrer et l'user agent)
  • Logs d'accès Nginx
  • Logs des fournisseurs cloud (CloudFront, Cloud CDN, etc.)

Pour les sites derrière un CDN, vous pouvez avoir besoin de collecter les logs à la fois du CDN et du serveur d’origine, car le CDN peut traiter certaines requêtes sans solliciter l’origine.

Étape 2 : Filtrez les robots des moteurs de recherche

Extrayez uniquement les requêtes des crawlers de moteurs de recherche vérifiés. Recherchez les user agents contenant :

  • Googlebot (recherche web)
  • Googlebot-Mobile (recherche mobile)
  • Googlebot-Image (recherche d'images)
  • Bingbot (Bing)
  • Slurp (Yahoo)

Important : vérifiez l’identité du bot en effectuant une recherche DNS inverse sur l’adresse IP. De nombreux scrapers usurpent les user agents des moteurs de recherche.

Étape 3 : analyser les schémas de crawl

Avec les données filtrées, analysez :

  • Pages explorées par jour — tendance du volume global de crawl
  • URL les plus crawlées : là où les bots passent le plus de temps
  • URL les moins explorées — Des pages importantes négligées
  • Crawl par type de page : comparez les articles de blog, les produits, les catégories et les autres types de pages
  • Crawl par code de statut — combien de temps est perdu sur les erreurs et les redirections
  • Crawl par temps de réponse : identifiez les pages lentes qui freinent le crawl

Étape 4 : Recouper avec les données de performance

Combinez les enseignements des fichiers de logs avec :

  • Données de Google Search Console : comparez les statistiques de crawl avec ce que Google rapporte
  • Données analytics : identifiez les pages à fort trafic organique mais à faible fréquence de crawl
  • Données du sitemap : trouvez les pages de votre sitemap que les robots ne visitent jamais
  • Données de liens internes — corrélez la fréquence de crawl avec le nombre de liens internes

Étape 5 : passez à l’action

À partir de votre analyse, priorisez les corrections :

  1. Bloquez les pages à faible valeur sur-explorées via robots.txt
  2. Ajoutez des liens internes vers les pages à forte valeur peu crawlées
  3. Corrigez les 404 et les chaînes de redirections qui consomment du budget de crawl
  4. Améliorez les temps de réponse du serveur pour les pages lentes
  5. Mettez à jour votre sitemap pour qu’il reflète ce que les crawlers doivent réellement visiter

Automatiser l'analyse des fichiers de logs

L’analyse manuelle des logs convient aux audits ponctuels mais n’est pas tenable pour une surveillance continue. Automatisez le processus en :

  • Mettre en place un pipeline de logs qui ingère, filtre et stocke les requêtes des robots
  • Création de tableaux de bord qui visualisent les schémas d’exploration dans le temps
  • Configurer des alertes pour les comportements de crawl inhabituels (baisses soudaines, pics d'erreurs 5xx)
  • Planifier des rapports mensuels qui comparent les métriques d'efficacité du crawl

Auditite s’intègre à vos logs serveur pour fournir une analyse de crawl continue et vous alerter des problèmes dès leur apparition, sans attendre votre prochain audit manuel.

Points de vigilance dans la surveillance continue

Évolutions du budget de crawl

Une chute soudaine du volume de crawl quotidien peut indiquer des problèmes de performance serveur, une mauvaise configuration du robots.txt ou une pénalité. Enquêtez immédiatement.

Exploration des nouveaux schémas d'URL

Si Googlebot se met soudainement à explorer intensivement un nouveau schéma d'URL, il a peut-être découvert un ensemble d'URL à paramètres ou une nouvelle section de votre site. Déterminez s'il s'agit d'un choix voulu ou d'une fuite à bloquer.

Schémas saisonniers

Certains sites voient leur fréquence de crawl augmenter avant les périodes de pointe (par exemple, e-commerce avant les fêtes). Comprendre ces schémas vous aide à planifier la publication de nouveaux contenus pour obtenir un maximum d’attention des robots.

Comparaison des bots

Comparez le comportement de Googlebot et de Bingbot. Si Bingbot explore des pages que Googlebot ignore (ou inversement), cela révèle des différences dans la façon dont chaque moteur découvre et priorise le contenu.

À retenir

L'analyse des fichiers de logs donne l'image la plus précise de la façon dont les moteurs de recherche interagissent avec votre site :

  1. Les logs serveur font foi pour le comportement d’exploration, sans échantillonnage ni estimation
  2. Identifiez le gaspillage de crawl en repérant les pages à faible valeur qui absorbent une part disproportionnée de l'attention des robots
  3. Repérez les pages négligées qui méritent une fréquence d'exploration plus élevée
  4. Surveillez les performances du serveur pour vous assurer que les robots ne sont pas ralentis par des réponses lentes
  5. Automatisez l’analyse continue pour détecter les problèmes avant qu’ils n’affectent le classement

Associée aux données de Google Search Console, d’analytics et d’audits SEO techniques, l’analyse de logs complète le tableau de la santé de votre site auprès des moteurs de recherche.

Restez informé

Recevez des analyses, des stratégies et les nouveautés produit directement dans votre boîte de réception.

Pas de spam. Désabonnement à tout moment.

Prêt à voir Auditite en action ?

Lancez-vous et voyez comment Auditite peut transformer votre workflow d’audit SEO.

Commencer
Commencer

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.