Auditite
Tous les playbooks
Guide Spécialiste SEO technique

Guide d'analyse des fichiers de logs : workflow SEO automatisé

Utilisez l'analyse des logs serveur pour comprendre comment les moteurs de recherche crawlent votre site et optimiser l'allocation du budget de crawl.

Aperçu

Les fichiers de logs du serveur révèlent précisément comment les moteurs de recherche interagissent avec votre site : quelles pages ils explorent, à quelle fréquence, lesquelles ils ignorent et où ils rencontrent des erreurs. Ces données sont précieuses pour comprendre l'allocation du budget de crawl et diagnostiquer des problèmes d'indexation que d'autres outils ne détectent pas.

Étape 1 : Obtenir et préparer les fichiers de logs

  1. Demandez l’accès aux logs d’accès bruts de votre serveur web (Apache, Nginx ou logs de CDN).
  2. Déterminez le format de log utilisé (Common Log Format, Combined ou personnalisé).
  3. Exportez au moins 30 jours de données de logs pour obtenir une analyse pertinente.
  4. Filtrez les logs pour n'inclure que les requêtes des bots de moteurs de recherche (Googlebot, Bingbot, etc.).
  5. Vérifiez que les robots sont authentiques en contrôlant que leurs adresses IP correspondent à des plages d'IP connues de Google/Bing.

Étape 2 : métriques clés à extraire

Fréquence de crawl

  1. Calculez le nombre total de requêtes de Googlebot par jour.
  2. Repérez les tendances : la fréquence d’exploration augmente-t-elle, diminue-t-elle ou reste-t-elle stable ?
  3. Comparez la fréquence de crawl au nombre de pages de votre site.

Répartition du crawl

  1. Regroupez les URL explorées par template de page (produit, catégorie, blog, etc.).
  2. Calculez le pourcentage du budget de crawl consacré à chaque type de template.
  3. Comparez cela à la contribution de chaque template au chiffre d’affaires ou au trafic.
Type de template% du budget de crawl% du chiffre d'affaires organique
Pages produits??
Pages de catégorie??
Articles de blog??
Autre??

Si un type de template consomme une grande part du budget de crawl mais contribue peu au chiffre d’affaires, cherchez à comprendre pourquoi.

Répartition des codes de statut

  1. Calculez le pourcentage de requêtes de bots renvoyant chaque code de statut (200, 301, 302, 404, 500).
  2. Un pourcentage élevé de réponses autres que 200 gaspille du budget de crawl.
  3. Identifiez les URL précises qui renvoient des erreurs et corrigez-les.

Latence de crawl

  1. Calculez le temps de réponse moyen pour les requêtes des bots.
  2. Identifiez les pages dont le temps de réponse dépasse 2 secondes : elles ralentissent toute l'exploration.
  3. Comparez les temps de réponse aux bots à ceux des utilisateurs pour détecter des ralentissements propres aux bots.

Étape 3 : identifier le gaspillage de budget de crawl

  1. Repérez les pages que Googlebot explore fréquemment mais qui n’ont aucune valeur SEO (pages d’administration, résultats de recherche, URL filtrées).
  2. Repérez les chaînes de redirections où Googlebot suit plusieurs sauts pour atteindre l’URL finale.
  3. Recherchez les pages soft 404 (pages qui renvoient un statut 200 mais sans véritable contenu).
  4. Vérifiez la présence de pièges d'exploration infinis (pages de calendrier, URL paramétrées qui génèrent un nombre illimité de combinaisons).

Étape 4 : découvrir les pages importantes non explorées

  1. Comparez la liste des URL de votre sitemap avec les URL explorées par Googlebot.
  2. Identifiez les URL du sitemap que Googlebot n'a pas visitées au cours des 30 derniers jours.
  3. Ces pages peuvent souffrir de problèmes de maillage interne, être trop profondes dans l'architecture du site ou être bloquées par le robots.txt.
  4. Corrigez en priorité l'accessibilité des pages à forte valeur non crawlées.

Étape 5 : Optimisez le budget de crawl

Selon vos constats, prenez ces mesures :

  1. Empêchez l'exploration des pages à faible valeur avec le fichier robots.txt ou des liens internes en nofollow.
  2. Corrigez les chaînes de redirections pour réduire les sauts de crawl inutiles.
  3. Corrigez ou supprimez les pages qui renvoient des erreurs 404 et 500.
  4. Améliorez le temps de réponse du serveur pour les pages lentes.
  5. Ajoutez des liens internes vers les pages importantes qui ne sont pas explorées.
  6. Mettez à jour votre sitemap XML pour n’y inclure que les pages que vous voulez faire explorer et indexer.

Étape 6 : surveillance continue

  1. Analysez les fichiers de logs chaque mois pour suivre l’évolution du comportement de crawl.
  2. Mettez en corrélation les variations de fréquence de crawl avec les évolutions d’indexation et de classement.
  3. Surveillez les chutes brutales de crawl, qui peuvent indiquer un problème technique ou une pénalité.
  4. Après des changements majeurs sur le site (migration, refonte, lancement d'une nouvelle section), analysez les logs dans la première semaine pour vérifier que le comportement de crawl est sain.
  5. Utilisez les analyses de crawl d’Auditite pour compléter les données des fichiers de logs avec des enseignements de crawl supplémentaires.

Outils d'analyse de logs

Si vos logs sont trop volumineux pour une analyse manuelle, utilisez des outils spécialisés capables d’analyser, filtrer et visualiser les logs serveur à grande échelle. Privilégiez les outils qui croisent les données de logs avec les données de crawl et d’analytique de recherche pour une vision complète.

Arrêtez le copier-coller. Passez à l'automatisation.

Auditite transforme les playbooks en workflows d’audit en direct. Lancez-vous pour voir comment.

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.