Playbook d’optimisation du budget de crawl avec Auditite
Maximisez l’efficacité du crawl des moteurs de recherche en dirigeant le budget de crawl vers vos pages les plus précieuses et en réduisant le gaspillage.
Aperçu
Le budget de crawl correspond au nombre de pages qu’un moteur de recherche explorera sur votre site sur une période donnée. Pour les grands sites (plus de 10 000 pages), le budget de crawl détermine directement la rapidité avec laquelle le contenu nouveau ou mis à jour est indexé. Ce guide montre comment maximiser l’efficacité du crawl.
Étape 1 : comprendre votre crawl budget
- Consultez le rapport Statistiques sur l’exploration de Google Search Console pour connaître votre taux de crawl quotidien moyen.
- Examinez la répartition des requêtes de crawl par type de réponse (200, 301, 404, etc.).
- Analysez la fréquence de crawl par groupe d’URL (utilisez les logs serveur pour les données les plus précises).
- Comparez le nombre total d’URL crawlables à votre fréquence de crawl quotidienne pour estimer la durée d’un crawl complet du site.
Facteurs du budget de crawl
| Facteur | Impact |
|---|---|
| Vitesse de réponse du serveur | Réponses plus rapides = plus de pages crawlées par session |
| Popularité du site | Les sites plus populaires obtiennent des budgets de crawl plus importants |
| Fraîcheur du contenu | Les sites mis à jour fréquemment sont explorés plus souvent |
| Découverte d’URL | Les sitemaps et les liens internes facilitent la découverte |
| Erreurs d'exploration | Des taux d'erreur élevés réduisent le budget de crawl alloué |
Étape 2 : identifier le gaspillage de budget de crawl
Sources de gaspillage courantes
- URL de navigation à facettes. Les filtres et les tris créent des milliers d'URL quasi dupliquées.
- Pages de recherche interne. Chaque requête de recherche génère une URL unique au contenu pauvre.
- Combinaisons de filtres paginées. La page 47 d'une liste de produits filtrée a une valeur minime.
- Pages soft 404. Des pages qui renvoient 200 mais n’ont aucun contenu réel.
- URL de calendrier et basées sur les dates. Pages d'archives qui génèrent une infinité de combinaisons d'URL.
- Paramètres d’identifiant de session et de suivi. URL contenant des identifiants de session uniques.
- Chemins de contenu dupliqué. Plusieurs chemins d'URL vers le même contenu.
Étape 3 : bloquer les URL à faible valeur
- Utilisez robots.txt pour bloquer les motifs qui n'apportent aucune valeur SEO (résultats de recherche, paramètres de session).
- Utilisez nofollow sur les liens internes vers les pages de navigation à facettes de faible valeur.
- Mettez en place une gestion des paramètres d'URL pour supprimer côté serveur les paramètres inutiles.
- Consolidez les chemins dupliqués avec des balises canonical et des redirections 301.
Étape 4 : Priorisez les URL à forte valeur
- Assurez-vous que vos pages les plus importantes sont liées depuis la page d’accueil ou la navigation principale (faible profondeur de crawl).
- Soumettez un sitemap XML qui ne contient que vos pages les plus prioritaires.
- Utilisez le maillage interne pour créer des chemins clairs vers les pages que vous voulez voir crawlées fréquemment.
- Mettez régulièrement à jour le contenu des pages prioritaires : des signaux de fraîcheur encouragent une exploration plus fréquente.
Étape 5 : améliorer les performances du serveur
- Optimisez le temps de réponse du serveur pour qu’il soit inférieur à 500 ms sur toutes les pages.
- Utilisez un CDN pour réduire la latence des robots répartis dans le monde.
- Assurez-vous que votre serveur peut gérer des requêtes d'exploration simultanées sans limitation.
- Surveillez les erreurs serveur : les erreurs 500 pendant le crawl réduisent la fréquence de crawl de Googlebot.
Étape 6 : nettoyez votre espace d’URL
- Redirigez ou supprimez les pages qui n'ont aucune utilité (promotions périmées, événements terminés, contenu faible).
- Consolidez les pages quasi dupliquées avec des balises canoniques ou des redirections 301.
- Retirez les pages à faible valeur de votre sitemap XML.
- Corrigez toutes les erreurs de crawl signalées dans Google Search Console.
Étape 7 : surveiller l’efficacité du crawl
Suivez ces indicateurs chaque mois :
- Total de pages explorées par jour
- Pourcentage de pages explorées à forte valeur (génèrent du trafic ou du chiffre d’affaires)
- Délai entre la publication d’un contenu et la première exploration par Googlebot
- Délai entre le premier crawl et l’indexation
- Ratio entre URL du sitemap et URL indexées
- Temps de réponse du serveur pendant les pics d'exploration
- Utilisez l’analyse des logs serveur pour vérifier que Googlebot passe du temps sur vos pages prioritaires.
- Configurez la surveillance du crawl d’Auditite pour détecter les changements dans les schémas de crawl.
- Après avoir effectué des modifications, surveillez les statistiques de crawl pendant deux à quatre semaines pour mesurer l'impact.
Playbooks associés
Checklist de migration HTTPS avec Auditite
Checklist complète pour migrer de HTTP vers HTTPS sans perdre de classement, de trafic ni de link equity. Un guide pas à pas.
ChecklistChecklist SEO JavaScript avec des agents IA
Checklist essentielle pour s’assurer que le contenu rendu en JavaScript est entièrement explorable, indexable et performant pour la recherche.
GuideGuide d'analyse des fichiers de logs : workflow SEO automatisé
Utilisez l'analyse des logs serveur pour comprendre comment les moteurs de recherche crawlent votre site et optimiser l'allocation du budget de crawl.
Arrêtez le copier-coller. Passez à l'automatisation.
Auditite transforme les playbooks en workflows d’audit en direct. Lancez-vous pour voir comment.