Calculateur de budget de crawl : workflow SEO automatisé
Calculez et optimisez l’allocation du budget de crawl de votre site. Comprend des formules pour le taux de crawl, l’identification du gaspillage et la couverture des pages prioritaires.
Aperçu
Le budget de crawl est le nombre de pages qu'un moteur de recherche explorera sur votre site sur une période donnée. Pour les grands sites (plus de 10 000 pages), une utilisation inefficace du budget de crawl signifie que les pages importantes sont explorées moins souvent, ce qui retarde l'indexation des nouveaux contenus et des mises à jour. Ce calculateur vous aide à mesurer, analyser et optimiser votre budget de crawl.
Estimation du budget de crawl
Récupérez ces valeurs dans vos logs serveur ou dans Google Search Console.
| Métrique | Valeur | Source |
|---|---|---|
| Total des requêtes Googlebot/jour (moyenne) | Logs serveur | |
| Total des pages indexables | Crawl du site | |
| Nombre total d'URL du site (y compris non indexables) | Logs serveur | |
| Taille moyenne des pages (Ko) | Crawl du site | |
| Temps de réponse du serveur (ms, moyenne) | Logs serveur |
Calcul du taux de crawl
Crawl Efficiency = Indexable pages crawled / Total pages crawled × 100
Crawl Freshness = Googlebot requests per day / Total indexable pages
→ If > 1: Pages crawled more than once daily (good)
→ If < 1: Average days between crawls = 1 / Crawl Freshness
Full Crawl Cycle = Total indexable pages / Googlebot requests per day
→ Number of days for Google to crawl every indexable page once
Exemple :
- Requêtes Googlebot/jour : 5 000
- Pages indexables : 25 000
- Cycle d'exploration complet : 25 000 / 5 000 = 5 jours
Identification du gaspillage de crawl
Identifiez les URL qui consomment du crawl budget sans apporter de valeur.
| Catégorie de gaspillage | URL | % du budget de crawl | Action |
|---|---|---|---|
| Pages soft 404 | Corriger ou supprimer | ||
| Chaînes de redirections (3 sauts ou plus) | Raccourcir vers la cible directe | ||
| Contenu dupliqué (sans canonical) | Ajouter des balises canoniques | ||
| Archives paginées | Ajouter noindex ou utiliser rel=next/prev | ||
| URL de navigation à facettes | Bloquer avec robots.txt ou noindex | ||
| Doublons dus aux paramètres | Configurer les paramètres d’URL dans la GSC | ||
| Produits expirés ou en rupture de stock | Renvoyer un 410 ou rediriger | ||
| Pages orphelines (sans liens internes) | Ajouter des liens ou supprimer | ||
| Pages de tags/archives à faible valeur | Noindex | ||
| Gaspillage total | % |
Formule de l’impact du gaspillage
Wasted Crawls/Day = Total Googlebot requests × Waste Percentage
Recovered Crawls/Day = Wasted Crawls after fixes are implemented
New Full Crawl Cycle = Indexable pages / (Googlebot requests - Wasted Crawls + Recovered Crawls)
Couverture des pages prioritaires
Assurez-vous que vos pages les plus importantes sont explorées fréquemment.
| Groupe de pages | Nombre | Fréquence de crawl cible | Fréquence actuelle | Écart |
|---|---|---|---|---|
| Page d'accueil + navigation principale | 5-20 | Quotidien | ||
| Pages produit/service clés | 20-50 | Tous les 2 à 3 jours | ||
| Articles de blog à fort trafic | 50-100 | Hebdomadaire | ||
| Nouveau contenu (30 derniers jours) | Variable | Tous les jours pendant la première semaine | ||
| Pages de catégories/archives | Variable | Hebdomadaire | ||
| Tout autre contenu | Variable | Mensuel |
Actions d’optimisation
| Action | Impact sur le crawl budget | Effort | Priorité |
|---|---|---|---|
| Corriger les chaînes de redirections | Élevé : supprime plusieurs requêtes par chaîne | Faible | 1 |
| Supprimer ou passer en noindex les pages légères | Élevé — libère du budget pour les pages à valeur | Moyen | 2 |
| Corriger les soft 404 | Moyen — arrête les crawls inutiles | Faible | 3 |
| Améliorer le temps de réponse du serveur | Élevé — réponses plus rapides = plus de pages crawlées | Élevé | 4 |
| Optimiser le sitemap XML | Moyen — oriente les crawlers vers les pages prioritaires | Faible | 5 |
| Mettez en place des canonical corrects | Moyen — réduit le crawl en double | Moyen | 6 |
| Bloquez les URL à facettes dans le robots.txt | Élevé pour l'e-commerce — peut éliminer des milliers d'URL inutiles | Faible | 7 |
| Ajouter des liens internes vers les pages prioritaires | Moyen : signale l’importance aux robots | Moyen | 8 |
Checklist d’analyse des logs serveur
Pour utiliser ce calculateur efficacement, analysez vos logs serveur afin de relever :
- Nombre total de requêtes Googlebot par jour (filtrer par user agent)
- URL les plus souvent explorées
- URL les moins fréquemment crawlées
- Codes de réponse renvoyés à Googlebot (200, 301, 404, 500)
- Temps de réponse moyen aux requêtes de Googlebot
- Pages explorées en noindex ou dont la canonique pointe ailleurs
- Schémas de crawl selon l'heure de la journée
Monitoring
| Métrique | Fréquence de vérification | Outil |
|---|---|---|
| Rythme d'exploration de Googlebot | Hebdomadaire | Logs serveur |
| Erreurs d'exploration | Hebdomadaire | Google Search Console |
| Taux d'indexation | Mensuel | opérateur site:, GSC |
| Fréquence de crawl des pages prioritaires | Mensuel | Logs serveur |
| Pourcentage de crawl gaspillé | Trimestriel | Ce calculateur + Auditite |
Auditite identifie automatiquement le gaspillage de budget de crawl lors des audits techniques, en signalant les chaînes de redirections, les soft 404 et le contenu dupliqué qui consomment des ressources des crawlers sans apporter de valeur SEO.
Modèles associés
Modèle de cartographie des redirections avec Auditite
Planifiez et suivez les redirections d'URL pendant les migrations ou restructurations de site. Inclut le choix du type de redirection, la détection des chaînes et des feuilles de validation.
ModèleModèle de configuration du robots.txt avec Auditite
Configurez correctement robots.txt avec ce modèle. Couvre les directives pour les principaux crawlers, les motifs courants des CMS et les procédures de test.
ChecklistChecklist d'implémentation du balisage schema pour le SEO
Implémentez correctement les données structurées avec cette checklist de balisage schema. Elle couvre tous les principaux types de schema, les étapes de validation et les erreurs d’implémentation courantes.
Vous voulez le guide pratique derrière ce modèle ?
Consultez nos playbooks pour des guides pas à pas du processus d'audit.