Auditite
Tous les templates
Calculateur Responsable SEO

Calculateur de budget de crawl : workflow SEO automatisé

Calculez et optimisez l’allocation du budget de crawl de votre site. Comprend des formules pour le taux de crawl, l’identification du gaspillage et la couverture des pages prioritaires.

Aperçu

Le budget de crawl est le nombre de pages qu'un moteur de recherche explorera sur votre site sur une période donnée. Pour les grands sites (plus de 10 000 pages), une utilisation inefficace du budget de crawl signifie que les pages importantes sont explorées moins souvent, ce qui retarde l'indexation des nouveaux contenus et des mises à jour. Ce calculateur vous aide à mesurer, analyser et optimiser votre budget de crawl.

Estimation du budget de crawl

Récupérez ces valeurs dans vos logs serveur ou dans Google Search Console.

MétriqueValeurSource
Total des requêtes Googlebot/jour (moyenne)Logs serveur
Total des pages indexablesCrawl du site
Nombre total d'URL du site (y compris non indexables)Logs serveur
Taille moyenne des pages (Ko)Crawl du site
Temps de réponse du serveur (ms, moyenne)Logs serveur

Calcul du taux de crawl

Crawl Efficiency = Indexable pages crawled / Total pages crawled × 100

Crawl Freshness = Googlebot requests per day / Total indexable pages
  → If > 1: Pages crawled more than once daily (good)
  → If < 1: Average days between crawls = 1 / Crawl Freshness

Full Crawl Cycle = Total indexable pages / Googlebot requests per day
  → Number of days for Google to crawl every indexable page once

Exemple :

  • Requêtes Googlebot/jour : 5 000
  • Pages indexables : 25 000
  • Cycle d'exploration complet : 25 000 / 5 000 = 5 jours

Identification du gaspillage de crawl

Identifiez les URL qui consomment du crawl budget sans apporter de valeur.

Catégorie de gaspillageURL% du budget de crawlAction
Pages soft 404Corriger ou supprimer
Chaînes de redirections (3 sauts ou plus)Raccourcir vers la cible directe
Contenu dupliqué (sans canonical)Ajouter des balises canoniques
Archives paginéesAjouter noindex ou utiliser rel=next/prev
URL de navigation à facettesBloquer avec robots.txt ou noindex
Doublons dus aux paramètresConfigurer les paramètres d’URL dans la GSC
Produits expirés ou en rupture de stockRenvoyer un 410 ou rediriger
Pages orphelines (sans liens internes)Ajouter des liens ou supprimer
Pages de tags/archives à faible valeurNoindex
Gaspillage total%

Formule de l’impact du gaspillage

Wasted Crawls/Day = Total Googlebot requests × Waste Percentage
Recovered Crawls/Day = Wasted Crawls after fixes are implemented
New Full Crawl Cycle = Indexable pages / (Googlebot requests - Wasted Crawls + Recovered Crawls)

Couverture des pages prioritaires

Assurez-vous que vos pages les plus importantes sont explorées fréquemment.

Groupe de pagesNombreFréquence de crawl cibleFréquence actuelleÉcart
Page d'accueil + navigation principale5-20Quotidien
Pages produit/service clés20-50Tous les 2 à 3 jours
Articles de blog à fort trafic50-100Hebdomadaire
Nouveau contenu (30 derniers jours)VariableTous les jours pendant la première semaine
Pages de catégories/archivesVariableHebdomadaire
Tout autre contenuVariableMensuel

Actions d’optimisation

ActionImpact sur le crawl budgetEffortPriorité
Corriger les chaînes de redirectionsÉlevé : supprime plusieurs requêtes par chaîneFaible1
Supprimer ou passer en noindex les pages légèresÉlevé — libère du budget pour les pages à valeurMoyen2
Corriger les soft 404Moyen — arrête les crawls inutilesFaible3
Améliorer le temps de réponse du serveurÉlevé — réponses plus rapides = plus de pages crawléesÉlevé4
Optimiser le sitemap XMLMoyen — oriente les crawlers vers les pages prioritairesFaible5
Mettez en place des canonical correctsMoyen — réduit le crawl en doubleMoyen6
Bloquez les URL à facettes dans le robots.txtÉlevé pour l'e-commerce — peut éliminer des milliers d'URL inutilesFaible7
Ajouter des liens internes vers les pages prioritairesMoyen : signale l’importance aux robotsMoyen8

Checklist d’analyse des logs serveur

Pour utiliser ce calculateur efficacement, analysez vos logs serveur afin de relever :

  • Nombre total de requêtes Googlebot par jour (filtrer par user agent)
  • URL les plus souvent explorées
  • URL les moins fréquemment crawlées
  • Codes de réponse renvoyés à Googlebot (200, 301, 404, 500)
  • Temps de réponse moyen aux requêtes de Googlebot
  • Pages explorées en noindex ou dont la canonique pointe ailleurs
  • Schémas de crawl selon l'heure de la journée

Monitoring

MétriqueFréquence de vérificationOutil
Rythme d'exploration de GooglebotHebdomadaireLogs serveur
Erreurs d'explorationHebdomadaireGoogle Search Console
Taux d'indexationMensuelopérateur site:, GSC
Fréquence de crawl des pages prioritairesMensuelLogs serveur
Pourcentage de crawl gaspilléTrimestrielCe calculateur + Auditite

Auditite identifie automatiquement le gaspillage de budget de crawl lors des audits techniques, en signalant les chaînes de redirections, les soft 404 et le contenu dupliqué qui consomment des ressources des crawlers sans apporter de valeur SEO.

Vous voulez le guide pratique derrière ce modèle ?

Consultez nos playbooks pour des guides pas à pas du processus d'audit.

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.