Auditite
Tous les templates
Modèle Responsable SEO

Modèle de configuration du robots.txt avec Auditite

Configurez correctement robots.txt avec ce modèle. Couvre les directives pour les principaux crawlers, les motifs courants des CMS et les procédures de test.

Aperçu

Le fichier robots.txt contrôle les parties de votre site auxquelles les robots des moteurs de recherche peuvent accéder. Un robots.txt mal configuré peut empêcher l’indexation de contenus importants ou gaspiller du budget de crawl sur des pages de faible valeur. Ce modèle fournit des configurations standard pour les types de sites courants.

Référence de la syntaxe robots.txt

DirectiveObjectifExemple
User-agentPrécise à quel robot les règles s'appliquentUser-agent: Googlebot
DisallowBloque l’exploration d’un cheminDisallow: /admin/
AllowAutorise explicitement l’exploration (prime sur Disallow)Allow: /admin/public/
SitemapPointe vers votre sitemap XMLSitemap: https://example.com/sitemap.xml
Crawl-delayDélai entre les requêtes de crawl (non pris en compte par Google)Crawl-delay: 10

Règles essentielles :

  • Le robots.txt doit se trouver à la racine : https://example.com/robots.txt
  • Les directives sont sensibles à la casse pour les chemins
  • Les chemins plus spécifiques priment sur les moins spécifiques
  • Une directive Disallow: vide signifie « tout autoriser »
  • L'absence de fichier robots.txt signifie « tout est autorisé »

Modèle standard

# Robots.txt for example.com
# Updated: 2026-10-15

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Templates spécifiques aux CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/

Sitemap: https://example.com/sitemap_index.xml

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=

Sitemap: https://example.com/sitemap.xml

E-commerce (général)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Quoi bloquer, quoi autoriser

Type de contenuBloquer ?Raison
Pages d'administration et de connexionOuiAucune valeur SEO, risque de sécurité
Pages de résultats de rechercheOuiContenu pauvre/dupliqué
Panier/paiementOuiAucune valeur SEO, données personnelles
Pages de compte utilisateurOuiDonnées personnelles, aucune valeur SEO
URL de navigation à facettesOuiContenu dupliqué, gaspillage de crawl
Paramètres de tri/filtreOuiContenu dupliqué
Points d’accès APIOuiNon destiné au grand public
Fichiers CSS/JSNonGoogle en a besoin pour le rendu
ImagesNonLes images doivent être indexées
PDF/documentsNonSouvent du contenu de valeur
Contenu de blogNonContenu SEO principal
Pages produitsNonContenu SEO principal

Configuration des crawlers d’IA

CrawlerUser-agentObjectifRecommandation
GPTBotGPTBotDonnées d’entraînement d’OpenAIBloquer si souhaité
Google-ExtendedGoogle-ExtendedDonnées d’entraînement de GeminiBloquer si souhaité
CCBotCCBotCommon CrawlBloquer si souhaité
Anthropicanthropic-aiDonnées d’entraînement de ClaudeBloquer si souhaité
BytespiderBytespiderTikTok/ByteDanceBloquer si souhaité
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Checklist de test

  • Le fichier est accessible à l'adresse /robots.txt (renvoie un statut 200)
  • La syntaxe est valide (pas de fautes de frappe dans les directives)
  • Le contenu important n’est PAS bloqué
  • Les pages de faible valeur SONT bloquées
  • L’URL du sitemap est incluse et valide
  • Testé avec le testeur robots.txt de Google (Search Console)
  • Aucun Disallow: / accidentel ne bloque l’ensemble du site
  • Les fichiers CSS et JS ne sont pas bloqués (nécessaires au rendu)
  • Le répertoire des images n’est pas bloqué

Fiche de travail d’audit

Format d'URLActuellement bloqué ?À bloquer ?Action requise
/ (site entier)Non
/admin/Oui
/blog/Non
/search?Oui

Erreurs courantes

ErreurImpactCorrectif
Blocage de l'ensemble du site (Disallow: /)Rien n'est indexéSupprimer ou préciser les chemins
Blocage du CSS/JSProblèmes de rendu, mauvaise évaluationAutoriser les répertoires CSS/JS
Blocage des imagesAucun trafic depuis la recherche d’imagesAutoriser les répertoires d’images
Ne pas inclure de sitemapDécouverte plus lente des nouvelles pagesAjouter la directive Sitemap
Utiliser robots.txt pour le noindexNe retire pas de l’indexUtilisez plutôt une meta noindex
Espace avant les deux-pointsLa directive peut ne pas être interprétéeSupprimer les espaces

Auditite valide la configuration de votre robots.txt à chaque audit et signale les contenus importants bloqués, les sitemaps manquants et les erreurs de syntaxe.

Vous voulez le guide pratique derrière ce modèle ?

Consultez nos playbooks pour des guides pas à pas du processus d'audit.

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.