Modèle de configuration du robots.txt avec Auditite
Configurez correctement robots.txt avec ce modèle. Couvre les directives pour les principaux crawlers, les motifs courants des CMS et les procédures de test.
Aperçu
Le fichier robots.txt contrôle les parties de votre site auxquelles les robots des moteurs de recherche peuvent accéder. Un robots.txt mal configuré peut empêcher l’indexation de contenus importants ou gaspiller du budget de crawl sur des pages de faible valeur. Ce modèle fournit des configurations standard pour les types de sites courants.
Référence de la syntaxe robots.txt
| Directive | Objectif | Exemple |
|---|---|---|
| User-agent | Précise à quel robot les règles s'appliquent | User-agent: Googlebot |
| Disallow | Bloque l’exploration d’un chemin | Disallow: /admin/ |
| Allow | Autorise explicitement l’exploration (prime sur Disallow) | Allow: /admin/public/ |
| Sitemap | Pointe vers votre sitemap XML | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | Délai entre les requêtes de crawl (non pris en compte par Google) | Crawl-delay: 10 |
Règles essentielles :
- Le robots.txt doit se trouver à la racine :
https://example.com/robots.txt - Les directives sont sensibles à la casse pour les chemins
- Les chemins plus spécifiques priment sur les moins spécifiques
- Une directive
Disallow:vide signifie « tout autoriser » - L'absence de fichier robots.txt signifie « tout est autorisé »
Modèle standard
# Robots.txt for example.com
# Updated: 2026-10-15
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
Templates spécifiques aux CMS
WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/
Sitemap: https://example.com/sitemap_index.xml
Shopify
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=
Sitemap: https://example.com/sitemap.xml
E-commerce (général)
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
Quoi bloquer, quoi autoriser
| Type de contenu | Bloquer ? | Raison |
|---|---|---|
| Pages d'administration et de connexion | Oui | Aucune valeur SEO, risque de sécurité |
| Pages de résultats de recherche | Oui | Contenu pauvre/dupliqué |
| Panier/paiement | Oui | Aucune valeur SEO, données personnelles |
| Pages de compte utilisateur | Oui | Données personnelles, aucune valeur SEO |
| URL de navigation à facettes | Oui | Contenu dupliqué, gaspillage de crawl |
| Paramètres de tri/filtre | Oui | Contenu dupliqué |
| Points d’accès API | Oui | Non destiné au grand public |
| Fichiers CSS/JS | Non | Google en a besoin pour le rendu |
| Images | Non | Les images doivent être indexées |
| PDF/documents | Non | Souvent du contenu de valeur |
| Contenu de blog | Non | Contenu SEO principal |
| Pages produits | Non | Contenu SEO principal |
Configuration des crawlers d’IA
| Crawler | User-agent | Objectif | Recommandation |
|---|---|---|---|
| GPTBot | GPTBot | Données d’entraînement d’OpenAI | Bloquer si souhaité |
| Google-Extended | Google-Extended | Données d’entraînement de Gemini | Bloquer si souhaité |
| CCBot | CCBot | Common Crawl | Bloquer si souhaité |
| Anthropic | anthropic-ai | Données d’entraînement de Claude | Bloquer si souhaité |
| Bytespider | Bytespider | TikTok/ByteDance | Bloquer si souhaité |
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Checklist de test
- Le fichier est accessible à l'adresse
/robots.txt(renvoie un statut 200) - La syntaxe est valide (pas de fautes de frappe dans les directives)
- Le contenu important n’est PAS bloqué
- Les pages de faible valeur SONT bloquées
- L’URL du sitemap est incluse et valide
- Testé avec le testeur robots.txt de Google (Search Console)
- Aucun
Disallow: /accidentel ne bloque l’ensemble du site - Les fichiers CSS et JS ne sont pas bloqués (nécessaires au rendu)
- Le répertoire des images n’est pas bloqué
Fiche de travail d’audit
| Format d'URL | Actuellement bloqué ? | À bloquer ? | Action requise |
|---|---|---|---|
| / (site entier) | Non | ||
| /admin/ | Oui | ||
| /blog/ | Non | ||
| /search? | Oui |
Erreurs courantes
| Erreur | Impact | Correctif |
|---|---|---|
Blocage de l'ensemble du site (Disallow: /) | Rien n'est indexé | Supprimer ou préciser les chemins |
| Blocage du CSS/JS | Problèmes de rendu, mauvaise évaluation | Autoriser les répertoires CSS/JS |
| Blocage des images | Aucun trafic depuis la recherche d’images | Autoriser les répertoires d’images |
| Ne pas inclure de sitemap | Découverte plus lente des nouvelles pages | Ajouter la directive Sitemap |
| Utiliser robots.txt pour le noindex | Ne retire pas de l’index | Utilisez plutôt une meta noindex |
| Espace avant les deux-points | La directive peut ne pas être interprétée | Supprimer les espaces |
Auditite valide la configuration de votre robots.txt à chaque audit et signale les contenus importants bloqués, les sitemaps manquants et les erreurs de syntaxe.
Modèles associés
Checklist d'implémentation du balisage schema pour le SEO
Implémentez correctement les données structurées avec cette checklist de balisage schema. Elle couvre tous les principaux types de schema, les étapes de validation et les erreurs d’implémentation courantes.
ChecklistChecklist d'audit SEO de la sécurité d'un site web
Auditez la sécurité de votre site pour son impact SEO. Couvre le HTTPS, le contenu mixte, les en-têtes, les signaux de malware et le statut Google Safe Browsing.
Grille d’évaluationScorecard d'audit SEO : workflow SEO automatisé
Évaluez la santé SEO de votre site selon les facteurs techniques, on-page et off-page. Grille de notation pondérée avec des recommandations de priorités concrètes.
Vous voulez le guide pratique derrière ce modèle ?
Consultez nos playbooks pour des guides pas à pas du processus d'audit.