Guide des bonnes pratiques robots.txt pour les équipes SEO
Découvrez les bonnes pratiques du robots.txt pour contrôler l’accès des crawlers, protéger les pages sensibles et optimiser efficacement votre budget de crawl.
L'équipe Auditite
Sommaire
Comprendre robots.txt et son rôle dans le SEO
Le fichier robots.txt est un simple fichier texte placé à la racine de votre site web, qui indique aux crawlers des moteurs de recherche quelles parties de votre site ils peuvent ou non explorer. Malgré sa simplicité, une mauvaise configuration de robots.txt est l’une des erreurs SEO techniques les plus courantes — et l’une des plus dommageables.
Une seule directive mal placée peut empêcher l'indexation de tout votre site, tandis qu'un fichier trop permissif peut gaspiller le budget de crawl sur des pages qui ne devraient jamais apparaître dans les résultats de recherche.
Comment fonctionne le fichier robots.txt
Lorsqu'un crawler de moteur de recherche arrive sur votre domaine, la première chose qu'il demande est https://yourdomain.com/robots.txt. En fonction des directives qu'il y trouve, il décide quelles URL il est autorisé à visiter.
Les directives clés sont :
- User-agent : précise à quel robot les règles s’appliquent (par ex.
Googlebot,Bingbotou*pour tous) - Disallow : empêche l’exploration du chemin indiqué
- Allow : autorise explicitement le crawl d’un chemin (utile pour remplacer des règles Disallow plus larges)
- Sitemap : indique aux robots où trouver votre sitemap XML
- Crawl-delay : demande à certains bots d’attendre entre les requêtes (non respecté par Googlebot)
Limites importantes
Le fichier robots.txt est une directive, pas une mesure de sécurité. Les bots respectueux la suivent, mais les bots malveillants l'ignorent complètement. N'utilisez jamais robots.txt pour masquer des informations sensibles — recourez plutôt à une authentification côté serveur.
De plus, bloquer une page avec le robots.txt n'empêche pas son apparition dans les résultats de recherche. Si d'autres sites pointent vers une page bloquée, Google peut tout de même indexer l'URL (sans contenu). Pour empêcher totalement l'indexation, utilisez plutôt la balise meta noindex.
Règles robots.txt essentielles pour tous les sites
Bloquer les résultats de recherche interne
Les pages de résultats de recherche interne créent des combinaisons d'URL quasi infinies qui gaspillent le crawl budget et risquent d'être considérées comme du contenu faible ou dupliqué :
Disallow: /search
Disallow: /search?
Bloquer la navigation à facettes
Les sites e-commerce proposant des filtres de couleur, de taille, de gamme de prix et d’autres attributs génèrent des milliers d’URL à paramètres. Bloquez ces chemins filtrés :
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Bloquer les zones d'administration et de connexion
Les robots n’ont aucune raison de visiter votre panneau d’administration, vos pages de connexion ou vos espaces de gestion de compte :
Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/
Bloquer les pages panier et paiement
Les pages de panier et de paiement sont propres à chaque session et n'ont aucune valeur SEO :
Disallow: /cart
Disallow: /checkout
Bloquer les chemins de contenu dupliqué
Si votre CMS génère plusieurs schémas d’URL pour un même contenu (par exemple, archives de tags, archives par date), bloquez les doublons :
Disallow: /tag/
Disallow: /author/
Inclure la référence du sitemap
Incluez toujours une directive sitemap en bas de votre robots.txt :
Sitemap: https://yourdomain.com/sitemap-index.xml
Erreurs courantes du robots.txt à éviter
Blocage des fichiers CSS et JavaScript
Il y a quelques années, bloquer les fichiers CSS et JS pour les robots était une pratique courante. Aujourd’hui, c’est nuisible, car Google doit rendre intégralement vos pages pour évaluer leur qualité. Si Googlebot ne peut pas accéder à votre CSS et à votre JS, il ne peut pas évaluer correctement vos Core Web Vitals ni comprendre la mise en page de vos pages.
Utiliser Disallow: / sans mesurer l’impact
Une seule directive Disallow: / sous User-agent: * bloque l’ensemble de votre site pour tous les robots. Elle est parfois ajoutée pendant le développement, puis laissée par erreur après la mise en ligne. Auditez toujours votre robots.txt après une migration ou une refonte.
Règles Allow et Disallow contradictoires
Lorsque plusieurs règles s’appliquent au même chemin d’URL, les moteurs de recherche retiennent la règle correspondante la plus spécifique. S’appuyer sur ce comportement crée toutefois de la confusion et complique la maintenance. Gardez des règles claires qui ne se chevauchent pas.
Oublier de mettre à jour après des changements sur le site
Votre robots.txt doit évoluer avec votre site. Les nouveaux motifs d'URL, les sections obsolètes et les changements de structure exigent tous une mise à jour du robots.txt. Intégrez la revue du robots.txt à votre processus régulier d'audit SEO technique.
Robots.txt pour différentes plateformes
WordPress
WordPress sert un robots.txt virtuel tant qu’aucun fichier physique n’existe ; notre guide du robots.txt WordPress explique comment le modifier en toute sécurité dans Yoast, Rank Math ou via FTP. Les sites WordPress doivent généralement bloquer :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/
Shopify
Shopify génère un fichier robots.txt par défaut généralement bien configuré, mais vous pouvez le personnaliser via le fichier de modèle robots.txt.liquid. Les ajouts courants consistent à bloquer les pages de filtres de collection et les URL de variantes.
Next.js et applications monopages
Les sites très dépendants de JavaScript demandent une attention particulière. Veillez à ne pas bloquer les bundles JavaScript dont Googlebot a besoin pour afficher vos pages. Lisez notre guide complet sur le SEO JavaScript pour en savoir plus.
Tester votre fichier robots.txt
Le robots.txt est aussi le premier endroit où chercher l’emplacement du sitemap d’un site ; voir comment trouver le sitemap d’un site web.
Inspection d'URL de Google Search Console
Utilisez l’outil d’inspection d’URL pour vérifier si certaines URL sont bloquées par votre robots.txt. C’est le test le plus fiable, car il utilise l’analyseur réel de Google.
Outils de test du robots.txt
Plusieurs outils en ligne permettent de valider la syntaxe de votre robots.txt et de tester des URL précises par rapport à vos règles. Lancez ces tests après chaque modification.
Surveillance automatisée
Mettez en place une surveillance automatisée qui vous alerte si votre robots.txt change de façon inattendue. Une modification accidentelle pendant un déploiement pourrait empêcher le crawl de pages critiques. Auditite surveille votre robots.txt et vous alerte de tout changement susceptible d'affecter le SEO.
Techniques avancées pour le fichier robots.txt
Crawl-delay pour les bots autres que Google
Googlebot ignore la directive Crawl-delay, mais d'autres robots comme Bingbot et Yandex la respectent. Si des crawlers secondaires surchargent votre serveur, ajoutez un délai de crawl :
User-agent: Bingbot
Crawl-delay: 5
Correspondance de motifs avec des jokers
* (correspond à n'importe quelle suite de caractères) et $ (correspond à la fin de l'URL) peuvent tous deux être utilisés dans les chemins du robots.txt :
Disallow: /*.pdf$— Bloque tous les fichiers PDFDisallow: /*?sessionid=— Bloque les URL avec paramètres de sessionDisallow: /category/*/feed/: bloque les flux sous les chemins de catégories
Règles par robot
Vous pouvez créer des règles différentes selon les crawlers. C'est utile lorsque vous voulez que Google crawle certaines pages mais pas Bing, ou inversement :
User-agent: Googlebot
Allow: /special-section/
User-agent: Bingbot
Disallow: /special-section/
Checklist d'audit du robots.txt
Parcourez cette checklist à chaque audit de SEO technique :
- Le fichier est accessible à l’adresse
https://yourdomain.com/robots.txt - Aucune page critique n’est bloquée (page d’accueil, pages produit, articles de blog)
- Les fichiers CSS et JS ne sont pas bloqués
- Les pages de faible valeur sont correctement bloquées (recherche, filtres, administration)
- L'URL du sitemap est incluse
- Aucune directive contradictoire n'existe
- La syntaxe est valide et correctement formatée
- Le fichier correspond à la structure actuelle du site (aucune règle obsolète)
À retenir
Votre fichier robots.txt est un instrument puissant mais rudimentaire pour contrôler l’accès des robots. Utilisez-le de façon stratégique pour protéger votre budget de crawl, mais n’oubliez pas qu’il ne remplace ni les balises noindex, ni les balises canoniques, ni les contrôles d’accès côté serveur. Auditez-le régulièrement, testez chaque modification et gardez-le toujours aligné sur l’architecture actuelle de votre site.
Restez informé
Recevez des analyses, des stratégies et les nouveautés produit directement dans votre boîte de réception.
Pas de spam. Désabonnement à tout moment.
Prêt à voir Auditite en action ?
Lancez-vous et voyez comment Auditite peut transformer votre workflow d’audit SEO.
Commencer