Auditite
Retour au blog
SEO technique Audit SEO technique 2025-07-02 8 min de lecture

Guide des bonnes pratiques robots.txt pour les équipes SEO

Découvrez les bonnes pratiques du robots.txt pour contrôler l’accès des crawlers, protéger les pages sensibles et optimiser efficacement votre budget de crawl.

A

L'équipe Auditite

robots.txtSEO techniquecontrôle du crawlGooglebot

Comprendre robots.txt et son rôle dans le SEO

Le fichier robots.txt est un simple fichier texte placé à la racine de votre site web, qui indique aux crawlers des moteurs de recherche quelles parties de votre site ils peuvent ou non explorer. Malgré sa simplicité, une mauvaise configuration de robots.txt est l’une des erreurs SEO techniques les plus courantes — et l’une des plus dommageables.

Une seule directive mal placée peut empêcher l'indexation de tout votre site, tandis qu'un fichier trop permissif peut gaspiller le budget de crawl sur des pages qui ne devraient jamais apparaître dans les résultats de recherche.

Comment fonctionne le fichier robots.txt

Lorsqu'un crawler de moteur de recherche arrive sur votre domaine, la première chose qu'il demande est https://yourdomain.com/robots.txt. En fonction des directives qu'il y trouve, il décide quelles URL il est autorisé à visiter.

Les directives clés sont :

  • User-agent : précise à quel robot les règles s’appliquent (par ex. Googlebot, Bingbot ou * pour tous)
  • Disallow : empêche l’exploration du chemin indiqué
  • Allow : autorise explicitement le crawl d’un chemin (utile pour remplacer des règles Disallow plus larges)
  • Sitemap : indique aux robots où trouver votre sitemap XML
  • Crawl-delay : demande à certains bots d’attendre entre les requêtes (non respecté par Googlebot)

Limites importantes

Le fichier robots.txt est une directive, pas une mesure de sécurité. Les bots respectueux la suivent, mais les bots malveillants l'ignorent complètement. N'utilisez jamais robots.txt pour masquer des informations sensibles — recourez plutôt à une authentification côté serveur.

De plus, bloquer une page avec le robots.txt n'empêche pas son apparition dans les résultats de recherche. Si d'autres sites pointent vers une page bloquée, Google peut tout de même indexer l'URL (sans contenu). Pour empêcher totalement l'indexation, utilisez plutôt la balise meta noindex.

Règles robots.txt essentielles pour tous les sites

Bloquer les résultats de recherche interne

Les pages de résultats de recherche interne créent des combinaisons d'URL quasi infinies qui gaspillent le crawl budget et risquent d'être considérées comme du contenu faible ou dupliqué :

Disallow: /search
Disallow: /search?

Bloquer la navigation à facettes

Les sites e-commerce proposant des filtres de couleur, de taille, de gamme de prix et d’autres attributs génèrent des milliers d’URL à paramètres. Bloquez ces chemins filtrés :

Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=

Bloquer les zones d'administration et de connexion

Les robots n’ont aucune raison de visiter votre panneau d’administration, vos pages de connexion ou vos espaces de gestion de compte :

Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/

Bloquer les pages panier et paiement

Les pages de panier et de paiement sont propres à chaque session et n'ont aucune valeur SEO :

Disallow: /cart
Disallow: /checkout

Bloquer les chemins de contenu dupliqué

Si votre CMS génère plusieurs schémas d’URL pour un même contenu (par exemple, archives de tags, archives par date), bloquez les doublons :

Disallow: /tag/
Disallow: /author/

Inclure la référence du sitemap

Incluez toujours une directive sitemap en bas de votre robots.txt :

Sitemap: https://yourdomain.com/sitemap-index.xml

Erreurs courantes du robots.txt à éviter

Blocage des fichiers CSS et JavaScript

Il y a quelques années, bloquer les fichiers CSS et JS pour les robots était une pratique courante. Aujourd’hui, c’est nuisible, car Google doit rendre intégralement vos pages pour évaluer leur qualité. Si Googlebot ne peut pas accéder à votre CSS et à votre JS, il ne peut pas évaluer correctement vos Core Web Vitals ni comprendre la mise en page de vos pages.

Utiliser Disallow: / sans mesurer l’impact

Une seule directive Disallow: / sous User-agent: * bloque l’ensemble de votre site pour tous les robots. Elle est parfois ajoutée pendant le développement, puis laissée par erreur après la mise en ligne. Auditez toujours votre robots.txt après une migration ou une refonte.

Règles Allow et Disallow contradictoires

Lorsque plusieurs règles s’appliquent au même chemin d’URL, les moteurs de recherche retiennent la règle correspondante la plus spécifique. S’appuyer sur ce comportement crée toutefois de la confusion et complique la maintenance. Gardez des règles claires qui ne se chevauchent pas.

Oublier de mettre à jour après des changements sur le site

Votre robots.txt doit évoluer avec votre site. Les nouveaux motifs d'URL, les sections obsolètes et les changements de structure exigent tous une mise à jour du robots.txt. Intégrez la revue du robots.txt à votre processus régulier d'audit SEO technique.

Robots.txt pour différentes plateformes

WordPress

WordPress sert un robots.txt virtuel tant qu’aucun fichier physique n’existe ; notre guide du robots.txt WordPress explique comment le modifier en toute sécurité dans Yoast, Rank Math ou via FTP. Les sites WordPress doivent généralement bloquer :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/

Shopify

Shopify génère un fichier robots.txt par défaut généralement bien configuré, mais vous pouvez le personnaliser via le fichier de modèle robots.txt.liquid. Les ajouts courants consistent à bloquer les pages de filtres de collection et les URL de variantes.

Next.js et applications monopages

Les sites très dépendants de JavaScript demandent une attention particulière. Veillez à ne pas bloquer les bundles JavaScript dont Googlebot a besoin pour afficher vos pages. Lisez notre guide complet sur le SEO JavaScript pour en savoir plus.

Tester votre fichier robots.txt

Le robots.txt est aussi le premier endroit où chercher l’emplacement du sitemap d’un site ; voir comment trouver le sitemap d’un site web.

Inspection d'URL de Google Search Console

Utilisez l’outil d’inspection d’URL pour vérifier si certaines URL sont bloquées par votre robots.txt. C’est le test le plus fiable, car il utilise l’analyseur réel de Google.

Outils de test du robots.txt

Plusieurs outils en ligne permettent de valider la syntaxe de votre robots.txt et de tester des URL précises par rapport à vos règles. Lancez ces tests après chaque modification.

Surveillance automatisée

Mettez en place une surveillance automatisée qui vous alerte si votre robots.txt change de façon inattendue. Une modification accidentelle pendant un déploiement pourrait empêcher le crawl de pages critiques. Auditite surveille votre robots.txt et vous alerte de tout changement susceptible d'affecter le SEO.

Techniques avancées pour le fichier robots.txt

Crawl-delay pour les bots autres que Google

Googlebot ignore la directive Crawl-delay, mais d'autres robots comme Bingbot et Yandex la respectent. Si des crawlers secondaires surchargent votre serveur, ajoutez un délai de crawl :

User-agent: Bingbot
Crawl-delay: 5

Correspondance de motifs avec des jokers

* (correspond à n'importe quelle suite de caractères) et $ (correspond à la fin de l'URL) peuvent tous deux être utilisés dans les chemins du robots.txt :

  • Disallow: /*.pdf$ — Bloque tous les fichiers PDF
  • Disallow: /*?sessionid= — Bloque les URL avec paramètres de session
  • Disallow: /category/*/feed/ : bloque les flux sous les chemins de catégories

Règles par robot

Vous pouvez créer des règles différentes selon les crawlers. C'est utile lorsque vous voulez que Google crawle certaines pages mais pas Bing, ou inversement :

User-agent: Googlebot
Allow: /special-section/

User-agent: Bingbot
Disallow: /special-section/

Checklist d'audit du robots.txt

Parcourez cette checklist à chaque audit de SEO technique :

  • Le fichier est accessible à l’adresse https://yourdomain.com/robots.txt
  • Aucune page critique n’est bloquée (page d’accueil, pages produit, articles de blog)
  • Les fichiers CSS et JS ne sont pas bloqués
  • Les pages de faible valeur sont correctement bloquées (recherche, filtres, administration)
  • L'URL du sitemap est incluse
  • Aucune directive contradictoire n'existe
  • La syntaxe est valide et correctement formatée
  • Le fichier correspond à la structure actuelle du site (aucune règle obsolète)

À retenir

Votre fichier robots.txt est un instrument puissant mais rudimentaire pour contrôler l’accès des robots. Utilisez-le de façon stratégique pour protéger votre budget de crawl, mais n’oubliez pas qu’il ne remplace ni les balises noindex, ni les balises canoniques, ni les contrôles d’accès côté serveur. Auditez-le régulièrement, testez chaque modification et gardez-le toujours aligné sur l’architecture actuelle de votre site.

Restez informé

Recevez des analyses, des stratégies et les nouveautés produit directement dans votre boîte de réception.

Pas de spam. Désabonnement à tout moment.

Prêt à voir Auditite en action ?

Lancez-vous et voyez comment Auditite peut transformer votre workflow d’audit SEO.

Commencer
Commencer

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.