Auditite
Retour au blog
SEO technique Audit SEO technique 2026-10-12 9 min de lecture

robots.txt WordPress : quoi y mettre et pourquoi

Comment fonctionne le robots.txt de WordPress : le fichier virtuel par défaut, sa modification dans Yoast, Rank Math ou par FTP, un fichier recommandé et les règles qui nuisent discrètement au SEO.

A

L'équipe Auditite

robots.txtWordPressSEO techniquecontrôle du crawl

La plupart des sites WordPress n’ont pas du tout de fichier robots.txt. Rendez-vous sur https://yoursite.com/robots.txt et vous en verrez pourtant un, car WordPress le génère à la volée. Cet écart entre « le fichier que vous voyez » et « le fichier qui existe » est à l’origine de la plupart des problèmes de robots.txt sous WordPress : on modifie un fichier physique qu’un plugin ignore ensuite, ou un réglage de plugin qu’un fichier physique écrase silencieusement.

Ce guide explique comment fonctionne réellement le robots.txt de WordPress, comment le modifier en toute sécurité, à quoi ressemble un fichier raisonnable pour un site type, et les règles que nous supprimerions de presque tous les robots.txt WordPress que nous voyons.

Comment WordPress génère le fichier robots.txt

Le cœur de WordPress inclut une fonction appelée do_robots(). Lorsqu’une requête pour /robots.txt atteint WordPress et qu’il n’existe aucun fichier robots.txt physique à la racine web, WordPress en génère un virtuel et le sert.

Sur une installation WordPress récente avec la visibilité dans les moteurs de recherche activée, le fichier virtuel ressemble à ceci :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Trois choses se produisent :

  1. Disallow: /wp-admin/ empêche les robots d’accéder à la zone d’administration, qui n’a rien d’intéressant à indexer.
  2. Allow: /wp-admin/admin-ajax.php rouvre le seul point d'accès d'administration que les thèmes et les plugins appellent depuis le front. Le bloquer peut empêcher Google de rendre le contenu chargé via AJAX.
  3. Sitemap: pointe vers le sitemap XML natif que WordPress fournit depuis la version 5.5. Si un plugin SEO remplace le sitemap natif, il remplace généralement cette ligne par son propre index de sitemaps (par exemple sitemap_index.xml).

Comme le fichier est virtuel, les plugins et thèmes peuvent le modifier via le filtre robots_txt sans toucher au système de fichiers. C’est exactement ainsi que Yoast SEO et Rank Math ajoutent leurs lignes de sitemap.

Le fichier physique l’emporte toujours

Si vous téléversez un véritable robots.txt à la racine web, votre serveur web le sert directement et WordPress n’exécute jamais do_robots(). Tout réglage de plugin qui modifie le fichier virtuel cesse alors d’avoir un effet. C’est la raison la plus courante pour laquelle quelqu’un dit « J’ai modifié robots.txt dans mon plugin SEO mais rien ne s’est passé ».

Vérification rapide : ouvrez le fichier via SFTP ou le gestionnaire de fichiers de votre hébergeur. Si robots.txt existe dans le même dossier que wp-config.php, c’est celui qui est servi.

Comment modifier le robots.txt dans WordPress

Il existe trois méthodes fiables. Choisissez-en une et tenez-vous-y, afin de n’avoir qu’une seule source de vérité.

Option 1 : Yoast SEO

  1. Allez dans Yoast SEO → Outils → Éditeur de fichiers.
  2. Si aucun fichier physique n’existe, Yoast propose d’en créer un. Cliquez sur Créer le fichier robots.txt.
  3. Modifiez et enregistrez.

Notez que l'éditeur de fichiers de Yoast écrit un fichier physique. À partir de là, le fichier virtuel de WordPress n'est plus utilisé. Si l'option d'éditeur de fichiers est absente, l'édition de fichiers est probablement désactivée sur votre installation (par exemple via DISALLOW_FILE_EDIT dans wp-config.php) ou votre hébergeur n'autorise pas PHP à écrire à la racine du site.

Option 2 : Rank Math

  1. Allez dans Rank Math → Réglages généraux → Modifier le robots.txt.
  2. Modifiez le contenu et enregistrez.

Rank Math modifie le fichier virtuel via le filtre. Si un fichier robots.txt physique existe, Rank Math affiche le champ en lecture seule et vous demande de supprimer d'abord le fichier physique.

Option 3 : téléverser le fichier vous-même

  1. Créez un fichier texte brut nommé robots.txt (UTF-8, sans BOM).
  2. Téléversez-le par SFTP ou via le gestionnaire de fichiers de votre hébergeur à la racine web.
  3. Chargez https://yoursite.com/robots.txt dans une fenêtre de navigation privée pour confirmer que le nouveau contenu est bien servi. Videz le cache de page ou du CDN si vous voyez encore l'ancienne version.

Cette option est la plus prévisible, surtout sur les hébergements gérés et les configurations multisites, car aucun plugin ne peut la modifier dans votre dos.

Pour un blog WordPress ou un site d’entreprise typique, voici à peu près ce que nous recommandons :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Pourquoi chaque ligne est là :

  • Les règles d’administration sont celles par défaut de WordPress et sont sans risque.
  • /?s= et /search/ bloquent les URL des résultats de recherche interne. Les pages de recherche interne peuvent générer un nombre illimité d'URL minces et quasi dupliquées, et elles sont une source fréquente de spam : des robots soumettent des requêtes contenant des expressions spammy, et ces URL peuvent finir découvertes et explorées. Les bloquer préserve l'activité d'exploration pour les pages qui comptent.
  • Sitemap: doit pointer vers le sitemap que votre site sert réellement. Ouvrez-le dans un navigateur pour confirmer qu’il renvoie du XML et non une 404. Si vous ne savez pas de quel sitemap il s’agit, notre guide sur comment trouver le sitemap d’un site web vous explique comment faire.

Ajouts pour WooCommerce

Les boutiques ajoutent souvent :

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=

Ces pages sont propres à chaque utilisateur et n’ont aucune valeur pour la recherche. La règle add-to-cart compte plus qu’on ne le pense : chaque lien de liste de produits avec ?add-to-cart= est une URL explorable qui sollicite le serveur.

Les filtres à facettes (?filter_color=, ?orderby=) relèvent d'un jugement au cas par cas. Sur de petits catalogues, laissez-les explorables et gérez les doublons avec des canonicals. Sur de grands catalogues où les filtres se multiplient en milliers de combinaisons, bloquer les pires schémas de paramètres peut aider. Notre guide de la navigation à facettes détaille cette décision.

Ce qu’il ne faut pas mettre dans un robots.txt WordPress

Voici l’angle que la plupart des tutoriels sur robots.txt ratent : ils traitent le fichier comme une liste de « choses à cacher ». La plupart des problèmes de robots.txt sous WordPress viennent de règles ajoutées avec de bonnes intentions il y a des années.

Ne bloquez pas /wp-content/ ni /wp-includes/

D'anciens guides recommandaient cela pour « protéger » les dossiers WordPress. Ces dossiers contiennent le CSS, le JavaScript et les images dont Google a besoin pour rendre vos pages. Google rend les pages à peu près comme un navigateur ; bloquer ces ressources peut donc donner à Googlebot l'impression que les pages sont cassées ou vides. La documentation de Google déconseille elle-même de bloquer les ressources nécessaires au rendu.

Ne bloquez pas /wp-content/uploads/

C'est là que se trouvent vos images. Si vous le bloquez, vos images disparaissent de Google Images, et les pages qui s'appuient dessus pour le contexte perdent des signaux.

N'utilisez pas le robots.txt pour retirer des pages de Google

Disallow bloque le crawl, pas l'indexation. Si d'autres sites renvoient vers une URL bloquée, Google peut quand même indexer l'URL elle-même, généralement sans description, car il ne peut pas lire la page. Pire, une balise noindex placée sur une page bloquée n'est jamais vue, car Google n'a pas le droit de la récupérer. Pour retirer de l'index des archives de tags, des pages de pièces jointes ou des pages pauvres, utilisez noindex (via Yoast ou Rank Math) et laissez-les explorables jusqu'à ce qu'elles disparaissent.

Ne bloquez pas les flux, les tags ou les catégories par réflexe

Les flux aident à la découverte. Les pages de catégorie comptent souvent parmi les meilleures pages hub d’un blog. Si les archives de tags sont légères, passez-les en noindex ; ne les bloquez pas dans le robots.txt.

Prudence avec les blocages généralisés de bots

Depuis l'apparition des crawlers d'IA générative, de nombreux propriétaires de sites ont ajouté des blocages comme :

User-agent: GPTBot
Disallow: /

C'est un choix commercial tout à fait légitime. Soyez simplement précis sur les user agents que vous bloquez. Bloquer Googlebot ou ajouter User-agent: * / Disallow: / pour tenter de bloquer les bots d'IA vous fera disparaître complètement de la recherche. Le refus de l'entraînement des IA de Google utilise un jeton distinct, Google-Extended, qui n'a aucun effet sur le crawl de Google Search.

La case « Demander aux moteurs de recherche de ne pas indexer ce site »

Sous Réglages → Lecture, WordPress propose une case « Demander aux moteurs de recherche de ne pas indexer ce site ». Elle est destinée aux sites de préproduction et de développement. Les versions actuelles de WordPress l'implémentent principalement avec une balise meta robots noindex plutôt qu'en s'appuyant sur le robots.txt.

Le scénario d'échec classique : un site est construit en préproduction avec cette case cochée, migré en production et lancé avec la case toujours cochée. Quelques semaines plus tard, le trafic s'effondre. Ajoutez « Visibilité pour les moteurs de recherche » à toutes vos checklists de lancement et vérifiez-la sur le site en production dans le cadre d'une checklist de migration de site.

Comment tester le robots.txt de votre site WordPress

  1. Récupérez-le directement à l'adresse https://yoursite.com/robots.txt et confirmez qu'il renvoie un statut 200 avec un contenu text/plain. Une erreur 5xx sur le robots.txt est grave : Google peut considérer l'ensemble du site comme temporairement inaccessible.
  2. Consultez le rapport robots.txt dans Google Search Console (sous Paramètres). Il indique quels fichiers robots.txt Google a trouvés, quand il les a récupérés pour la dernière fois et les éventuels problèmes d'analyse.
  3. Testez les URL importantes avec l'outil d'inspection d'URL pour confirmer qu'elles ne sont pas bloquées.
  4. Validez la syntaxe avec un validateur de robots.txt avant de déployer des modifications.
  5. Revérifiez après un changement de plugin. Changer de plugin SEO modifie souvent la ligne du sitemap, et l'ancienne URL peut renvoyer une 404.

Un exemple concret

Voici un robots.txt hérité que nous réécririons sans hésiter (à titre d’illustration, mais très représentatif) :

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /feed/
Disallow: /*?*

Sitemap: https://example.com/sitemap.xml

Problèmes, par ordre de gravité :

  1. /wp-includes/, /wp-content/plugins/ et /wp-content/themes/ bloquent du CSS et du JavaScript dont Google a besoin pour rendre la page.
  2. /*?* bloque toutes les URL avec une chaîne de requête, y compris les URL paginées ou suivies légitimes et les appels admin-ajax.php avec paramètres.
  3. /tag/ bloque les archives de tags, mais elles restent indexées via des liens, désormais sans contenu que Google peut lire. noindex est le bon outil.
  4. /feed/ supprime une voie de découverte utile sans aucun bénéfice.
  5. L'URL du sitemap pointe vers sitemap.xml, mais le site utilise Yoast, qui sert sitemap_index.xml.

La version corrigée est le fichier recommandé présenté plus haut, auquel s'ajoute noindex sur les archives de tags, défini dans le plugin SEO.

Pour un tour d'horizon plus large des directives, des jokers et du budget de crawl, consultez notre guide des bonnes pratiques robots.txt et l'audit SEO technique WordPress.

Questions fréquentes

Où se trouve le fichier robots.txt dans WordPress ?

Sur la plupart des installations, il n'existe aucun fichier physique. WordPress génère un robots.txt virtuel lorsque /robots.txt est demandé. S'il existe un vrai fichier, il se trouve à la racine web, dans le même dossier que wp-config.php, et il remplace le fichier virtuel.

Comment modifier le robots.txt dans WordPress sans plugin ?

Créez un fichier texte brut nommé robots.txt, mettez-le en ligne à la racine web via SFTP ou le gestionnaire de fichiers de votre hébergeur, puis videz le cache de page ou de CDN. Le fichier physique remplace immédiatement le fichier virtuel de WordPress.

Pourquoi les modifications de robots.txt faites dans Yoast ou Rank Math ne s’affichent-elles pas ?

Généralement parce qu’un fichier robots.txt physique existe et que le serveur le sert à la place de la version virtuelle du plugin, ou parce qu’un cache sert encore l’ancien fichier. Vérifiez la racine web et purgez les caches.

Faut-il bloquer wp-content dans le robots.txt ?

Non. Le dossier wp-content contient le CSS, le JavaScript et les images dont Google a besoin pour afficher vos pages. Le bloquer peut donner l'impression à Googlebot que les pages sont cassées et retire vos images de Google Images.

Le fichier robots.txt peut-il retirer une page WordPress de Google ?

Non. Disallow ne fait qu’interrompre le crawl. Pour retirer une page des résultats de recherche, ajoutez une directive noindex et laissez la page explorable afin que Google puisse la voir.

Restez informé

Recevez des analyses, des stratégies et les nouveautés produit directement dans votre boîte de réception.

Pas de spam. Désabonnement à tout moment.

Prêt à voir Auditite en action ?

Lancez-vous et voyez comment Auditite peut transformer votre workflow d’audit SEO.

Commencer
Commencer

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.