Auditite
Tous les playbooks
Guide Spécialiste SEO technique

Guide des bonnes pratiques robots.txt avec Auditite

Maîtrisez la configuration du robots.txt pour contrôler l’accès des robots, protéger les pages sensibles et optimiser l’allocation du budget de crawl.

Aperçu

Le fichier robots.txt contrôle les parties de votre site auxquelles les robots des moteurs de recherche peuvent accéder. Un robots.txt mal configuré peut bloquer l'indexation de pages critiques ou gaspiller du budget de crawl sur des URL à faible valeur. Ce guide couvre les bonnes pratiques pour chaque scénario courant.

Étape 1 : auditer votre robots.txt actuel

  1. Accédez à votre robots.txt à l’adresse yourdomain.com/robots.txt.
  2. Testez-le avec le testeur de robots.txt de Google Search Console.
  3. Vérifiez qu’aucune page ou ressource critique n’est bloquée par erreur.
  4. Vérifiez que les fichiers CSS et JavaScript nécessaires au rendu ne sont pas bloqués.

Étape 2 : comprendre la syntaxe

Directives de base

DirectiveObjectif
User-agentPrécise à quel robot les règles s'appliquent
DisallowBloque l’exploration du chemin indiqué
AllowRemplace un Disallow pour un chemin plus spécifique
SitemapIndique l'emplacement de votre sitemap XML
Crawl-delayDemande un délai entre les requêtes (non respecté par Google)

Règles de priorité

  • Les chemins plus spécifiques l’emportent sur les chemins moins spécifiques.
  • Allow l’emporte sur Disallow lorsque les longueurs de chemin sont égales.
  • Les règles sont sensibles à la casse pour les chemins.
  • Les jokers (*) correspondent à n’importe quelle suite de caractères.
  • Le caractère $ indique la fin d’une URL.

Étape 3 : modèles de configuration courants

Bloquer les pages d’administration et internes

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/

Bloquer les résultats de recherche et les filtres

Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=

Autoriser des ressources précises dans des répertoires bloqués

Disallow: /private/
Allow: /private/public-page/

Bloquer des types de fichiers précis

Disallow: /*.pdf$
Disallow: /*.doc$

Étape 4 : optimisation du budget de crawl

  1. Bloquez les paramètres d'URL qui créent du contenu dupliqué (tri, identifiants de session, paramètres de suivi).
  2. Bloquez les pages de résultats de recherche interne — elles ont rarement une valeur SEO et peuvent générer des URL à l’infini.
  3. Bloquez les combinaisons de filtres paginées que vous gérez avec des balises canoniques.
  4. Ne bloquez pas les pages que vous voulez passer en noindex : utilisez plutôt la balise meta robots. Un blocage via robots.txt empêche Google de voir la directive noindex.

Étape 5 : erreurs courantes à éviter

Blocage du CSS et du JavaScript

Google doit effectuer le rendu de vos pages pour les évaluer. Bloquer les fichiers CSS ou JS dans robots.txt empêche le rendu et peut nuire au classement.

Utiliser le robots.txt pour désindexer

Le robots.txt empêche le crawl, pas l’indexation. Si des liens externes pointent vers une page, Google peut quand même l’indexer sans l’explorer. Utilisez des balises meta noindex pour la désindexer.

Règles Disallow trop larges

Un Disallow: / bloque tout votre site. Un Disallow: /blog bloque à la fois /blog/ et /blogging-tips/. Incluez toujours des slashs finaux pour les répertoires.

Oublier la directive Sitemap

Indiquez toujours l’emplacement de votre sitemap en bas du fichier robots.txt :

Sitemap: https://yourdomain.com/sitemap.xml

Étape 6 : tests et suivi

  1. Après toute modification de robots.txt, testez le fichier mis à jour dans Google Search Console.
  2. Vérifiez que vos pages les plus importantes ne sont pas bloquées à l’aide de l’outil d’inspection d’URL.
  3. Surveillez les statistiques d'exploration de Google Search Console pour repérer les changements de rythme d'exploration après les mises à jour de robots.txt.
  4. Utilisez Auditite pour auditer votre configuration robots.txt en parallèle du crawl complet de votre site.
  5. Conservez un historique des versions de vos modifications du robots.txt pour pouvoir revenir en arrière en cas de problème.

Robots.txt pour plusieurs environnements

Assurez-vous que vos environnements de préproduction et de développement bloquent tous les robots :

User-agent: *
Disallow: /

Supprimez ce bloc avant de lancer n'importe quel environnement en production. Lancer par erreur avec un Disallow complet est l'une des erreurs de déploiement SEO les plus courantes.

Arrêtez le copier-coller. Passez à l'automatisation.

Auditite transforme les playbooks en workflows d’audit en direct. Lancez-vous pour voir comment.

Recevez des analyses chaque semaine

Rejoignez les équipes qui reçoivent chaque semaine des playbooks actionnables, des benchmarks et les nouveautés produit.