Robots.txt
Découvrez ce qu'est un fichier robots.txt, comment il contrôle le comportement d'exploration des moteurs de recherche et comment le configurer correctement pour de meilleurs résultats SEO.
Le robots.txt est un fichier texte brut placé à la racine de votre site, qui indique aux robots des moteurs de recherche les parties de votre site qu'ils peuvent ou non explorer. Il suit le protocole d'exclusion des robots et c'est le premier fichier que les robots consultent avant de crawler votre site. Il suggère un comportement de crawl, mais ne garantit pas que les pages bloquées seront exclues des résultats de recherche.
Pourquoi c’est important pour le SEO
Le robots.txt joue un rôle essentiel dans la gestion de votre budget de crawl. En éloignant les bots des zones à faible valeur comme les interfaces d'administration, les environnements de staging, le contenu dupliqué ou les pages de navigation à facettes, vous faites en sorte que les crawlers consacrent leur temps limité aux pages qui comptent vraiment pour votre classement. Les fichiers robots.txt mal configurés sont l'une des causes les plus fréquentes de problèmes d'indexation et peuvent bloquer par erreur des sections entières d'un site pour les moteurs de recherche.
Comment configurer le robots.txt
Placez le fichier à la racine de votre domaine pour qu’il soit accessible à l’adresse de votre domaine suivie de /robots.txt. Utilisez les directives User-agent pour cibler des robots précis et les règles Disallow pour bloquer des chemins. La directive Allow peut remplacer des règles Disallow plus larges pour des sous-chemins précis.
Référencez votre sitemap XML en bas du fichier avec la directive Sitemap. Cela aide les moteurs de recherche à découvrir votre sitemap sans devoir passer par Google Search Console.
Pour les pages que vous voulez exclure entièrement des résultats de recherche, utilisez une balise meta noindex plutôt que le robots.txt. Bloquer via le robots.txt empêche les robots de voir la directive noindex, ce qui peut faire apparaître la page quand même dans les résultats de recherche.
Erreurs courantes
- Bloquer les fichiers CSS et JavaScript : les moteurs de recherche modernes doivent rendre les pages pour les comprendre. Bloquer les ressources indispensables au rendu casse le rendu JavaScript et nuit à votre classement.
- Utiliser le robots.txt pour masquer des pages des résultats de recherche : les pages bloquées peuvent quand même être indexées si d’autres sites pointent vers elles. Utilisez noindex pour désindexer.
- Laisser une directive disallow global issue de la préproduction : après le lancement d’un site, vérifiez que le fichier robots.txt ne contient plus de disallow général hérité de la phase de développement.
- Ne pas tester les changements : utilisez le testeur de robots.txt de la Google Search Console avant de déployer les mises à jour en production.
- Oublier les slashs finaux : Disallow /admin bloque /admin, /admin/ et /admin/page, alors que Disallow /admin/ ne bloque que les chemins situés sous le répertoire.
Un fichier robots.txt correctement configuré est fondamental pour le SEO technique et prépare un crawl et une indexation efficaces.
Articles associés
Comment trouver le sitemap d'un site web (7 méthodes)
Comment trouver le sitemap d'un site web : vérifiez le robots.txt, les URL de sitemap courantes, les valeurs par défaut du CMS et la Search Console, puis testez le XML du sitemap pour détecter les erreurs en quelques minutes.
robots.txt WordPress : quoi y mettre et pourquoi
Comment fonctionne le robots.txt de WordPress : le fichier virtuel par défaut, sa modification dans Yoast, Rank Math ou par FTP, un fichier recommandé et les règles qui nuisent discrètement au SEO.
Guide des bonnes pratiques robots.txt pour les équipes SEO
Découvrez les bonnes pratiques du robots.txt pour contrôler l’accès des crawlers, protéger les pages sensibles et optimiser efficacement votre budget de crawl.