Guide des bonnes pratiques robots.txt avec Auditite
Maîtrisez la configuration du robots.txt pour contrôler l’accès des robots, protéger les pages sensibles et optimiser l’allocation du budget de crawl.
Aperçu
Le fichier robots.txt contrôle les parties de votre site auxquelles les robots des moteurs de recherche peuvent accéder. Un robots.txt mal configuré peut bloquer l'indexation de pages critiques ou gaspiller du budget de crawl sur des URL à faible valeur. Ce guide couvre les bonnes pratiques pour chaque scénario courant.
Étape 1 : auditer votre robots.txt actuel
- Accédez à votre robots.txt à l’adresse
yourdomain.com/robots.txt. - Testez-le avec le testeur de robots.txt de Google Search Console.
- Vérifiez qu’aucune page ou ressource critique n’est bloquée par erreur.
- Vérifiez que les fichiers CSS et JavaScript nécessaires au rendu ne sont pas bloqués.
Étape 2 : comprendre la syntaxe
Directives de base
| Directive | Objectif |
|---|---|
| User-agent | Précise à quel robot les règles s'appliquent |
| Disallow | Bloque l’exploration du chemin indiqué |
| Allow | Remplace un Disallow pour un chemin plus spécifique |
| Sitemap | Indique l'emplacement de votre sitemap XML |
| Crawl-delay | Demande un délai entre les requêtes (non respecté par Google) |
Règles de priorité
- Les chemins plus spécifiques l’emportent sur les chemins moins spécifiques.
- Allow l’emporte sur Disallow lorsque les longueurs de chemin sont égales.
- Les règles sont sensibles à la casse pour les chemins.
- Les jokers (*) correspondent à n’importe quelle suite de caractères.
- Le caractère $ indique la fin d’une URL.
Étape 3 : modèles de configuration courants
Bloquer les pages d’administration et internes
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/
Bloquer les résultats de recherche et les filtres
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=
Autoriser des ressources précises dans des répertoires bloqués
Disallow: /private/
Allow: /private/public-page/
Bloquer des types de fichiers précis
Disallow: /*.pdf$
Disallow: /*.doc$
Étape 4 : optimisation du budget de crawl
- Bloquez les paramètres d'URL qui créent du contenu dupliqué (tri, identifiants de session, paramètres de suivi).
- Bloquez les pages de résultats de recherche interne — elles ont rarement une valeur SEO et peuvent générer des URL à l’infini.
- Bloquez les combinaisons de filtres paginées que vous gérez avec des balises canoniques.
- Ne bloquez pas les pages que vous voulez passer en noindex : utilisez plutôt la balise meta robots. Un blocage via robots.txt empêche Google de voir la directive noindex.
Étape 5 : erreurs courantes à éviter
Blocage du CSS et du JavaScript
Google doit effectuer le rendu de vos pages pour les évaluer. Bloquer les fichiers CSS ou JS dans robots.txt empêche le rendu et peut nuire au classement.
Utiliser le robots.txt pour désindexer
Le robots.txt empêche le crawl, pas l’indexation. Si des liens externes pointent vers une page, Google peut quand même l’indexer sans l’explorer. Utilisez des balises meta noindex pour la désindexer.
Règles Disallow trop larges
Un Disallow: / bloque tout votre site. Un Disallow: /blog bloque à la fois /blog/ et /blogging-tips/. Incluez toujours des slashs finaux pour les répertoires.
Oublier la directive Sitemap
Indiquez toujours l’emplacement de votre sitemap en bas du fichier robots.txt :
Sitemap: https://yourdomain.com/sitemap.xml
Étape 6 : tests et suivi
- Après toute modification de robots.txt, testez le fichier mis à jour dans Google Search Console.
- Vérifiez que vos pages les plus importantes ne sont pas bloquées à l’aide de l’outil d’inspection d’URL.
- Surveillez les statistiques d'exploration de Google Search Console pour repérer les changements de rythme d'exploration après les mises à jour de robots.txt.
- Utilisez Auditite pour auditer votre configuration robots.txt en parallèle du crawl complet de votre site.
- Conservez un historique des versions de vos modifications du robots.txt pour pouvoir revenir en arrière en cas de problème.
Robots.txt pour plusieurs environnements
Assurez-vous que vos environnements de préproduction et de développement bloquent tous les robots :
User-agent: *
Disallow: /
Supprimez ce bloc avant de lancer n'importe quel environnement en production. Lancer par erreur avec un Disallow complet est l'une des erreurs de déploiement SEO les plus courantes.
Playbooks associés
Guide pratique de mise en œuvre du balisage Schema pour le SEO
Guide pas à pas pour mettre en place les données structurées sur votre site afin d’obtenir des résultats enrichis et d’améliorer votre visibilité dans la recherche.
ChecklistChecklist SEO de migration de site avec Auditite
Checklist complète pour préserver l'equity SEO lors des changements de domaine, des migrations de CMS, des refontes et des passages en HTTPS.
PlaybookPlaybook de test des données structurées avec Auditite
Une approche systématique pour tester, valider et dépanner les données structurées sur l’ensemble de votre site web.
Arrêtez le copier-coller. Passez à l'automatisation.
Auditite transforme les playbooks en workflows d’audit en direct. Lancez-vous pour voir comment.