Robots.txt
Descubre qué es un archivo robots.txt, cómo controla el comportamiento de rastreo de los motores de búsqueda y cómo configurarlo correctamente para mejorar los resultados SEO.
Robots.txt es un archivo de texto plano situado en la raíz de tu sitio web que da instrucciones a los rastreadores de los motores de búsqueda sobre qué partes de tu sitio deben o no deben visitar. Sigue el Protocolo de exclusión de robots y es el primer archivo que los bots consultan antes de rastrear tu sitio. Aunque sugiere un comportamiento de rastreo, no garantiza que las páginas bloqueadas queden excluidas de los resultados de búsqueda.
Por qué importa para el SEO
El robots.txt desempeña un papel fundamental en la gestión de tu crawl budget. Al alejar a los bots de las áreas de poco valor, como paneles de administración, entornos de staging, contenido duplicado o páginas de navegación por facetas, te aseguras de que los rastreadores dediquen su tiempo limitado a las páginas que de verdad importan para tu posicionamiento. Los archivos robots.txt mal configurados son una de las causas más comunes de problemas de indexación y pueden bloquear por accidente secciones enteras de un sitio para los buscadores.
Cómo configurar robots.txt
Coloca el archivo en la raíz de tu dominio para que sea accesible en tu dominio seguido de /robots.txt. Usa directivas User-agent para dirigirte a bots concretos y reglas Disallow para bloquear rutas. La directiva Allow puede anular reglas disallow más generales para subrutas específicas.
Haz referencia a tu sitemap XML al final del archivo con la directiva Sitemap. Así los buscadores descubren tu sitemap sin necesidad de visitar Google Search Console.
Para las páginas que quieres excluir por completo de los resultados de búsqueda, usa una metaetiqueta noindex en lugar de robots.txt. Bloquear con robots.txt impide que los rastreadores vean la directiva noindex, lo que puede hacer que la página siga apareciendo en los resultados de búsqueda.
Errores comunes
- Bloquear archivos CSS y JavaScript: los buscadores modernos necesitan renderizar las páginas para entenderlas. Bloquear recursos críticos para el renderizado rompe el renderizado de JavaScript y perjudica tu posicionamiento.
- Usar robots.txt para ocultar páginas de los resultados de búsqueda: las páginas bloqueadas pueden indexarse igualmente si otros sitios enlazan a ellas. Usa noindex para desindexar.
- Dejar una directiva disallow general del entorno de pruebas: tras lanzar un sitio, verifica que el robots.txt no conserve un disallow global de la fase de desarrollo.
- No probar los cambios: usa el probador de robots.txt de Google Search Console antes de desplegar actualizaciones en producción.
- Olvidar las barras finales: Disallow /admin bloquea /admin, /admin/ y /admin/page, mientras que Disallow /admin/ solo bloquea las rutas dentro del directorio.
Un archivo robots.txt bien configurado es fundamental para el SEO técnico y prepara el terreno para un rastreo y una indexación eficientes.
Artículos relacionados
Cómo encontrar el sitemap de un sitio web (7 formas)
Cómo encontrar el sitemap de un sitio web: revisa robots.txt, las URL habituales de sitemap, los valores predeterminados del CMS y Search Console, y después comprueba en minutos si el XML del sitemap tiene errores.
Robots.txt en WordPress: qué incluir y por qué
Cómo funciona el robots.txt de WordPress: el archivo virtual por defecto, cómo editarlo en Yoast, Rank Math o por FTP, un archivo recomendado y las reglas que perjudican al SEO sin que lo notes.
Guía de buenas prácticas de robots.txt para equipos SEO
Aprende las buenas prácticas de robots.txt para controlar el acceso de los rastreadores, proteger páginas sensibles y optimizar tu presupuesto de rastreo de forma eficaz.