Guía de buenas prácticas de robots.txt con Auditite
Domina la configuración de robots.txt para controlar el acceso de los rastreadores, proteger páginas sensibles y optimizar la asignación del presupuesto de rastreo.
Resumen
El archivo robots.txt controla a qué partes de tu sitio pueden acceder los rastreadores de los motores de búsqueda. Un robots.txt mal configurado puede bloquear la indexación de páginas críticas o malgastar crawl budget en URL de bajo valor. Esta guía cubre las buenas prácticas para cada escenario habitual.
Paso 1: Audita tu robots.txt actual
- Accede a tu robots.txt en
yourdomain.com/robots.txt. - Pruébalo con el probador de robots.txt de Google Search Console.
- Comprueba que no se haya bloqueado por accidente ninguna página ni recurso crítico.
- Comprueba que los archivos CSS y JavaScript necesarios para el renderizado no estén bloqueados.
Paso 2: Entiende la sintaxis
Directivas básicas
| Directiva | Finalidad |
|---|---|
| User-agent | Especifica a qué rastreador se aplican las reglas |
| Disallow | Bloquea el rastreo de la ruta indicada |
| Allow | Anula un Disallow para una ruta más específica |
| Sitemap | Apunta a la ubicación de tu sitemap XML |
| Crawl-delay | Solicita una pausa entre peticiones (Google no la respeta) |
Reglas de precedencia
- Las rutas más específicas prevalecen sobre las menos específicas.
- Allow tiene prioridad sobre Disallow cuando las longitudes de ruta son iguales.
- Las reglas distinguen entre mayúsculas y minúsculas en las rutas.
- Los comodines (*) coinciden con cualquier secuencia de caracteres.
- El carácter $ indica el final de una URL.
Paso 3: Patrones de configuración habituales
Bloquea las páginas de administración e internas
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/
Bloquea los resultados de búsqueda y los filtros
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=
Permitir recursos concretos dentro de directorios bloqueados
Disallow: /private/
Allow: /private/public-page/
Bloquear tipos de archivo específicos
Disallow: /*.pdf$
Disallow: /*.doc$
Paso 4: optimización del presupuesto de rastreo
- Bloquea los parámetros de URL que crean contenido duplicado (ordenación, ID de sesión, parámetros de seguimiento).
- Bloquea las páginas de resultados de búsqueda interna: rara vez aportan valor SEO y pueden generar URL infinitas.
- Bloquea las combinaciones de filtros paginadas que gestionas con etiquetas canonical.
- No bloquees las páginas que quieres marcar con noindex; usa meta robots. Si las bloqueas con robots.txt, Google no puede ver la directiva noindex.
Paso 5: errores comunes que debes evitar
Bloquear CSS y JavaScript
Google necesita renderizar tus páginas para evaluarlas. Bloquear archivos CSS o JS en el robots.txt impide el renderizado y puede perjudicar el posicionamiento.
Usar robots.txt para desindexar
Robots.txt impide el rastreo, no la indexación. Si una página tiene enlaces externos que apuntan a ella, Google puede indexarla igualmente sin rastrearla. Usa metaetiquetas noindex para desindexar.
Reglas Disallow demasiado amplias
Una Disallow: / bloquea todo tu sitio. Una Disallow: /blog bloquea tanto /blog/ como /blogging-tips/. Incluye siempre las barras finales en los directorios.
Olvidarse de la directiva Sitemap
Incluye siempre la ubicación de tu sitemap al final del robots.txt:
Sitemap: https://yourdomain.com/sitemap.xml
Paso 6: pruebas y monitorización
- Tras cualquier cambio en el robots.txt, prueba el archivo actualizado en Google Search Console.
- Comprueba con la herramienta de inspección de URL que tus páginas más importantes no estén bloqueadas.
- Revisa las estadísticas de rastreo de Google Search Console para detectar cambios en la tasa de rastreo tras actualizar robots.txt.
- Usa Auditite para auditar la configuración de tu robots.txt junto con el rastreo completo de tu sitio.
- Conserva un historial de versiones de los cambios en tu robots.txt para poder revertirlos si surge algún problema.
Robots.txt para varios entornos
Asegúrate de que tus entornos de staging y desarrollo bloqueen a todos los rastreadores:
User-agent: *
Disallow: /
Elimina este bloque antes de lanzar cualquier entorno a producción. Lanzar por error con un Disallow total es uno de los fallos de despliegue SEO más comunes.
Playbooks relacionados
Playbook de implementación de marcado de esquema para SEO
Guía paso a paso para implementar datos estructurados en todo tu sitio y conseguir resultados enriquecidos y mejor visibilidad en buscadores.
ChecklistLista de verificación SEO para migraciones de sitios con Auditite
Checklist completa para preservar el valor SEO durante cambios de dominio, migraciones de CMS, rediseños y transiciones a HTTPS.
PlaybookPlaybook de pruebas de datos estructurados con Auditite
Enfoque sistemático para probar, validar y solucionar problemas del marcado de datos estructurados en todo tu sitio web.
Deja de copiar y pegar. Empieza a automatizar.
Auditite convierte los playbooks en flujos de auditoría en vivo. Empieza y compruébalo.