Auditite
Volver al blog
SEO técnico Auditoría de SEO técnico 2025-07-02 8 min de lectura

Guía de buenas prácticas de robots.txt para equipos SEO

Aprende las buenas prácticas de robots.txt para controlar el acceso de los rastreadores, proteger páginas sensibles y optimizar tu presupuesto de rastreo de forma eficaz.

A

Equipo de Auditite

robots.txtSEO técnicocontrol del rastreoGooglebot

Qué es el robots.txt y qué papel juega en el SEO

El archivo robots.txt es un simple archivo de texto ubicado en el directorio raíz de tu sitio web que indica a los rastreadores de los motores de búsqueda qué partes de tu sitio pueden y no pueden visitar. A pesar de su sencillez, configurar mal el robots.txt es uno de los errores de SEO técnico más comunes, y uno de los más dañinos.

Una sola directiva mal colocada puede bloquear la indexación de todo tu sitio, mientras que un archivo demasiado permisivo puede malgastar crawl budget en páginas que nunca deberían aparecer en los resultados de búsqueda.

Cómo funciona el robots.txt

Cuando un rastreador de un buscador llega a tu dominio, lo primero que solicita es https://yourdomain.com/robots.txt. En función de las directivas que encuentra, decide qué URL puede visitar.

Las directivas clave incluyen:

  • User-agent: especifica a qué rastreador se aplican las reglas (p. ej., Googlebot, Bingbot o * para todos)
  • Disallow: bloquea el rastreo de la ruta indicada
  • Allow: permite explícitamente el rastreo de una ruta (útil para anular reglas Disallow más generales)
  • Sitemap: dirige a los rastreadores a tu sitemap XML
  • Crawl-delay: indica a ciertos bots que esperen entre peticiones (Googlebot no lo respeta)

Limitaciones importantes

Robots.txt es una directiva, no una medida de seguridad. Los bots que se portan bien la respetan, pero los maliciosos la ignoran por completo. No uses nunca robots.txt para ocultar información sensible: usa autenticación en el servidor.

Además, bloquear una página con robots.txt no impide que aparezca en los resultados de búsqueda. Si otros sitios enlazan a una página bloqueada, Google puede seguir indexando la URL (sin contenido). Para impedir por completo la indexación, usa en su lugar la metaetiqueta noindex.

Reglas esenciales de robots.txt para todos los sitios

Bloquea los resultados de búsqueda interna

Las páginas de resultados de búsqueda interna crean combinaciones de URL casi infinitas que malgastan crawl budget y corren el riesgo de ser marcadas como contenido escaso o duplicado:

Disallow: /search
Disallow: /search?

Bloquear la navegación por facetas

Los sitios de ecommerce con filtros de color, talla, rango de precios y otros atributos generan miles de URL basadas en parámetros. Bloquea estas rutas filtradas:

Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=

Bloquea las áreas de administración y de inicio de sesión

Los rastreadores no tienen nada que hacer en tu panel de administración, tus páginas de inicio de sesión ni las áreas de gestión de cuentas:

Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/

Bloquea las páginas de carrito y de pago

Las páginas de carrito y de pago son específicas de cada sesión y no tienen valor SEO:

Disallow: /cart
Disallow: /checkout

Bloquea las rutas de contenido duplicado

Si tu CMS genera varios patrones de URL para el mismo contenido (por ejemplo, archivos de etiquetas o archivos por fecha), bloquea los duplicados:

Disallow: /tag/
Disallow: /author/

Incluye la referencia a tu sitemap

Incluye siempre una directiva de sitemap al final de tu robots.txt:

Sitemap: https://yourdomain.com/sitemap-index.xml

Errores comunes de robots.txt que debes evitar

Bloqueo de archivos CSS y JavaScript

Hace años era habitual bloquear los archivos CSS y JS a los rastreadores. Hoy eso es perjudicial, porque Google necesita renderizar tus páginas por completo para evaluar su calidad. Si Googlebot no puede acceder a tu CSS y JS, no puede evaluar correctamente tus Core Web Vitals ni entender el diseño de tu página.

Usar Disallow: / sin darte cuenta del impacto

Una sola directiva Disallow: / bajo User-agent: * bloquea todo tu sitio para todos los rastreadores. A veces se añade durante el desarrollo y se deja por error tras el lanzamiento. Audita siempre tu robots.txt después de migraciones o rediseños del sitio.

Reglas Allow y Disallow en conflicto

Cuando varias reglas se aplican a la misma ruta de URL, los motores de búsqueda usan la regla coincidente más específica. Sin embargo, depender de este comportamiento genera confusión y dolores de cabeza de mantenimiento. Mantén tus reglas claras y sin solapamientos.

Olvidar actualizar tras los cambios del sitio

Tu robots.txt debe evolucionar con tu sitio. Los nuevos patrones de URL, las secciones obsoletas y los cambios estructurales exigen actualizar el robots.txt. Incluye la revisión del robots.txt en tu proceso habitual de auditoría de SEO técnico.

Robots.txt para distintas plataformas

WordPress

WordPress sirve un robots.txt virtual salvo que exista un archivo físico; nuestra guía de robots.txt para WordPress explica cómo editarlo de forma segura en Yoast, Rank Math o por FTP. Los sitios de WordPress suelen necesitar bloquear:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/

Shopify

Shopify genera un robots.txt predeterminado que, por lo general, está bien configurado, pero puedes personalizarlo mediante el archivo de plantilla robots.txt.liquid. Entre los añadidos habituales están el bloqueo de las páginas de filtros de colecciones y de las URL de variantes.

Next.js y aplicaciones de una sola página

Los sitios con mucho JavaScript requieren atención especial. Asegúrate de no bloquear los paquetes de JavaScript que Googlebot necesita para renderizar tus páginas. Lee nuestra guía completa de SEO para JavaScript para más detalles.

Cómo probar tu robots.txt

Robots.txt es también el primer sitio donde buscar cuando necesitas la ubicación del sitemap de un sitio; consulta cómo encontrar el sitemap de un sitio web.

Inspección de URL de Google Search Console

Usa la herramienta de inspección de URL para comprobar si tu robots.txt bloquea URL concretas. Es la prueba más fiable porque usa el analizador real de Google.

Herramientas para probar robots.txt

Varias herramientas online pueden validar la sintaxis de tu robots.txt y probar URL concretas contra tus reglas. Ejecuta estas pruebas después de cada cambio.

Monitorización automatizada

Configura una monitorización automatizada que te avise si tu robots.txt cambia de forma inesperada. Una edición accidental durante un despliegue podría impedir que se rastreen páginas críticas. Auditite monitoriza tu robots.txt y te avisa de cualquier cambio que pueda afectar al SEO.

Técnicas avanzadas de robots.txt

Crawl-delay para bots que no son de Google

Aunque Googlebot ignora la directiva Crawl-delay, otros bots como Bingbot y Yandex sí la respetan. Si los rastreadores secundarios sobrecargan tu servidor, añade un crawl delay:

User-agent: Bingbot
Crawl-delay: 5

Coincidencia de patrones con comodines

Tanto * (coincide con cualquier secuencia de caracteres) como $ (coincide con el final de la URL) se pueden usar en las rutas de robots.txt:

  • Disallow: /*.pdf$ — bloquea todos los archivos PDF
  • Disallow: /*?sessionid= — Bloquea las URL con parámetros de sesión
  • Disallow: /category/*/feed/: bloquea los feeds bajo rutas de categoría

Reglas específicas por bot

Puedes crear reglas distintas para rastreadores distintos. Esto es útil cuando quieres que Google rastree ciertas páginas pero mantenerlas fuera de Bing, o al revés:

User-agent: Googlebot
Allow: /special-section/

User-agent: Bingbot
Disallow: /special-section/

Lista de comprobación de auditoría de robots.txt

Repasa esta lista de comprobación en cada auditoría de SEO técnico:

  • El archivo es accesible en https://yourdomain.com/robots.txt
  • No hay páginas críticas bloqueadas (página de inicio, páginas de producto, entradas de blog)
  • Los archivos CSS y JS no están bloqueados
  • Las páginas de poco valor están bien bloqueadas (búsqueda, filtros, administración)
  • La URL del sitemap está incluida
  • No existen directivas contradictorias
  • La sintaxis es válida y está correctamente formateada
  • El archivo coincide con la estructura actual del sitio (sin reglas obsoletas)

Puntos clave

Tu archivo robots.txt es un instrumento potente pero poco sutil para controlar el acceso de los rastreadores. Úsalo de forma estratégica para proteger tu presupuesto de rastreo, pero recuerda que no sustituye a las etiquetas noindex, a las etiquetas canonical ni a los controles de acceso del lado del servidor. Audítalo con regularidad, prueba cada cambio y mantenlo siempre alineado con la arquitectura actual de tu sitio.

Mantente al día

Recibe ideas, estrategias y novedades del producto en tu bandeja de entrada.

Sin spam. Cancela la suscripción cuando quieras.

¿Listo para ver Auditite en acción?

Empieza y descubre cómo Auditite puede transformar tu flujo de trabajo de auditoría SEO.

Empezar
Empezar

Recibe novedades cada semana

Únete a los equipos que reciben cada semana playbooks accionables, referencias y novedades del producto.