Auditite
Todos los playbooks
Guía Especialista en SEO técnico

Guía de buenas prácticas de robots.txt con Auditite

Domina la configuración de robots.txt para controlar el acceso de los rastreadores, proteger páginas sensibles y optimizar la asignación del presupuesto de rastreo.

Resumen

El archivo robots.txt controla a qué partes de tu sitio pueden acceder los rastreadores de los motores de búsqueda. Un robots.txt mal configurado puede bloquear la indexación de páginas críticas o malgastar crawl budget en URL de bajo valor. Esta guía cubre las buenas prácticas para cada escenario habitual.

Paso 1: Audita tu robots.txt actual

  1. Accede a tu robots.txt en yourdomain.com/robots.txt.
  2. Pruébalo con el probador de robots.txt de Google Search Console.
  3. Comprueba que no se haya bloqueado por accidente ninguna página ni recurso crítico.
  4. Comprueba que los archivos CSS y JavaScript necesarios para el renderizado no estén bloqueados.

Paso 2: Entiende la sintaxis

Directivas básicas

DirectivaFinalidad
User-agentEspecifica a qué rastreador se aplican las reglas
DisallowBloquea el rastreo de la ruta indicada
AllowAnula un Disallow para una ruta más específica
SitemapApunta a la ubicación de tu sitemap XML
Crawl-delaySolicita una pausa entre peticiones (Google no la respeta)

Reglas de precedencia

  • Las rutas más específicas prevalecen sobre las menos específicas.
  • Allow tiene prioridad sobre Disallow cuando las longitudes de ruta son iguales.
  • Las reglas distinguen entre mayúsculas y minúsculas en las rutas.
  • Los comodines (*) coinciden con cualquier secuencia de caracteres.
  • El carácter $ indica el final de una URL.

Paso 3: Patrones de configuración habituales

Bloquea las páginas de administración e internas

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/

Bloquea los resultados de búsqueda y los filtros

Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=

Permitir recursos concretos dentro de directorios bloqueados

Disallow: /private/
Allow: /private/public-page/

Bloquear tipos de archivo específicos

Disallow: /*.pdf$
Disallow: /*.doc$

Paso 4: optimización del presupuesto de rastreo

  1. Bloquea los parámetros de URL que crean contenido duplicado (ordenación, ID de sesión, parámetros de seguimiento).
  2. Bloquea las páginas de resultados de búsqueda interna: rara vez aportan valor SEO y pueden generar URL infinitas.
  3. Bloquea las combinaciones de filtros paginadas que gestionas con etiquetas canonical.
  4. No bloquees las páginas que quieres marcar con noindex; usa meta robots. Si las bloqueas con robots.txt, Google no puede ver la directiva noindex.

Paso 5: errores comunes que debes evitar

Bloquear CSS y JavaScript

Google necesita renderizar tus páginas para evaluarlas. Bloquear archivos CSS o JS en el robots.txt impide el renderizado y puede perjudicar el posicionamiento.

Usar robots.txt para desindexar

Robots.txt impide el rastreo, no la indexación. Si una página tiene enlaces externos que apuntan a ella, Google puede indexarla igualmente sin rastrearla. Usa metaetiquetas noindex para desindexar.

Reglas Disallow demasiado amplias

Una Disallow: / bloquea todo tu sitio. Una Disallow: /blog bloquea tanto /blog/ como /blogging-tips/. Incluye siempre las barras finales en los directorios.

Olvidarse de la directiva Sitemap

Incluye siempre la ubicación de tu sitemap al final del robots.txt:

Sitemap: https://yourdomain.com/sitemap.xml

Paso 6: pruebas y monitorización

  1. Tras cualquier cambio en el robots.txt, prueba el archivo actualizado en Google Search Console.
  2. Comprueba con la herramienta de inspección de URL que tus páginas más importantes no estén bloqueadas.
  3. Revisa las estadísticas de rastreo de Google Search Console para detectar cambios en la tasa de rastreo tras actualizar robots.txt.
  4. Usa Auditite para auditar la configuración de tu robots.txt junto con el rastreo completo de tu sitio.
  5. Conserva un historial de versiones de los cambios en tu robots.txt para poder revertirlos si surge algún problema.

Robots.txt para varios entornos

Asegúrate de que tus entornos de staging y desarrollo bloqueen a todos los rastreadores:

User-agent: *
Disallow: /

Elimina este bloque antes de lanzar cualquier entorno a producción. Lanzar por error con un Disallow total es uno de los fallos de despliegue SEO más comunes.

Deja de copiar y pegar. Empieza a automatizar.

Auditite convierte los playbooks en flujos de auditoría en vivo. Empieza y compruébalo.

Recibe novedades cada semana

Únete a los equipos que reciben cada semana playbooks accionables, referencias y novedades del producto.