Auditite
Todas las plantillas
Plantilla Responsable de SEO

Plantilla de configuración de robots.txt con Auditite

Configura el robots.txt correctamente con esta plantilla. Cubre directivas para los principales rastreadores, patrones habituales de CMS y procedimientos de prueba.

Resumen

El archivo robots.txt controla a qué partes de tu sitio pueden acceder los rastreadores de los buscadores. Un robots.txt mal configurado puede bloquear la indexación de contenido importante o desperdiciar crawl budget en páginas de poco valor. Esta plantilla ofrece configuraciones estándar para los tipos de sitio más habituales.

Referencia de sintaxis de robots.txt

DirectivaFinalidadEjemplo
User-agentEspecifica a qué rastreador se aplican las reglasUser-agent: Googlebot
DisallowBloquea el rastreo de una rutaDisallow: /admin/
AllowPermite el rastreo de forma explícita (anula Disallow)Allow: /admin/public/
SitemapApunta a tu sitemap XMLSitemap: https://example.com/sitemap.xml
Crawl-delayRetraso entre solicitudes de rastreo (Google no lo respeta)Crawl-delay: 10

Reglas clave:

  • El archivo robots.txt debe estar en la raíz: https://example.com/robots.txt
  • Las directivas distinguen mayúsculas y minúsculas en las rutas
  • Las rutas más específicas tienen prioridad sobre las menos específicas
  • Un Disallow: vacío significa “permitir todo”
  • La ausencia de robots.txt significa “permitir todo”

Plantilla estándar

# Robots.txt for example.com
# Updated: 2026-10-15

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Plantillas específicas por CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/

Sitemap: https://example.com/sitemap_index.xml

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=

Sitemap: https://example.com/sitemap.xml

E-commerce (general)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Qué bloquear y qué permitir

Tipo de contenido¿Bloquear?Motivo
Páginas de administración y de inicio de sesiónSíSin valor SEO, con riesgo de seguridad
Páginas de resultados de búsquedaSíContenido escaso/duplicado
Carrito/checkoutSíSin valor SEO, datos personales
Páginas de cuentas de usuarioSíDatos personales, sin valor SEO
URL de navegación por facetasSíContenido duplicado, desperdicio de rastreo
Parámetros de ordenación/filtroSíContenido duplicado
Endpoints de APISíNo apto para consumo público
Archivos CSS/JSNoGoogle los necesita para renderizar
ImágenesNoLas imágenes necesitan indexación
PDF/documentosNoA menudo, contenido valioso
Contenido del blogNoContenido SEO principal
Páginas de productoNoContenido SEO principal

Configuración de rastreadores de IA

CrawlerUser-agentFinalidadRecomendación
GPTBotGPTBotDatos de entrenamiento de OpenAIBloquear si se desea
Google-ExtendedGoogle-ExtendedDatos de entrenamiento de GeminiBloquear si se desea
CCBotCCBotCommon CrawlBloquear si se desea
Anthropicanthropic-aiDatos de entrenamiento de ClaudeBloquear si se desea
BytespiderBytespiderTikTok/ByteDanceBloquear si se desea
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Lista de verificación de pruebas

  • El archivo es accesible en /robots.txt (devuelve estado 200)
  • La sintaxis es válida (sin errores tipográficos en las directivas)
  • El contenido importante NO está bloqueado
  • Las páginas de poco valor SÍ están bloqueadas
  • La URL del sitemap está incluida y es válida
  • Probado con el probador de robots.txt de Google (Search Console)
  • Ningún Disallow: / accidental bloquea todo el sitio
  • Los archivos CSS y JS no están bloqueados (se necesitan para el renderizado)
  • El directorio de imágenes no está bloqueado

Hoja de trabajo de auditoría

Patrón de URL¿Bloqueado actualmente?¿Debería bloquearse?Acción necesaria
/ (todo el sitio)No
/admin/Sí
/blog/No
/search?Sí

Errores comunes

ErrorImpactoCorrección
Bloquear todo el sitio (Disallow: /)No se indexa nadaEliminar o especificar rutas
Bloqueo de CSS/JSProblemas de renderizado, mala evaluaciónPermitir directorios CSS/JS
Bloquear imágenesSin tráfico de búsqueda de imágenesPermitir los directorios de imágenes
No incluir el sitemapDescubrimiento más lento de páginas nuevasAñade la directiva Sitemap
Usar robots.txt para noindexNo elimina del índiceUsa meta noindex en su lugar
Espacio antes de los dos puntosEs posible que la directiva no se interpreteElimina los espacios

Auditite valida la configuración de tu robots.txt en cada auditoría y señala contenido importante bloqueado, sitemaps ausentes y errores de sintaxis.

¿Quieres el how-to detrás de esta plantilla?

Echa un vistazo a nuestros playbooks con guías paso a paso del proceso de auditoría.

Recibe novedades cada semana

Únete a los equipos que reciben cada semana playbooks accionables, referencias y novedades del producto.