Robots.txt en WordPress: qué incluir y por qué
Cómo funciona el robots.txt de WordPress: el archivo virtual por defecto, cómo editarlo en Yoast, Rank Math o por FTP, un archivo recomendado y las reglas que perjudican al SEO sin que lo notes.
Equipo de Auditite
Índice de contenidos
La mayoría de los sitios WordPress no tienen ningún archivo robots.txt. Visita https://yoursite.com/robots.txt y aun así verás uno, porque WordPress lo genera sobre la marcha. Esa diferencia entre «el archivo que ves» y «el archivo que existe» es donde empiezan la mayoría de los problemas de robots.txt en WordPress: se edita un archivo físico que luego un plugin ignora, o un ajuste de plugin que un archivo físico anula sin avisar.
Esta guía explica cómo funciona realmente el robots.txt de WordPress, cómo editarlo con seguridad, cómo es un archivo sensato para un sitio típico y las reglas que eliminaríamos de casi todos los robots.txt de WordPress que vemos.
Cómo genera WordPress el archivo robots.txt
El núcleo de WordPress incluye una función llamada do_robots(). Cuando llega a WordPress una solicitud de /robots.txt y no hay ningún archivo robots.txt físico en la raíz web, WordPress genera uno virtual y lo sirve.
En una instalación actual de WordPress con la visibilidad en buscadores activada, el archivo virtual tiene este aspecto:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/wp-sitemap.xml
Están pasando tres cosas:
Disallow: /wp-admin/mantiene a los rastreadores fuera del área de administración, que no tiene nada que merezca indexarse.Allow: /wp-admin/admin-ajax.phpvuelve a abrir el único endpoint de administración al que llaman los temas y plugins desde el front end. Bloquearlo puede impedir que Google renderice el contenido que se carga mediante AJAX.Sitemap:apunta al sitemap XML básico que WordPress incluye desde la versión 5.5. Si un plugin de SEO sustituye al sitemap básico, el plugin suele cambiar esta línea por su propio índice de sitemaps (por ejemplositemap_index.xml).
Como el archivo es virtual, los plugins y los temas pueden modificarlo mediante el filtro robots_txt sin tocar el sistema de archivos. Así es exactamente como Yoast SEO y Rank Math añaden sus líneas de sitemap.
El archivo físico siempre gana
Si subes un robots.txt real a la raíz web, tu servidor web lo sirve directamente y WordPress nunca ejecuta do_robots(). Cualquier ajuste de plugin que edite el archivo virtual deja de tener efecto. Es la razón más común por la que alguien dice «cambié el robots.txt en mi plugin SEO pero no pasó nada».
Comprobación rápida: abre el archivo por SFTP o desde el gestor de archivos de tu hosting. Si robots.txt existe en la misma carpeta que wp-config.php, es el que se está sirviendo.
Cómo editar robots.txt en WordPress
Hay tres formas fiables. Elige una y mantenla, para que solo exista una única fuente de verdad.
Opción 1: Yoast SEO
- Ve a Yoast SEO → Herramientas → Editor de archivos.
- Si no existe ningún archivo físico, Yoast ofrece crear uno. Haz clic en Crear archivo robots.txt.
- Edita y guarda.
Ten en cuenta que el editor de archivos de Yoast escribe un archivo físico. A partir de ese momento, el archivo virtual de WordPress deja de usarse. Si falta la opción del editor de archivos, es probable que la edición de archivos esté desactivada en tu instalación (por ejemplo mediante DISALLOW_FILE_EDIT en wp-config.php) o que tu hosting no permita a PHP escribir en la raíz web.
Opción 2: Rank Math
- Ve a Rank Math → Ajustes generales → Editar robots.txt.
- Edita el contenido y guarda.
Rank Math edita el archivo virtual mediante el filtro. Si existe un robots.txt físico, Rank Math muestra el campo como de solo lectura y te indica que borres primero el archivo físico.
Opción 3: Sube el archivo tú mismo
- Crea un archivo de texto plano llamado
robots.txt(UTF-8, sin BOM). - Súbelo por SFTP o con el administrador de archivos de tu hosting a la raíz web.
- Carga
https://yoursite.com/robots.txten una ventana privada para confirmar que se sirve el contenido nuevo. Borra la caché de página o de la CDN si sigues viendo la versión anterior.
Esta opción es la más predecible, sobre todo en hostings gestionados y configuraciones multisitio, porque ningún plugin puede cambiarla a tus espaldas.
Un robots.txt recomendado para WordPress
Para un blog de WordPress o un sitio de empresa típico, esto es lo más cercano a lo que recomendamos:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://example.com/sitemap_index.xml
Por qué está cada línea:
- Las reglas de administración son las predeterminadas de WordPress y son seguras.
/?s=y/search/bloquean las URLs de resultados de búsqueda interna. Las páginas de búsqueda interna pueden generar un número ilimitado de URLs escasas y casi duplicadas, y son una fuente habitual de spam: los bots envían consultas con frases spam y esas URLs pueden acabar descubiertas y rastreadas. Bloquearlas reserva la actividad de rastreo para las páginas que importan.Sitemap:debe apuntar al sitemap que tu sitio sirve realmente. Ábrelo en un navegador para confirmar que devuelve XML y no un 404. Si no estás seguro de cuál es ese sitemap, nuestra guía sobre cómo encontrar el sitemap de un sitio web te lo explica paso a paso.
Añadidos para WooCommerce
Las tiendas suelen añadir:
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=
Estas páginas son específicas de cada usuario y no tienen valor de búsqueda. La regla add-to-cart importa más de lo que la gente cree: cada enlace de listado de productos con ?add-to-cart= es una URL rastreable que genera trabajo en el servidor.
Los filtros por facetas (?filter_color=, ?orderby=) son una decisión a juicio. En catálogos pequeños, déjalos rastreables y gestiona los duplicados con canonicals. En catálogos grandes donde los filtros se multiplican en miles de combinaciones, bloquear los peores patrones de parámetros puede ayudar. Nuestra guía de navegación por facetas cubre esa decisión en detalle.
Qué no poner en el robots.txt de WordPress
Este es el enfoque que la mayoría de los tutoriales de robots.txt entienden mal: tratan el archivo como una lista de «cosas que ocultar». La mayoría de los problemas de robots.txt en WordPress vienen de reglas añadidas con buena intención hace años.
No bloquees /wp-content/ ni /wp-includes/
Las guías antiguas recomendaban esto para «proteger» las carpetas de WordPress. Esas carpetas contienen el CSS, el JavaScript y las imágenes que Google necesita para renderizar tus páginas. Google renderiza las páginas de forma muy parecida a un navegador, así que bloquear estos recursos puede hacer que las páginas se vean rotas o vacías para Googlebot. La propia documentación de Google desaconseja bloquear los recursos necesarios para el renderizado.
No bloquees /wp-content/uploads/
Ahí es donde están tus imágenes. Si lo bloqueas, tus imágenes desaparecen de Google Imágenes y las páginas que dependen de ellas para dar contexto pierden señales.
No uses robots.txt para eliminar páginas de Google
Disallow detiene el rastreo, no la indexación. Si otros sitios enlazan a una URL bloqueada, Google aún puede indexar la propia URL, normalmente sin descripción, porque no puede leer la página. Peor aún, una etiqueta noindex en una página bloqueada nunca se ve, porque Google no tiene permiso para acceder a ella. Para eliminar del índice archivos de etiquetas, páginas de adjuntos o páginas pobres, usa noindex (mediante Yoast o Rank Math) y déjalas rastreables hasta que desaparezcan.
No bloquees feeds, etiquetas ni categorías por reflejo
Los feeds ayudan al descubrimiento. Las páginas de categoría suelen estar entre las páginas hub más fuertes de un blog. Si los archivos de etiquetas son superficiales, aplícales noindex; no los bloquees en robots.txt.
Cuidado con los bloqueos generalizados de bots
Desde que aparecieron los rastreadores de IA generativa, muchos propietarios de sitios han añadido bloqueos como:
User-agent: GPTBot
Disallow: /
Es una decisión de negocio legítima. Solo sé preciso con los user agents que bloqueas. Bloquear Googlebot o añadir User-agent: * / Disallow: / al intentar bloquear bots de IA te eliminará por completo de las búsquedas. La exclusión del entrenamiento de IA de Google usa un token distinto, Google-Extended, que no afecta al rastreo de Google Search.
La casilla «Disuadir a los motores de búsqueda»
En Ajustes → Lectura, WordPress incluye una casilla “Disuadir a los motores de búsqueda de indexar este sitio”. Está pensada para sitios de staging y desarrollo. Las versiones actuales de WordPress la implementan sobre todo con una etiqueta meta robots noindex en lugar de depender de robots.txt.
El fallo clásico: se construye un sitio en staging con esta casilla marcada, se migra a producción y se lanza con la casilla todavía marcada. Unas semanas después, el tráfico se desploma. Añade «Ajuste de visibilidad en motores de búsqueda» a todas tus listas de verificación de lanzamiento y compruébalo en el sitio en vivo como parte de una lista de verificación de migración de sitio.
Cómo probar el robots.txt de WordPress
- Obtenlo directamente en
https://yoursite.com/robots.txty confirma que devuelve el estado 200 con contenidotext/plain. Un error 5xx en robots.txt es grave: Google puede tratar todo el sitio como temporalmente inaccesible. - Revisa el informe de robots.txt en Google Search Console (en Ajustes). Muestra qué archivos robots.txt encontró Google, cuándo los obtuvo por última vez y los posibles problemas de análisis.
- Prueba las URL importantes con la herramienta de inspección de URL para confirmar que no están bloqueadas.
- Valida la sintaxis con un validador de robots.txt antes de desplegar los cambios.
- Revisa de nuevo tras cambiar de plugin. Cambiar de plugin SEO suele modificar la línea del sitemap, y la URL antigua puede devolver un 404.
Un ejemplo práctico
Este es un robots.txt heredado que reescribiríamos nada más verlo (ilustrativo, pero muy representativo):
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /feed/
Disallow: /*?*
Sitemap: https://example.com/sitemap.xml
Problemas, por orden de gravedad:
/wp-includes/,/wp-content/plugins/y/wp-content/themes/bloquean el CSS y el JavaScript que Google necesita para renderizar la página./*?*bloquea todas las URL con una cadena de consulta, incluidas las URL paginadas o con seguimiento legítimas y las llamadasadmin-ajax.phpcon parámetros./tag/bloquea los archivos de etiquetas, pero siguen indexados a través de enlaces, ahora sin contenido que Google pueda leer.noindexes la herramienta adecuada./feed/elimina una vía de descubrimiento útil sin ningún beneficio.- La URL del sitemap apunta a
sitemap.xml, pero el sitio usa Yoast, que sirvesitemap_index.xml.
La versión corregida es el archivo recomendado que se mostró antes, más noindex en los archivos de etiquetas configurado en el plugin de SEO.
Para una visión más amplia de directivas, comodines y crawl budget, consulta nuestra guía de mejores prácticas de robots.txt y la auditoría de SEO técnico para WordPress.
Preguntas frecuentes
¿Dónde está el archivo robots.txt en WordPress?
En la mayoría de las instalaciones no existe un archivo físico. WordPress genera un robots.txt virtual cuando se solicita /robots.txt. Si existe un archivo real, está en la raíz web, en la misma carpeta que wp-config.php, y sustituye al virtual.
¿Cómo edito robots.txt en WordPress sin un plugin?
Crea un archivo de texto plano llamado robots.txt, súbelo a la raíz web mediante SFTP o el gestor de archivos de tu hosting y borra cualquier caché de página o de CDN. El archivo físico sustituye de inmediato al archivo virtual de WordPress.
¿Por qué no se reflejan los cambios de mi robots.txt de Yoast o Rank Math?
Normalmente porque existe un archivo robots.txt físico y el servidor lo sirve en lugar de la versión virtual del plugin, o porque una caché sigue sirviendo el archivo antiguo. Revisa la raíz web y purga las cachés.
¿Debería bloquear wp-content en robots.txt?
No. wp-content contiene el CSS, el JavaScript y las imágenes que Google necesita para renderizar tus páginas. Bloquearlo puede hacer que las páginas se vean rotas para Googlebot y elimina las imágenes de Google Imágenes.
¿Puede robots.txt eliminar una página de WordPress de Google?
No. Disallow solo detiene el rastreo. Para quitar una página de los resultados de búsqueda, añade una directiva noindex y mantén la página rastreable para que Google pueda verla.
Mantente al día
Recibe ideas, estrategias y novedades del producto en tu bandeja de entrada.
Sin spam. Cancela la suscripción cuando quieras.
¿Listo para ver Auditite en acción?
Empieza y descubre cómo Auditite puede transformar tu flujo de trabajo de auditoría SEO.
Empezar