Presupuesto de rastreo
Aprende qué es el crawl budget, cómo asignan los buscadores los recursos de rastreo y cómo optimizar tu sitio para que se indexen las páginas importantes.
El presupuesto de rastreo es el número de páginas que un bot de buscador rastreará en tu sitio web en un periodo determinado. Lo determinan dos factores: el límite de velocidad de rastreo (la rapidez con la que un bot puede rastrear sin sobrecargar tu servidor) y la demanda de rastreo (cuánto quiere Google rastrear tu sitio según su popularidad y su frescura). Todo sitio web recibe una asignación finita de recursos de rastreo, y cómo gestiones esa asignación afecta directamente a qué páginas se descubren y se indexan.
Por qué importa para el SEO
El presupuesto de rastreo se vuelve crítico en sitios web grandes, con miles o millones de páginas. Si los bots de los buscadores gastan su tiempo asignado rastreando páginas de poco valor, como contenido duplicado, URL con muchos parámetros o archivos obsoletos, es posible que tus páginas más importantes no se rastreen ni se indexen en absoluto. En sitios más pequeños (de menos de unos pocos miles de páginas), el presupuesto de rastreo rara vez es un problema, porque los bots suelen poder recorrer todas las páginas. Sin embargo, en tiendas online, medios de noticias y plataformas empresariales, un presupuesto de rastreo mal gestionado provoca directamente huecos de indexación y pérdida de tráfico orgánico.
Cómo optimizar el crawl budget
Empieza por identificar y eliminar el desperdicio de rastreo. Usa los logs de tu servidor o Google Search Console para ver qué URL visita Googlebot con más frecuencia. Bloquea las páginas sin importancia con directivas de robots.txt o aplica etiquetas noindex a las páginas que no deban aparecer en los resultados de búsqueda. Asegúrate de que tu sitemap XML solo incluya URL canónicas e indexables para que los motores de búsqueda prioricen las páginas correctas.
Mejora la arquitectura de tu sitio para que las páginas importantes queden a un máximo de tres clics de la página de inicio. Usa el enlazado interno de forma estratégica para señalar qué páginas importan más. Corrige o elimina los enlaces rotos y las cadenas de redirecciones que malgastan recursos de rastreo. Además, mantén rápidos los tiempos de respuesta de tu servidor: un servidor lento reduce el límite de tasa de rastreo porque los bots se retiran para no sobrecargar tu infraestructura.
Errores comunes
- Incluir páginas noindex en tu sitemap: envía señales contradictorias a los rastreadores y malgasta presupuesto en páginas que no quieres indexar.
- Ignorar la navegación por facetas: la navegación por facetas puede crear miles de URL basadas en parámetros que diluyen de forma significativa el crawl budget.
- Dejar las cadenas de redirecciones sin resolver: cada salto de una cadena de redirecciones 301 consume recursos de rastreo. Consolida las cadenas en redirecciones únicas.
- No monitorizar las estadísticas de rastreo: revisa con regularidad el informe de Estadísticas de rastreo de Google Search Console para detectar anomalías, como picos repentinos de páginas rastreadas pero no indexadas.
- Suponer que el crawl budget no importa: incluso los sitios medianos pueden desarrollar index bloat con el tiempo si las páginas de poco valor se acumulan sin supervisión.
Una gestión eficaz del presupuesto de rastreo garantiza que los motores de búsqueda concentren sus recursos limitados en las páginas que generan tu visibilidad orgánica y tus ingresos.
Artículos relacionados
Descubierta: actualmente sin indexar: cómo solucionarlo
Qué significa "Detectada: actualmente sin indexar" en Search Console, en qué se diferencia de "Rastreada: actualmente sin indexar" y cómo solucionarlo.
Análisis de archivos de log para SEO: información de rastreo
Usa el análisis de archivos de log del servidor para descubrir cómo rastrea Googlebot tu sitio, identificar el crawl budget desperdiciado y optimizar para una mejor indexación.
Navegación por facetas y buenas prácticas de SEO
Resuelve los problemas de SEO de la navegación por facetas. Aprende cuándo indexar filtros, cómo gestionar los parámetros de URL y cómo evitar el desperdicio de presupuesto de rastreo en sitios grandes.