Mucha gente busca optimizar crawl budget de Google como si fuera un interruptor que se activa desde Search Console. No funciona así. El crawl budget (o presupuesto de rastreo) no es una métrica visible ni un ajuste configurable: es un concepto que describe cuántas URLs puede rastrear Googlebot en tu sitio en un periodo de tiempo, condicionado por la capacidad de tus servidores y por la relevancia percibida de tus URLs. La duda real que llega a mi bandeja suele ser otra: «mi web tiene miles de URLs y Google solo indexa una parte, ¿he tocado algo mal?». Ahí empieza el trabajo serio.
Qué mide realmente el presupuesto de rastreo y qué no
Google combina dos límites: el crawl rate limit (cuánto puede pedir sin tumbar tu hosting) y la demanda de rastreo (cuánta capacidad dedica a tu dominio según su historial). Si tu web carga en milisegundos y devuelve 200s limpiamente, el límite técnico casi nunca es el problema; el problema suele ser que Google no encuentra motivos para gastar tiempo en URLs de bajo valor.
Aquí va una limitación que casi nadie menciona: optimizar el crawl budget no acelera la indexación de contenido nuevo por arte de magia. Sirve para que las URLs que importan no compitan por recursos con las que no aportan nada. En sitios pequeños (menos de 1.000 URLs bien enlazadas), el crawl budget rara vez es el cuello de botella; enfocarse en él es perder el tiempo. Es en ecommerce con facetas, foros, marketplaces y portales de noticias donde de verdad pesa.
El caso del ecommerce con filtros infinitos
Recuerdo un proyecto de una tienda de recambios con unas 40.000 URLs generadas por combinaciones de filtros. Search Console mostraba que Googlebot rastreaba a diario cientos de URLs de filtros sin valor de búsqueda mientras las fichas de producto nuevas tardaban semanas. No había ninguna penalización: simplemente el robot gastaba su presupuesto en donde no debía.
La solución no fue «pedirle a Google más crawl budget» (no existe ese botón), sino reducir el ruido: bloquear parámetros combinados con robots.txt cuando no aportaban, añadir noindex a las facetas que duplicaban contenido y mejorar el enlazado interno hacia las fichas relevantes. En pocas semanas el rastreo de fichas de producto subió de forma visible en los logs del servidor. Ese es el tipo de señal que se mide: proporción de hits de Googlebot sobre URLs que te interesan, no un número mágico.
Cómo auditar de verdad sin herramientas caras
Los logs del servidor son la fuente más honesta. Filtrar por user-agent de Googlebot y agrupar por patrón de URL (categorías, productos, paginación, parámetros) da una foto real de dónde se está yendo el presupuesto de rastreo. Search Console complementa con el informe de «Estadísticas de rastreo», pero sus datos llegan con retraso y no sustituyen al log.
Tres señales que suelo revisar antes de tocar nada:
- Porcentaje de respuestas 5xx o timeouts: si el servidor falla, Google reduce la velocidad de rastreo.
- Proporción de URLs con noindex que se siguen rastreando: indica que el enlazado interno las está empujando.
- Paginación y ordenaciones: si generan URLs rastreables sin valor, están consumiendo recursos.
Errores que empeoran el presupuesto de rastreo
Bloquear en robots.txt algo que luego necesitas indexar es un clásico. Si bloqueas una URL con robots.txt, Google no puede ver el noindex que pusiste dentro, y si además tiene enlaces externos, puede acabar indexándose como URL sin contenido. Otro error: usar crawl-delay en robots.txt (Google lo ignora) en lugar de ajustar la velocidad desde Search Console cuando el servidor va justo.
También veo sitios que añaden sitemaps con URLs canibalizadas o con redirecciones. Un sitemap sucio no rompe el crawl budget, pero envía señales confusas y hace que Googlebot dedique peticiones a URLs que redirigen. Limpiarlo es de las acciones con mejor relación esfuerzo/impacto.
Cuándo el crawl budget no es tu problema
Si tu web tiene pocas páginas, buena velocidad y una arquitectura clara, el presupuesto de rastreo no explica tus problemas de indexación. Antes de mirar logs, revisa canónicas, contenido duplicado y calidad de las páginas. Google documenta el concepto de crawl budget en su documentación para desarrolladores, y deja claro que solo se convierte en un factor limitante en sitios grandes o que cambian muy rápido.
Mi opinión tras años tocando esto: optimizar crawl budget de Google es sobre todo un ejercicio de limpieza y priorización, no de configuración. Se trata de decidir qué URLs merecen ser rastreadas y quitar del camino las que no. Nada garantiza que las páginas nuevas se indexen al día siguiente, pero sí reduce la fricción para que Googlebot llegue antes a lo que importa.
Perfiles verificables: Sitio web
Publicado el 31 de October de 2026. Última revisión: 31 de October de 2026.