Qué es el crawl budget o presupuesto de rastreo y cómo sacarle partido para SEO

¡Por fin! Tu negocio ya cuenta con una página web que tiene un diseño fantástico. Pero pasado un tiempo, te das cuenta que el único que la visita eres tú y -si acaso- tus amigos. Si lo tienes claro, tu sitio es una herramienta para impulsar las ventas, no para satisfacer un capricho personal. Por esta razón, tu objetivo principal al respecto es posicionar la web y sus contenidos entre las primeras opciones de las páginas de resultados de búsqueda (SERP). Piensa en Google, que es el motor de búsqueda más empleado en el mundo. Si a este buscador “le gusta” el contenido de tu página, seguro que lo consigues. Pero, para eso, Google aplica algunos criterios y procesos. Entre ellos, el crawl budget.

Optimizar este “presupuesto de rastreo” es esencial para incrementar la visibilidad de tu página web en términos de posicionamiento. ¿Quieres aprender un poco más sobre esto? ¡Pues, vamos a ello!

¿Qué es el crawl budget?

Antes de precisar la definición de crawl budget, es indispensable conocer algunos términos pertinentes a este criterio. Por un lado, están el escaneo, indexación y posicionamiento de una página. Y, en paralelo, tenemos el recurso para realizar estos procesos: el Googlebot.

Empecemos por el último: Googlebot es un agente automatizado del motor de búsqueda cuya misión es rastrear tu sitio web para buscar páginas que añadir a su índice. Imagínatelo como un “internauta digital”.

En síntesis, Googlebot escanea la página. Ya se trate de un sitio nuevo provisto de contenido igualmente nuevo o de una página existente cuyo contenido ha sido actualizado. En el transcurso de la exploración, la página se indexa. Es decir, el robot lo añade a la base de datos del motor de búsqueda. Razón por la que puede aparecer en las SERP. Después, Google decide en qué lugar posicionará la página, respondiendo a las consultas de búsqueda de los usuarios.

Teniendo en cuenta las miles de millones de páginas en la web que existen actualmente, no tendría sentido que Googlebot las rastree a cada rato todos los días. De ese modo, gastaría un valioso ancho de banda en línea y el resultado sería páginas web con un rendimiento muy lento.

En concreto, el crawl budget consiste, precisamente, en un presupuesto de rastreo asignado a cada sitio web. Este presupuesto establece la frecuencia con la que Googlebot rastreará el sitio en busca de páginas para indexar. Como consecuencia, efectuará un rastreo profundo de tu web una vez al mes y un rastreo ligero casi todos los días.

¿Por qué es importante el crawl budget?

En realidad, la razón por la que el motor de búsqueda activa el Googlebot -también conocido como “araña”- para visitar la mayor cantidad posible de URL, es simple: Google siempre está ávido de contenido. ¡Y no puede ser de otro modo! El propósito central de estos rastreos es estar actualizado con los nuevos contenidos añadidos a la web y suministrar a los usuarios las respuestas más relevantes a sus consultas de búsqueda.

No obstante -¡ojo con esto!- el tiempo de Googlebot para indexar y escanear los websites no es ilimitado. De hecho, la “araña”, no escanea con regularidad todas las URL. Esta es la razón por la que resulta indispensable optimizar el crawl budget de tu plataforma. Y te preguntarás: ¿Optimizarlo? ¿Cómo? ¿Eso se puede? Te lo explicaremos brevemente más adelante. Pero, a modo de adelanto, te diremos que, mientras tus páginas ofrezcan un contenido de calidad, pertinente y fácil de leer, Googlebot invertirá más tiempo en leerlas. ¡Y si provee una gran experiencia de usuario, tanto mejor! En consecuencia, cuantas más páginas escanee e indexe la “araña”, más posibilidades tendrá tu sitio web de posicionarse entre las primeras SERP.

¿Quieres saber cuál es el crawl budget de tu página web?

Con la intención de monitorizar la actividad de Googlebot en tu plataforma web, puedes emplear la herramienta gratuita que el buscador proporciona: Google Search Console. Por ejemplo, si quieres conocer la actividad de Googlebot en los últimos 90 días, puedes tener acceso a las estadísticas del escaneo así:

• Entra a Google Search Console.
• Haz clic en «Herramientas e informes anteriores».
• Luego, pulsa «Estadísticas de escaneado». Aquí, verás tres gráficos, uno junto al otro y con tres valores: alto, medio y bajo. El primer gráfico presenta las páginas escaneadas al día por Googlebot; el siguiente, muestra los kilobytes descargados diariamente. Mientras que el último muestra el tiempo empleado para descargar una página.

En este sentido, es ideal que el valor del primer gráfico sea alto. Sin embargo, no es igual para el segundo y el tercer gráfico, porque una descarga más rápida indica la facilidad para escanear más páginas con el crawl budget disponible.

¿Cómo atraer el bot de Google a tu website?

Probablemente, tras la investigación anterior notarás que el crawl budget de tu página no es tan alto como debería. Entonces, debes implementar algunas prácticas para “atraer” a Googlebot y convencerle de rastrear más la misma:

• Crea constantemente contenido de alta calidad.
• Con la mayor frecuencia posible, también, actualiza el contenido nuevo y disponible de la página. Ofrece a tus usuarios un contenido variado. No te limites a los artículos escritos (que están muy bien y son indispensables). Pero haz el esfuerzo de incorporar, en una significativa proporción, imágenes, vídeos, infografías, material descargable en PDF y podcasts.
• Asimismo, comprueba que la organización del mapa del sitio de la plataforma sea clara y legible para Google. Más aún, si es un sitio de gran tamaño, como un ecommerce con una amplia oferta. En este mismo punto, asegúrate de sincronizar el mapa del sitio en Google Search Console.
• Añade enlaces internos en todas las páginas del sitio. La ausencia de estos links en alguna de estas páginas puede hacer que Googlebot “se pierda”.
• De la misma forma, debes incluir enlaces externos. Aparte de incrementar la popularidad de tu website, los backlinks son apreciados por Google al considerar el escaneo de tus páginas.

¿Cómo sacar partido del crawl budget para SEO?

A estas alturas, entenderás que la mejor manera de aprovechar tu crawl budget es mejorando tu estrategia de SEO (Search Engine Optimization). Entonces, además de seguir las pautas anteriores, debes poner en práctica lo siguiente:

1. Contrata un servidor rápido. Ya dijimos que el tiempo de Googlebot para rastrear páginas es limitado. En esta caso, la velocidad es clave porque un tiempo menor de descarga significa que la “araña” puede dedicar tiempo a otras páginas. Por lo tanto, te recomendamos considerar la inversión necesaria para contratar un servidor de calidad garantizada que igualmente te ayudará a mejorar la velocidad de carga del portal. Otros consejos útiles son:
   • Optimizar el código fuente de tu página para facilitar su lectura por parte de Googlebot.
   • Comprimir las imágenes sin sacrificar su calidad. Para tal propósito, puedes utilizar una herramienta gratuita como Squoosh.
2. Jerarquiza la estructura del sitio. Aunque lo mencionamos anteriormente, debemos insistir en ello. Un website que posea una estructura clara y lineal de todas sus páginas optimiza considerablemente su presupuesto de rastreo. Y Googlebot podrá escanear más páginas. Aplica la conocida regla de los tres clics para proporcionar una mejor experiencia de usuario. En otras palabras, que los visitantes de tu web puedan ir de determinada página a cualquier otra con un máximo de tres clics. En la misma línea, emplea URL canónicas en el mapa del sitio. Esto no aumenta el presupuesto de rastreo, pero sí facilita a Googlebot comprender qué versión de la página debe considerar escanear e indexar.
3. Arregla los enlaces rotos. Evita las penalizaciones en términos de ranking por este motivo y el desperdicio del crawl budget disponible.

Otras recomendaciones

• Emplea enlaces no-follow. Este recurso le permite a Googlebot identificar las páginas que consideres menos importantes de tu website o las que ya estén vinculadas con un tema o categoría específica, para que no pierda tiempo escaneándola.
• Aplica el texto simple. Para complementar lo anterior, puedes utilizar aplicaciones de texto simple (como robot.txt) en páginas poco interesantes, como las de contenido privado o administrativo.
• Deshazte del contenido innecesario o duplicado. Esto es, de aquellas páginas que ya no tienen relevancia o no reciben mucho tráfico. Si requieres conservar parte de este contenido, muévelo a otras páginas o ubícalos en algunas similares o nuevas.

¿No tienes tiempo para todo esto? ¡Tranquilo! Nosotros podemos ayudarte

En esMarketing somos especialistas en marketing de contenido, estrategia SEO, diseño web profesional, analítica web y gestión de redes sociales. Por eso, somos capaces de gestionar tu posicionamiento en Google y hacer seguimiento de tu crawl budget para optimizarlo. Somos una agencia de marketing enfocada en apoyar a pymes y autónomos mediante una mínima cuota mensual, sin una costosa inversión inicial, pero asegurando una alta efectividad. ¡Contáctanos!