El Presupuesto de Rastreo o Crawl Budget es un tema muy interesante para nosotros los SEOs, más adelante te daras cuenta porque.
¡IMPORTANTE! No todas las URL que tienes en tu web son rastreadas por Google. Y como ya sabrás, sin rastreo no hay indexación, y sin indexación no hay nada.
Es por esto, que estar al tanto de esta métrica llamada Crawl Budget puede ayudarnos por ejemplo a:
- Garantizar que las páginas más importantes de nuestro proyecto web sean rastreadas correctamente.
- Saber optimizar al máximo el presupuesto de rastreo que los motores de búsqueda le asignan a nuestra página.
- Evitar el malgasto innecesario de los finitos recursos que nos asigna Google.
Y demás optimizaciones que comentaré a lo largo del siguiente artículo.
¿Te quedas a verlo?
En primer lugar, ¿qué es el crawl Budget y para qué sirve?
Para entrar en contexto es válido definir qué es esto del Crawl Budget de Google.
“El presupuesto de rastreo (Crawl Budget en inglés), es la cantidad de URLs rastreadas por un motor de búsqueda durante cada sesión en un sitio web. Este número se determina en función de una combinación de factores, agrupados en torno al tamaño, la salud y la popularidad de un sitio web.”
Teniendo como base esta definición hecha por parte de los amigos de huckabuy.com, destaquemos ahora los siguientes conceptos claves:
📏TAMAÑO: hay sitios webs pequeños, medianos, grandes, gigantes… Osea, hay sitios con 10 URLs y los hay con 10 Millones. Para los pequeños, medianos o sitios con menos de 1000 URLs es probable que el presupuesto de rastreo no sea un problema, pero en los sitios web más grandes y complejos es importantísimo.
🩺SALUD: el tiempo también es un recurso muy valioso para Google, por tal razón, el Crawl Budget será más productivo en los sitios web que muestran sus páginas más rápidamente. Por otro lado, los código de estado de las páginas, las meta robots y demás parámetros técnicos deben estar siempre bien cuidados.
🌟POPULARIDAD: ¿Que tan interesantes resultan las URLs a los Crawlers de Google?, ¿tienen buena cantidad de tráfico, enlaces entrantes y frescura? La popularidad va de esto, si tu sitio web es relevante, tiene contenido de valor y enlaces entrantes de calidad va a tener buenas métricas de rastreo ¡siempre!
🧐¿Para qué sirve el crawl Budget?
Supongamos que tienes una tienda online con 5K productos y te das cuenta que google solo ha rastreado 3K, ¿qué pasa entonces con los 2mil que faltan? Pues que no van a recibir ninguna visita orgánica, ya que sin rastreo no hay indexación.
Verás, Google no tiene recursos infinitos para rastrear cada página de cada sitio web todo el tiempo.
Es más, en la última década la compañía ha reconocido sus limitaciones y ha manifestado que solo cubre una fracción de todo el contenido que está generado en internet.
Es por esta razón, que los SEOs debemos contemplar siempre tener el «presupuesto de rastreo» en nuestra estrategia técnica, ya que de ese modo podemos asegurarnos que Google pueda descubrir y rastrear las URL «correctas» o que más nos interesen con más frecuencia.
Así que en definitiva para esto sirve el crawl Budget: nos ayuda mantener un rastreo constante de las URLs de nuestro sitio web, que se deriva a mayores posibilidades de liderar en las SERPs.
¿Cómo optimizar, gestionar y aumentar el Crawl Budget de una web?
Empecemos por explicar de forma general, qué áreas hay que analizar para saber si estamos aprovechando todo el presupuesto de rastreo que Google nos da.
El objetivo al analizar estas áreas, es la identificación de fugas de recursos y las posibles mejoras.
Pongamos un ejemplo, supongamos que los recursos que se le asignan a una web son 100, bueno la idea es que esos 100 nos alcance para nuestras mejores 100 URLs.
🎯Eventos vs Códigos respuesta
Cuando un crawl, araña o robot aterriza en una página web comienza a registrarlo todo, durante el resgistro va realizando una serie de movimientos que llamaremos “eventos”.
Bueno, después de un cierto número de eventos el jefe Google le dice a sus arañas “ya basta” y las envía a rastrear a otra web.
NOTA: los eventos que siempre debemos tener son los de código 200.
🌐Códigos respuesta:
- Respuestas informativas (100–199),
- Respuestas satisfactorias (200–299),
- Redirecciones (300–399),
- Errores de los clientes (400–499),
- y errores de los servidores (500–599).
Aunque a veces es complicado tener 100% codigos 200, es importante controlar que los demás no representen más de un 10%. Porcentaje cuyo 80% sean redirecciones, ya que los errores como el 400 o el 500 si que pueden penalizar en las SERPs.
📱Velocidad de carga de la web
El presupuesto de rastreo está muy asociado al tiempo, esto es importante entenderlo, ya que no solo es importante cuidar de que los eventos que se encuentren los bots sean 200, también lo es el tiempo que estos duran.
Veraz, si el servidor en donde está alojada tu web es capaz de enviarle eventos a google de forma rápida, este va a ser capaz de rastrear más URLs de tu sitio en el tiempo que este te asigna.
Por esta razón es buena idea contar con un buen servidor.
🏗️Robots.txt y Ofuscación de enlaces
Estos conceptos los interiorice con el siguiente ejemplo, ojala a ti también te sea esclarecedor.
Piensa en tu web como una casa en la que cada habitación “URLs” tiene su puerta. Bueno, cuando esta puerta está abierta puede pasar el robot y cuando está cerrada no.
Ahora imagínate que tienes 10 habitaciones, de las cuales 1 está desordenada y dos están vacías. Luego recibes una carta que te informa que un señor llamado Google tiene tiempo para ver 7 de tus habitaciones, ¿dejarías la puerta abierta de la habitación desordenada o vacía? Por supuesto que no, ¿porque desperdiciarías una visita en una habitación vacía?
Bueno, para esto sirven los Robots.txt y la Ofuscación de enlaces.
En conclusión, tener en cuenta el Crawl Budget en un proyecto SEO es:
- No desperdiciar el tiempo que los motores de búsqueda asignan al rastreo de las URLs de nuestro sitio web.
- Una fórmula para garantizar que las paginas que mas nos interesan en nuestro proyecto sean rastreadas por los Bots.
- Una optimización que nos acerca aun mas a la conquista de las SERPs de Google.
📚 Lectura Recomendada y Próximo Artículo
Si te perdiste mi artículo anterior sobre SEO On Page, te invito a leerlo para entender cómo optimizar tu sitio desde dentro.
Y mantente atento, porque la próxima semana abordaremos un tema esencial: ¡el estudio de palabras claves! Descubre cómo identificar las palabras que abrirán las puertas a un tráfico cualificado hacia tu sitio web. ¡No te lo pierdas! 🚀
Array