¿Qué es el presupuesto de rastreo o Crawler Budget?

Para todos aquellos que estáis comenzando en el mundo del posicionamiento web seguro que ya os habéis encontrado con el término “presupuesto de rastreo de Google”. Pues bien, desde digitalDot os vamos a dar unas nociones básicas sobre lo que significa para que os quede claro y podáis transmitírselo también a vuestros clientes.

El presupuesto de rastreo, es uno de los factores SEO que está obteniendo mayo relevancia en el ámbito del posicionamiento orgánico tanto de una tienda online como de una página web, el presupuesto de rastreo lo podemos definir: El número de visitas que recibiremos de Google para rastrear nuestra web.

¿Cómo puedo saber si mi web está siendo rastreada por Google?

Para conocer el estado de rastreo e indexación de cada una de las páginas de una web lo podéis hacer a través de la herramienta Search Console de Google.
En el panel de esta herramienta tenéis la oportunidad de comprobar el estado de vuestras URLs en la opción de "Cobertura".

Como consejo, os recomendamos que para una tienda online miréis los logs de vuestro servidor Apache o Nginx. Podremos ver como acción de User Agent a Google Bot.

Y, un dato, en Search Console os daréis cuenta de la importancia para Google que está teniendo la usabilidad móvil ya que por defecto, lo que primero os muestra son los resultados de rastreo e indexación de páginas para smartphone.

Además, conviene tener en cuenta una limitación técnica importante. Googlebot no procesa una cantidad infinita de contenido en cada petición. Según la documentación oficial de Google Search, Googlebot rastrea los primeros 2 MB del archivo en muchos recursos HTML compatibles. Esto quiere decir que, si una página carga demasiado código innecesario, scripts, maquetación pesada o elementos poco relevantes antes del contenido principal, parte de la información importante podría quedar fuera del tramo que Google procesa con prioridad.

Si quieres conocer más sobre los agentes de Google que suelen consumir el presupuesto de rastreo podéis leerlo en: Descripción general de los rastreadores de Google.

¿Cuál es el principal problema del presupuesto de rastreo?

Si tenéis una web corporativa con páginas de contenido o un pequeño blog, Google rastrearía, indexaría y procesaría vuestro sitio de forma rápida, sin tener que preocuparos mucho del presupuesto, a no ser que el dominio contase con alguna penalización.

Pero, ¿qué ocurre si estamos ante una web de noticias con miles de post o una tienda online con cientos de categorías y miles de productos?

Esto supondría una dedicación más exhaustiva por parte de Google para rastrear y un mayor coste económico para este buscador.

Para ello, Google establecerá un valor a cada enlace de tu web y dependiendo de la posición y el anchor text especificado podremos controlar dicho factor.

La principal finalidad es "conducir" ese presupuesto/tiempo de rastreo hacia los productos o categorías donde se ha trabajado correctamente el SEO (descripciones, metatítulos, metadescripciones…) o hacia los servicios donde tenemos un buen contenido de calidad y es de utilidad para nuestros usuarios porque, por ejemplo, puede estar resolviendo sus preguntas.

Por el contrario, si desviamos nuestro tráfico a indexaciones de nuestro buscador interno, con productos sin un buen SEO, productos sin stock, duplicados, carritos de compra, cuentas de usuarios, etc, lo que estaremos haciendo es que Google no pueda terminar de rastrear los productos con mayor margen y/o intencionalidad de compra.

Fallos típicos de desarrollo que afectan al rastreo

Hay errores de desarrollo que pueden perjudicar seriamente la forma en la que Google rastrea una web, incluso aunque a simple vista parezca funcionar correctamente:

• Mala implementación de JavaScript. Cuando los enlaces, menús o contenidos importantes dependen demasiado del renderizado y no están claramente accesibles en el HTML inicial, Googlebot puede tener más dificultades para procesarlos correctamente.
• Generación automática de URLs duplicadas. Esto ocurre con frecuencia por parámetros, filtros, combinaciones de productos, paginaciones mal resueltas o versiones alternativas de una misma página. El resultado es que Google dedica tiempo a rastrear URLs que no aportan valor real.
• Etiquetas canonical mal configuradas. Una canonical incorrecta puede enviar señales confusas a Google, provocar problemas de indexación y hacer que el buscador no interprete bien qué versión de una página es la principal.
• Redirecciones innecesarias o mal planteadas. Las cadenas de redirecciones, los saltos internos evitables o el uso incorrecto de redirecciones temporales pueden ralentizar el rastreo y desperdiciar presupuesto.
• Errores en el enlazado interno. Si las páginas importantes están mal conectadas, demasiado profundas dentro de la arquitectura o reciben pocos enlaces internos, Google puede tardar más en descubrirlas o darles menos prioridad.
• Exceso de código y módulos innecesarios. Las plantillas pesadas, los plugins prescindibles y el código sobrante hacen que la página sea más difícil de procesar y pueden afectar tanto a la velocidad como a la eficiencia del rastreo.
• Tiempos de respuesta altos del servidor. Cuando el hosting o el servidor responden con lentitud o de forma inestable, Googlebot puede reducir la intensidad de rastreo para no sobrecargar el sitio.

Si necesitas corregir este tipo de problemas desde la base, contar con un buen servicio de desarrollo web puede marcar la diferencia en el rendimiento SEO de tu proyecto.

¿Puedo mejorar mi presupuesto de rastreo?

La respuesta es un rotundo SÍ. Hay factores que hacen mejorar nuestro el presupuesto de rastreo que Google dedicará a nuestra web y os los vamos a contar.

Algunos de los factores que recomendamos no perder de vista para ganar presupuesto de rastreo son:

• Usabilidad. Si tenemos visitas y permanecen en nuestra web, Google entenderá que es una web interesante e ira aumentando el número de rastreo. Por lo tanto, controlar el porcentaje de rebote para que Google os mime un poco más.
• Linkbuilding externo. Recibir trafico desde enlaces en portales de interés relacionados con nuestros productos, de forma natural o pagada, mejorará nuestra autoridad y eso a Google le va gustar. Consejo, crea enlaces en periódicos, blogs o foros relacionados con tus productos o sector.
• Velocidad de carga. Vigila la velocidad de carga de tu web o tienda online de manera periódica, puesto que es un factor que puede variar en función de la carga de nuevos productos, mala optimización de imágenes, problemas con el servidor, etc. Herramientas como PageSpeed Insights, de Google te informarán de la velocidad en dispositivos móviles y en ordenador, además de mostrarte los factores que debes corregir para mejorar los tiempos de carga.
• Utilizar robot.txt para controlar qué zonas puede Google rastrear y cuales no. CMS como WordPress, Prestashop, Magento o Joomla tienen varias URLs que generan por defecto y que debemos impedir el acceso por parte de los Google Bots porque no nos interesa que indexen y, por consiguiente, no queremos que "gaste presupuesto" rastreándolas.
• Etiquetar los enlaces de nuestra web, todos los anchor text de nuestros enlaces deben estar correctamente asignados.
• Etiquetas Follow, Nofollow, Sponsored, son etiquetas nuevas que debemos controlar tanto en enlaces internos como enlaces externos y debemos colocar de forma correcta para la optimización del rastreo.
• Contenido duplicado o canonical. Si contamos en nuestra web con contenidos diferentes que luchan por posicionar una misma palabra clave o una intencionalidad de búsqueda debemos usar la etiqueta canonical para informar a Google de cuál es el contenido que consideramos indispensable.
• Detección de paginas de contenido de baja calidad, si tenemos contenido en nuestra web que recibe poco trafico y poca permanencia debemos revisarlo y poner un plan de acción que puede ir desde un redireccionamiento, a una mejora en el contenido o incluso su eliminación.
• Controlar las redirecciones y los códigos de error 301, 302, 404. A los usuarios no les gustan los errores 404 y a Google, tampoco.

¿Debe presupuestarse el Crawler Budget?

Son muchos los consultores seo, entre los que nos incluimos, que consideramos que el Crawler Budget se debe medir, dedicar una análisis inicial y minucioso y un trabajo adecuado.

No solo se trata de quitar enlaces desde la home, si no de hacerlo de tal modo que Google "nos recompense" por ello.

¿Quiénes conocer más sobre el presupuesto de rastreo?

Por último, si quieres saber más sobre el presuesto de rastreo te dejamos el siguiente enlace en donde tendréis el informe de Gary Illyes sobre Crawler Budget todo un experto en Google.

Si tenéis alguna duda, si queréis mejorar el posicionamiento web y ganar más visibilidad online, en digitalDot trabajamos como agencia SEO para ayudaros a optimizar vuestra web y mejorar su rendimiento orgánico.

Preguntas frecuentes sobre el presupuesto de rastreo o Crawl Budget