¿Sabes qué son los meta robots de Google y el fichero robots.txt? Aprender a diferenciar ambos elementos te servirá para mejorar el crawl budget de tu web, es decir, para optimizar el tiempo que los robots de Google dedican a rastrear las páginas de tu web.

El fichero robots.txt

El archivo robots.txt cuelga de la raíz del dominio y se conoce también como protocolo de exclusión de robots. Se trata de un archivo de texto que se inserta en la carpeta principal de la web, y que tiene por objetivo señalar a los bots de Google las urls que quieres indexar y omitir de su base de datos.

En otras palabras, con el robots.txt impides que Google pierda tiempo con aquellas páginas que realmente no te interesan para tu estrategia de marketing digital. De esta manera, optimizarás el crawl budget o presupuesto de tiempo de rastreo dedicado a tu site en aquellas que realmente te resultan importantes.

Si no usas este archivo, Google rastreará toda la web e indexará una por una todas las urls, ya que no tendrá una ruta a seguir. Ten en cuenta que el robots.txt te ayuda a no tener contenido o urls duplicados, algo que puede ser habitual si tienes filtrados en las categorías de tu prestashop.

Robots.txt y el sitemap

Este es uno de los archivos a los que presta más atención Google por lo que, además de señalarle las páginas a indexar, es importante que lo aproveches para indicar a sus robots dónde has ubicado el sitemap de tu sitio para que puedan indexarlo de manera mucho más rápida. Solamente tienes que señalarlo en la parte inferior con un nombre del dominio/sitemap.xml.

En este otro post te enseño cómo crear tu propio sitemap para wordpress.

Cómo crear un robots.txt

Si quieres crear este archivo en tu site, debes usar el bloc de notas para insertar el contenido que indicará a Google qué ruta deben hacer sus bots.

En estas indicaciones no pueden faltar los siguientes comandos:

• User-agent: el nombre oficial del bot de Google.
• Disallow: indica los contenidos a no indexar.
• Allow: para señalar las url a indexar.
• Sitemap: indica la url del sitemap para que Google pueda indexarlo más rápidamente.

¿Quieres ver el archivo robots.txt de cualquier web que te interese? Teclea su url acompañada de /robots.txt. Fíjate en cómo podemos visualizar el archivo robots.txt de Amazon, tecleando lo dicho anteriormente:

Los meta robots de WordPress

Cuando hablamos de meta robots de WordPress nos estamos refiriendo a las etiquetas HTML que señalan a Google qué queremos que haga con cada página de un site. Se colocan habitualmente en la parte superior de la url, y es importante que cada página tenga bien diferenciados sus meta robots en función de las necesidades de cada estrategia de marketing digital.

Tipos de etiquetas meta robots

A la hora de usar los meta robots para Google, debes tener en cuenta que existen diversos tipos de etiquetas con significados concretos:

Los meta robots noindex indican a Google que esa página no debe indexarse.

Los index indican la necesidad de que se indexe.

Los meta robots no follow se usan para que no se de autoridad a los enlaces con esa url interna.

Los follow, en cambio, traspasan la autoridad de los enlaces.

Por lo tanto, dependiendo de qué quieras conseguir en tu site, deberás combinar estas etiquetas de manera adecuada. Así por ejemplo, puedes usar un Index, Follow para decirle a Google que rastree e indexe una de tus url, pero también puedes optar por un NoIndex, Follow si deseas que tu página no aparezca en los resultados de búsqueda, pero sí que sea rastreada. Esto es muy interesante si queremos evitar una canibalización en SEO.

En cambio, si tienes una página que quieres indexar pero cuyos links no te interesa que siga Google, es recomendable optar por un Index, No Follow.

Diferencias entre meta robots de Google y robots.txt

Te estarás preguntando qué diferencia hay entre los meta robots para Google y el archivo robots.txt en función de lo que te hemos explicado hasta ahora. Esencialmente, estas etiquetas indican las url que no se van a indexar ni aparecerán en los resultados de búsqueda pero, a diferencia de lo que ocurre con el archivo, sí que serán rastreadas por los bots de Google.

En otras palabras, al colocar una determinada etiqueta meta robots en una página concreta de tu site, conseguirás que no salga en los resultados de búsqueda, pero Google sí que la rastreará, sabrá su existencia y su contenido. Lo único que no hará será agregarla a su base de datos.

Otra de las ventajas de estas etiquetas es que también puedes usarlas para dar información a Google sobre links internos, imágenes o cualquier otro tipo de archivo que necesites tenga en cuenta el buscador a la hora de hacer la indexación del site o de una url concreta.

Además, hay que tener en cuenta que, aunque ambas opciones pueden hacer completamente invisible una url en la SERP de Google, los meta robots permiten el rastreo y, por lo tanto, la transmisión del valor de los links de la página. De esta manera, no bloqueas la opción de que rastree otras url a partir de una que no quieres indexar.

Por otra parte, el archivo robots.txt es mucho más eficaz a la hora de bloquear un directorio completo, lo que te permite ganar tiempo de rastreo de las páginas en cada una de las visitas de los robots de Google.

El archivo de protocolo de exclusión de robots.txt te será especialmente útil a la hora de bloquear ciertas urls, pero los meta robots de Google son realmente efectivos a la hora de solucionar necesidades concretas de seguimiento o de no seguimiento de determinadas páginas.

Por lo tanto, no podemos decir que una opción sea mejor que otra, sino que son dos conceptos muy similares con diferencias sustanciosas en la aplicación de una determinada estrategia de marketing online para un site. Por lo tanto, es importante que conozcas bien las dos opciones y su funcionalidad a la hora de permitir o no que una página aparezca en la SERP de Google. De esta manera, podrás escoger la que se adapta mejor a los objetivos que quieres conseguir.

Te ha quedado alguna duda sobre los robots.text, en este otro artículo te lo explicamos en mayor detalle. ¿Te ha quedado alguna duda entre los robots.text y los meta robots? Si es así me gustaría que me escribas tus dudas en los comentarios, ¡Estaré encantado de contestarlas!