En esta publicación, hablaremos sobre qué es el X-Robots-tag y cómo lo podemos implementar en nuestra página web de la manera más sencilla.

Y es que normalmente estamos más acostumbrados a utilizar el meta robots para este tipo de prácticas de rastreo/indexación de nuestras páginas web.

No obstante, este elemento también es interesantes tenerlo en cuenta y nos puede facilitar también el trabajo a la hora de realizar tareas de limitación de nuestras URLs.

Realizada esta breve introducción del tema… ¡vamos al lío!

¿Qué es el X Robots Tag?

El X-Robots tag es una cabecera HTTP alternativa a la metaetiqueta de HTML que se hace desde el servidor.

Ésta sería la definición, y es que no hay más que entender. Se trata de una alternativa que servimos desde nuestro servidor en lugar de utilizar el clásico elemento en html para nuestras páginas.

La alternativa es bastante buena y no necesitas incluir líneas de código html en tus páginas para indicar las directrices que deseas.

Esto puede tener diferentes ventajas, entre las cuales, destacaría las siguientes:

Cómo implementar el X-Robots-Tag

Para poder llegar a realizar la implementación de este elemento, necesitas tener a mano el acceso al servidor de tu web. Después de esto, en función de qué tipo de servidor se encuentre tu web (Apache o NGINX), podrás realizar la implementación con las directivas.

Por este motivo, vamos a ver a continuación qué diferencias hay de implementar en Apache y NGINX para que puedas tenerlo en cuenta a la hora de implementar lo que necesitas:

X-Robots-Tag por Apache

En el caso de Apache, necesitarás tener el acceso al archivo htaccess para poder hacer la implementación del X-Robots-Tag.

Leer  Alternativas a Chat GPT: Otras opciones de IA

A partir de aquí, deberás tener habilitado el ifmodule mod_header.c e introducir en su interior la regla que necesitas. Así es como quedaría exactamente la regla:

x-robots-tag apache

Por otro lado, si quieres indicar de manera específica a un solo subdirectorio, puedes hacerlo con la siguiente regla que te indico a continuación:

x-robots-tag apache subdirectorio

Además, si utilizas las reglas de RegEx (Regular Expressions), puedes indicar archivos (como hemos comentado anteriormente):

x-robots-tag apache regex

X-Robots-Tag por NGINX

Para usar el elemento en NGINX deberás acceder al .conf, implementar los cambios y reiniciar el servidor. Los cambios los debes de aplicar sobre “server{}” en el .conf.

Para que sea en todo el servidor, sería tan fácil como añadir lo siguiente:

x-robots-tag nginx

Si queremos formatos en particular, es decir, concretar exactamente qué tipo de archivos son los que queremos limitar, usamos RegEx de la siguiente manera:

x-robots-tag nginx regex

Y, por último, si es para un archivo concreto, es decir, directamente una ruta de archivo que no queramos (por cualquier motivo),realizaremos:

x-robots-tag nginx archivo concreto

¿Qué es mejor: meta robots o X Robots Tag?

En este sentido, no podría determinar cuál de los 2 es mejor. De hecho, y normalmente, suelo utilizar el meta robots. Sin embargo, el X Robots Tag me parece bastante sencillo para hacer estas limitaciones de manera más simple y rápido.

A efectos SEO, ambos tienen que tener el mismo sentido, por lo que no debe haber uno mejor o peor, simplemente alternativas.

Además, aquí dejo la documentación del propio Google donde habla de ambas etiquetas:

https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag

Por lo tanto, podemos decir que, tanto en html como en nuestro servidor, tenemos esta posibilidad. ¿Cuál es la que os gusta más o la que soléis implementar para vuestros proyectos?

¡Espero que el contenido os haya sido de utilidad!

Te dejo directamente el enlace al blog para poder acceder a todos los contenidos que tengo disponibles en esta parte de mi web.

Consultor SEO en Cecomart
Consultor SEO desde 2015. Con ganas de difundir noticias sobre posicionamiento web y continuar aprendiendo de esta cambiante profesión.
C.Ortiz
Últimas entradas de C.Ortiz (ver todo)

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *