X Robots Tag: Qué es y cómo implementarlo

En esta publicación, hablaremos sobre qué es el X-Robots-tag y cómo lo podemos implementar en nuestra página web de la manera más sencilla.

Y es que normalmente estamos más acostumbrados a utilizar el meta robots para este tipo de prácticas de rastreo/indexación de nuestras páginas web.

No obstante, este elemento también es interesantes tenerlo en cuenta y nos puede facilitar también el trabajo a la hora de realizar tareas de limitación de nuestras URLs.

Realizada esta breve introducción del tema… ¡vamos al lío!

Índice de contenido

¿Qué es el X Robots Tag?

El X-Robots tag es una cabecera HTTP alternativa a la metaetiqueta de HTML que se hace desde el servidor.

Ésta sería la definición, y es que no hay más que entender. Se trata de una alternativa que servimos desde nuestro servidor en lugar de utilizar el clásico elemento en html para nuestras páginas.

La alternativa es bastante buena y no necesitas incluir líneas de código html en tus páginas para indicar las directrices que deseas.

Esto puede tener diferentes ventajas, entre las cuales, destacaría las siguientes:

Te permite generalizar, por lo que puedes hacer implementaciones globales de manera muy rápida.
Puedes limitar archivos donde, con el elemento de meta robots en HTML, no puedes realizar: imágenes, pdf’s, etc.
Si la web tiene complicaciones a nivel de html, es una alternativa fácil para esa web mal planteada.

Cómo implementar el X-Robots-Tag

Para poder llegar a realizar la implementación de este elemento, necesitas tener a mano el acceso al servidor de tu web. Después de esto, en función de qué tipo de servidor se encuentre tu web (Apache o NGINX), podrás realizar la implementación con las directivas.

Por este motivo, vamos a ver a continuación qué diferencias hay de implementar en Apache y NGINX para que puedas tenerlo en cuenta a la hora de implementar lo que necesitas:

X-Robots-Tag por Apache

En el caso de Apache, necesitarás tener el acceso al archivo htaccess para poder hacer la implementación del X-Robots-Tag.

Leer Mi proyecto SEO

A partir de aquí, deberás tener habilitado el ifmodule mod_header.c e introducir en su interior la regla que necesitas. Así es como quedaría exactamente la regla:

Por otro lado, si quieres indicar de manera específica a un solo subdirectorio, puedes hacerlo con la siguiente regla que te indico a continuación:

Además, si utilizas las reglas de RegEx (Regular Expressions), puedes indicar archivos (como hemos comentado anteriormente):

X-Robots-Tag por NGINX

Para usar el elemento en NGINX deberás acceder al .conf, implementar los cambios y reiniciar el servidor. Los cambios los debes de aplicar sobre “server{}” en el .conf.

Para que sea en todo el servidor, sería tan fácil como añadir lo siguiente:

Si queremos formatos en particular, es decir, concretar exactamente qué tipo de archivos son los que queremos limitar, usamos RegEx de la siguiente manera:

Y, por último, si es para un archivo concreto, es decir, directamente una ruta de archivo que no queramos (por cualquier motivo),realizaremos:

¿Qué es mejor: meta robots o X Robots Tag?

En este sentido, no podría determinar cuál de los 2 es mejor. De hecho, y normalmente, suelo utilizar el meta robots. Sin embargo, el X Robots Tag me parece bastante sencillo para hacer estas limitaciones de manera más simple y rápido.

A efectos SEO, ambos tienen que tener el mismo sentido, por lo que no debe haber uno mejor o peor, simplemente alternativas.

Además, aquí dejo la documentación del propio Google donde habla de ambas etiquetas:

https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag

Por lo tanto, podemos decir que, tanto en html como en nuestro servidor, tenemos esta posibilidad. ¿Cuál es la que os gusta más o la que soléis implementar para vuestros proyectos?

¡Espero que el contenido os haya sido de utilidad!

Te dejo directamente el enlace al blog para poder acceder a todos los contenidos que tengo disponibles en esta parte de mi web.