Para que nuestra página tenga un buen posicionamiento en los resultados de búsqueda de Google (SERP) tenemos que tener muchos factores en cuenta. El fichero robots.txt es uno de esos factores.
Como SEO, una de nuestras tareas es facilitar la vida a las arañas web o bots de Google y para ello, tener bien optimizado un fichero robots.txt ayudará a que Google indexe las páginas necesarias y no pierda tiempo en las que no van a ser indexadas.
Contenido
¿Qué es el fichero robots.txt?
El fichero robots.txt es un fichero público con extensión .txt localizado en la raíz de nuestro sitio web y que nos servirá para decirles a las arañas de los motores de búsqueda como Google, que partes de nuestra web van a poder rastrear y cuáles no.
Una vez tengamos optimizado nuestro fichero robots.txt, los bots de algunos motores de búsqueda no tendrán acceso a ciertos directorios, subdirectorios, URL’s o archivos de nuestro sitio web.
¿Quieres saber cómo crear una estrategia SEO? 👉 Pasos para trabajar una estrategia SEO
¿Por qué es tan importante el fichero robots.txt?
Antes de nada, debes saber que no necesitas un fichero robots.txt para que tu página sea indexada. Los bots de los motores de búsqueda entrarán en tu sitio e indexarán todo sin problemas.
Y es justo por eso que necesitamos un fichero robots.txt en nuestro sitio. Tenemos que decirles a estas arañas que partes de nuestra web queremos que visite para indexar y cuáles no.
¿Estás empezando en el mundo del SEO? 👉 Guía SEO para principiantes
Los CMS como WordPress, generan un sinfín de elementos que en muchas ocasiones no queremos que sean mostrados en los resultados de búsqueda. Si no tenemos este fichero, estamos dejando indexar absolutamente todo nuestro sitio, lo cual es ineficiente a nivel SEO.
Cómo crear un fichero robots.txt en WordPress
Lo primero que debes saber es que una vez que hemos instalado nuestro WordPress, el propio CMS genera un fichero robots.txt. Este fichero es bastante básico y añadir algunas directrices más para dejarlo optimizado.
Para crear y modificar nuestro fichero robots.txt vamos a ver 2 formas:
- Crear o modificar un fichero robots.txt de forma manual.
- Crear o modificar un fichero robots.txt con Yoast SEO.
Cómo crear un fichero robots.txt en WordPress
Crear un archivo robots.txt es realmente sencillo. Para poder crear este archivo, sólo necesitamos un editor tipo Notepad, TextEdit o Brackets para crear un fichero txt.
Una vez hemos creado el fichero con la extensión correcta sólo tenemos que subirlo a la raíz de nuestra página. Esto lo podemos hacer a través de gestor de fichero de nuestro cPanel del hosting o bien mediante FTP.
Crea o modifica el fichero robots.txt con Yoast SEO
Una vez tengas instalado el plugin de Yoast SEO aparecerá en el menú lateral una nueva opción. Nos vamos hasta la opción Yoast SEO > Herramientas > Editor de archivos.
Este post sobre puede interesarte 👉 Yoast SEO: Un plugin para WordPress y mejorar tu SEO
Una vez tengas instalado el plugin de Yoast SEO aparecerá en el menú lateral una nueva opción. Nos vamos hasta la opción Yoast SEO > Herramientas > Editor de archivos.
Veremos que tenemos acceso tanto al fichero robots.txt como al archivo .htaccess. Puede ser que el archivo no esté creado. Simplemente con hacer clic en el botón Crear archivo robots.txt tendremos uno con las directivas básicas.
Hacemos todos los cambios que sean necesarios y hacemos clic en el botón Guardar cambios a robots.txt. ¡Así de sencillo!
Sintaxis del fichero robots.txt
Una vez que sabemos cómo crear el fichero físicamente, vamos a ver cuál es la sintaxis y cómo podemos añadir reglas a nuestro fichero para optimizarlo de manera correcta.
Lo primero que deberíamos saber es que, estas reglas son instrucciones que damos a los rastreadores de los motores de búsqueda para decirles que partes de nuestra web tienen que rastrear y cuales no.
La sintaxis correcta para crear un fichero robots.txt sería la siguiente:
- Nuestro archivo está creado por uno o varios grupos.
- Cada uno de estos grupos podrá contener distintas reglas o directrices, en líneas separadas. Todas ellas deberán empezar con la línea User-agent que indica al agente que afectarán dichas directrices.
- En cada grupo se proporcionará la siguiente información:
- A qué agente o agentes van enfocadas las reglas.
- Que directorios o archivos podrá tener acceso el agente.
- Que directorio o archivos no podrá tener acceso el agente.
- Los rastreados analizan el fichero de arriba abajo y, por lo tanto, cada User-agents sólo pueden estar en un grupo.
- Si no especificamos nada, los User-agents podrán rastrear todas aquellas páginas o directorios que no estén bloqueados mediante una regla disallow.
- Hay que tener en cuenta que las reglas distinguen entre mayúsculas y minúsculas.
Directivas del fichero robots.txt para Google
Dado que la mayoría de nosotros “trabajamos para Google”, vamos a ver cuáles son las directivas que vamos a poder usar en nuestro archivo robots.txt para optimizarlo.
- User-agent: Esta directiva nos indica que rastreador se verá afectado por el resto de reglas que añadamos en este grupo. Cómo existe un amplio listado de user-agents, podemos usar el asterisco (*) para aplicar el conjunto de reglas a todos.
- Disallow: Indica al User-agent que esa ruta (raíz del sitio o directorio) no deben ser rastreada.
- Allow: Sirve para anular la directiva Disallow de un subdirectorio que esté marcado como no rastreable y de esta forma permitir el rastreo.
- Sitemap: Indica la ubicación de nuestro fichero sitemap.xml y es otra forma de indicar a Google que contenido será rasteable.
En todos los ficheros robots.txt debe haber al menos una directiva user-agent y una directiva allow o disallow por grupo de reglas. La directiva sitemap es opcional.
Conclusiones
En el SEO cada pequeño detalle cuenta para mejorar nuestro posicionamiento web. Por eso cuanto mejor optimicemos todos nuestros elementos de SEO OnPage mejor.
El fichero robots.txt es uno de esos elementos que ayudan a los bots de Google a rastrear e indexar nuestro sitio. Y cómo ya sabemos, cuanto más le facilitemos la vida a Google mejor.
Si te ha gustado el artículo compártelo dónde quieras o déjame un comentario.
