Definiciones SEO

¿Qué es una araña web o un crawler?

Diccionario SEO

Una araña web o crawler, es un software que usan los motores de búsqueda como Google o Yahoo, para buscar y analizar páginas web.

Este tipo de software, también conocidos como bots, tienen como misión, además de encontrar páginas, analizarlas para posteriormente guardarlas en las bases de datos de los buscadores y así poder mostrarlas cuando algún usuario busca algo relacionado con su temática. Esto es lo que se llama indexación.

¿Cómo funciona un crawler?

Una vez que uno de estos bots encuentra una página, se mueve por ella de enlace en enlace según las directrices que haya configuradas en el fichero robots.txt.

Si no existe ninguna directriz que le impida analizar esa URL, crea una copia de la página y se guardará en los motores de búsqueda.

Además, los enlaces encontrados los almacena para añadirlos a su “lista de tareas” para que, de forma recurrente, los enlaces de esa URL sean rastreados frecuentemente en busca de posibles cambios.

Esta recogida de información se realiza de manera sistemática y de forma continua. Para cada sitio web hay un tiempo estipulado, lo que se llama Crawl Budget o presupuesto de rastreo.

Dado que este presupuesto de rastreo no es infinito, necesitamos tener una buena estructura web y un buen enlazado interno para que cada vez que venga la araña web a visitar nuestro sitio descubra el máximo de URLs posibles.

Si te ha parecido interesante puedes compartir el post

Facebook
Twitter
LinkedIn
WhatsApp
Email

Deja una respuesta

Tu dirección de correo electrónico no será publicada.