Está claro que los buscadores son los que atraen a tu sitio web los que pueden llegar a ser tus clientes finales o usuarios de tu portal. Por eso es imprescindible saber como recopilan y muestran la información los buscadores al usuario que realiza una búsqueda determinada.

Básicamente existen dos tipo de motores de búsqueda pero el mas usado y del que hablaremos son los robots llamados crawlers (tractores) o spiders (arañas).

Los buscadores usan los spiders para indexar los sitios web. Cuándo envías tu sitio a un buscador mediante su formulario para añadir una web, el spider indexará todo el contenido de tu sitio web. Un spider es un programa automatizado que se ejecuta en el sistema del motor de búsqueda. El spider visita una web, lee el contenido actual del sitio, los Meta Tags del sitio, y también sigue los enlaces que conectan entre si las diferentes páginas del sitio web. Una vez recorrido todo el sitio web el spider devuelve toda la información que ha recopilado a la base de datos central que es donde la información es indexada. El spider visitará también cada uno de los enlaces externos hacia otras webs que encuentre en tu sitio e indexará también estos sitios si no los había indexado aún.

El spider volverá periodicamente a tu sitio para comprobar si el contenido ha cambiado. La frecuencia con que esto ocurre depende de la que hayan configurado los administradores del buscador.

Un spider es parecido a un libro que contiene la tabla de contenidos (índice), el contenido actual y los enlaces y referencias a todos los sitios que encuentra durante su recorrido por el sitio, por lo que pueden indexar millones de páginas al día.

Ejemplo: Bing, Yahoo y Google.

Cuando realizas una consulta a un motor de búsqueda para que encuentre una información el busca en el índice que ha creado en su base de datos y no en la web. Los diferentes buscadores que hay en la red tienen diferentes resultados de búsqueda porque usan diferentes algoritmos internos para buscar en sus índices y calcular en que posición de los resultados debe aparecer una página para una búsqueda determinada.

Uno de las principales cosas que escanea el algoritmo de un motor de búsqueda es la frecuencia y localización de las keywords o palabras clave en una web aunque también pueden detectar si se está realizando spam con las keywords (keyword stuffing o spamdexing).

También el algoritmo analiza la forma en que las páginas enlazan a otras páginas. Analizando como la página enlaza a otra página el motor de búsqueda puede determinar la temática de una web y si las keywords con las que ha sido enlazada corresponden con las keywords que ha analizado en la web evitando así el spam y que sea posicionada para keywords que no tienen en realidad nada que ver con el sitio.