Robots Google

Seguramente alguna vez te has preguntado como añade Google las páginas al buscador. La respuesta es simple: lo hacen sus dos robots.

Google utiliza la tecnología de los robots para no dejar de seguir los enlaces de una página a otra... y, gracias a los enlaces consigue añadir más y más páginas a su buscador. Esto es lo que llama indexar.

No solamente indexa páginas web (.html), sino que también extrae información de ficheros PDF, PS, XLS, DOC y algunos otros más.

La frecuencia con la que Googlebot accede a un sitio web depende del PageRank de éste. Contra mayor sea este valor, el robot accederá más asiduamente a sus páginas. Googlebot tiene varios ordenadores indexando páginas por internet:

Googlebot accede al fichero 'robots.txt' que estará en el directorio raiz del dominio. Allí se indica a qué debe o no acceder Googlebot.

Googlebot indexa nuestra página, y se guarda los enlaces de tipo HREF y SRC, por lo que podrá seguir buscando e indexando otras páginas. Así, para que Googlebot indexe tu página, otra página ha de enlazarte. Sino, puedes añadir directamente tu URL.

A parte de Googlebot existe el Freshbot que, debido que hay páginas, como las de noticias, que se actualizan mucho más frecuentemente, son indexadas de una manera especial mediante este robot.

Para saber mas clic Aquí

Mapa Conceptual: