Comment les robots parcourent-ils les sites ? Explications de Google

Dans un post récent posté sur son blog, le géant de Mountain View a fourni plus de précisions sur le fonctionnement de ses GoogleBot. Si l’article vient confirmer ce que les experts savaient déjà, il a toutefois le mérite de rappeler les consignes élémentaires pour améliorer le référencement d’un site.

La rapidité du site influe sur la qualité du crawl

Soucieux de garantir la meilleure expérience possible à ses utilisateurs, le moteur de recherche adapte la fréquence et le volume de crawl d’un site en fonction de la vitesse de la bande passante.

Concrètement, l’algorithme de Google détermine une vitesse d’exploration optimale pour chaque site. Ainsi, plus les réponses données aux requêtes des robots sont rapides, meilleur sera le crawl.

Deux autres paramètres à considérer afin d’optimiser le crawl

Outre la vitesse d’affichage du site, d’autres critères sont également pris en compte pour optimiser le crawl, parmi ceux-ci :

• La popularité de la page : plus une page est populaire, et plus elle a de chances d’être indexée par les robots du moteur de recherche.
• L’obsolescence des URL peut aussi affecter la qualité du crawl. En effet, Google n’aime pas encombrer inutilement ses serveurs avec des URL qui ne sont plus à jour.
• La qualité des contenus des sites. Comme tout le monde le sait, il est important d’apporter le plus grand soin aux contenus publiés sur un site. Les Googlebots ignorent les plagiats et les pages d’erreur soft pour ne pas dépenser leurs ressources.

Dans tous les cas, Google rassure les sites volumineux : la taille n’aura aucune incidence sur la qualité du crawl.

La vitesse de l’exploration et le référencement naturel : une étroite relation ?

La question fréquemment posée par les spécialistes est la relation entre la célérité de l’exploration des sites et le référencement naturel. Selon Google, ces deux éléments n’ont aucun lien. Toutefois, la prudence est de rigueur puisque ce dernier s’est déjà exprimé sur ce point en avançant une réponse contraire.

Amélioration des SOE : une large contribution des Googlebots

L’intervention des robots apporte donc des avantages considérables pour le SEO d’un site. L’essentiel, c’est de faciliter leur exploration pour ne pas gaspiller leurs ressources en scannant des pages inutiles.