Quand on s’intéresse au fonctionnement d’un moteur de recherche (en particulier Google) on se retrouve vite confronté à un vocabulaire très spécifique. Un vocabulaire, loin d’être toujours évident, et qu’il faut maîtriser pour que son site trouve sa place dans la jungle d’internet. Le terme « GoogleBot » en est un.

Dans cet article, je vais vous présenter les GoogleBots, aussi appelés « Spider » ou « Crawler ».

googlebot
GoogleBot, programme informatique de Google qui Crawl le web

Qu’est-ce que GoogleBot ?

Les GoogleBots sont des robots d’exploration développés par Google. Ils sont chargés de recenser, analyser et indexer l’ensemble des pages html présentes sur internet.

Dans leur fonctionnement, les GoogleBots sont des programmes informatiques qui « crawlent » les pages web. Ils élaborent d’immenses bases de données regroupant tous les liens identifiés qui renvoient à des pages web.

A chaque fois que les programmes de Google découvrent de nouveaux liens, ils les ajoutent à leur base de données. De la même manière les liens morts sont sortis des bases de données. Comprendre comment les GoogleBots crawlent est alors essentiel si vous voulez que votre site internet soit visité et bien référencé par ces robots.

Quels sont les différents robots d’exploration de Google ?

Il existe plusieurs GoogleBots, chacun traitant des informations différentes. Il est donc utile de connaître les principaux, et en particuliers ceux qui traitent du contenu que vous mettez en ligne.

Par exemple, les bots AdSense et AdsBot indexent les publicités et évaluent leur qualité, tandis que Mobile Apps Android traite des applications Android. Voici une liste des principaux Bots intéressant à connaître :

  • Googlebot desktop
  • Googlebot mobile
  • Googlebot Video
  • Googlebot images
  • Googlebot news

Comment GoogleBot influe sur le SEO ?

La fonction même des GoogleBots est de visiter régulièrement l’ensemble des pages web qu’il connaît, à la recherche de liens à indexer. Votre but lorsque vous optimisez un site pour le SEO, est justement d’attirer les crawlers afin qu’ils le visitent.

Plus vous avez de liens entrants, plus le GoogleBot vous trouvera facilement. Si ouvrez un maximum d’accès aux crawlers pour qu’ils viennent vous voir, vous améliorez l’indexation Google de vos pages. 

L’optimisation d’un site pour le Crawl des Googlebots fait partie des optimisations techniques en SEO. En plus d’optimiser la structure de votre site et vos mots-clés, optimiser votre site pour encourager le crawl des GoogleBots est primordial. En effet, l’exploration d’un site par ces-derniers joue un rôle essentiel dans son indexation futur.

Le but est alors d’optimiser le crawl sur votre site afin d’obtenir la meilleure indexation possible. Ajouter régulièrement du nouveau contenu en ligne est décisif, car ainsi votre site sera de nouveau crawlé et gagnera potentiellement du trafic. De même modifier votre fichier robots.txt permet de donner des indications de navigation aux bots :

  • les pages qu’il ne doit pas visiter
  • les pages qu’il ne doit pas indexer
  • le sitemap du site

En conclusion, optimiser le crawl peut paraître complexe, mais on peut dire que c’est l’objectif ultime des référenceurs. Il faut garder en tête que si Google ne peut pas bien crawler dans votre contenu, votre référencement en pâtira. C’est pour cela que se familiariser avec les mécanismes des bots est déterminant en SEO.

Vous voulez apprendre plus de vocabulaire technique ? Retrouvez mon Glossaire SEO.

Catégories : Définition SEO

0 commentaire

Laisser un commentaire