Malgré son importance, la phase de crawl fait partie de ces notions à classer parmi les moins « grand public » dans le domaine du SEO. Et cela a du sens : il s’agit de l’une des optimisations SEO les plus orientées vers les robots. Pourtant, améliorer la phase de crawl est un moyen comme un autre d’optimiser son SEO !
La phase de crawl, qu’est-ce que c’est ?
Pour rester dans des termes simples, il s’agit de la toute première phase du processus de positionnement. En effet, lorsque vous créez une nouvelle page sur votre site, celle-ci doit d’abord se faire analyser par les bots, dont Googlebot fait partie. Ces robots de Google, appelés Spiders, vont analyser cette page sous toutes ses coutures afin de se renseigner sur le contenu proposé. C’est seulement après cette étape de crawl que la page sera indexée par le moteur de recherche et que ce contenu pourra être trouvé par une simple requête.
Quelle est l’influence du crawl sur le référencement d’un site web ?
Parmi les questions souvent posées : à quoi peut servir d’avoir une phase de crawl bien optimisée ? Est-ce un problème si Google prend plus de temps à scanner mon site que celui de mon concurrent ? Ces interrogations sont parfaitement légitimes !
Pour y répondre, il faut bien se rendre compte que Google (comme les autres moteurs de recherche) n’a pas des ressources illimitées. Les robots qu’il emploie ne peuvent pas passer un temps infini sur votre seul site web. Il est limité en crédit temps à accorder à votre domaine.
Qu’il ait eu le temps de scanner 1 ou 100 pages, à la fin du temps alloué à vos contenus, le robot s'arrête et se dirige vers un autre site.
Cela est aussi un bon moyen pour Google de forcer les webmasters à mettre en œuvre ses recommandations. Vous ne suivez pas les règles du premier moteur de recherche mondial ? Votre crawl budget s’en verra alors rapidement diminué !
Optimiser son budget de crawl signifie que les robots d’indexation prendront un minimum de temps pour scanner un maximum de pages de votre site web.