Le budget crawl est le nombre de pages qu’un crawler doit parcourir sur une certaine période de temps. Une fois votre budget épuisé, le crawler cessera d’accéder au contenu de votre site et passera à d’autres sites.
Les budgets crawl sont différents pour chaque site web et le budget d’exploration de votre site est établi automatiquement par Google. Le moteur de recherche utilise un large éventail de facteurs pour déterminer le budget alloué à votre site.
Les facteurs d’allocation de budget crawl
En général, ce sont les quatre principaux facteurs que Google utilise pour allouer le budget de crawl :
- La taille du site : Les sites plus volumineux nécessiteront un budget d’exploration plus important
- Configuration du serveur : Les performances de votre site et les temps de chargement peuvent avoir un effet sur le budget qui lui est alloué
- Fréquence des mises à jour : À quelle fréquence mettez-vous votre contenu à jour ? Google donnera la priorité aux contenus qui sont mis à jour régulièrement
- Liens : maillage interne en facilitant la navigation sur le site
S’il est vrai que des problèmes liés à l’exploration peuvent empêcher Google d’accéder à certains contenus sur votre site, il est important de comprendre que la fréquence d’exploration n’est pas un indicateur de qualité.
Une fréquence d’exploration plus élevée ne vous aidera pas à améliorer votre positionnement en tant que tel si votre contenu n’est pas de qualité.
Cela ne changera pas si vous demandez à Googlebot d’explorer votre site plus souvent. Si le crawling est nécessaire pour être présent dans les résultats de recherche, ce n’est pas un signal de classement.
Budget crawl et SEO
Le budget crawl important pour le référencement car :
- Si une page n’est pas indexée par les moteurs de recherche, elle n’apparaîtra pour AUCUNES recherches
- Si un site web comporte beaucoup de pages, il se peut que Google ne les indexe pas toutes
- Les modifications apportées à une page peuvent ne pas apparaître aussi rapidement qu’elles le devraient dans les résultats de la recherche
L’optimisation du budget crawl est le processus qui consiste à vérifier et à s’assurer que les moteurs de recherche peuvent explorer et indexer toutes les pages importantes de votre site à temps.
L’optimisation du budget d’exploration n’est généralement pas un problème pour les petits sites web, mais elle est plus importante pour les grands sites web qui ont des milliers d’URL.
Donc, la façon d’optimiser votre budget d’exploration est de suivre les meilleures pratiques d’optimisation des moteurs de recherche.