Crawl Budget SEO : comment l'optimiser pour que Google indexe vos pages
Le crawl budget détermine combien de pages Google explore sur votre site. Essentiel pour les sites de plus de 1 000 pages.
Solentia Team
Digital experts
Crawl Budget SEO : tout comprendre
Le crawl budget désigne le nombre de pages que Googlebot est prêt à crawler sur votre site dans un laps de temps donné. Comprendre et optimiser ce budget devient critique dès que votre site dépasse 1 000 pages.
Les deux composantes du crawl budget
1. Crawl Rate Limit (limite de taux de crawl)
Le nombre maximum de requêtes simultanées que Google peut faire sur votre serveur sans le surcharger. Google l'adapte automatiquement à la santé de votre serveur.
2. Crawl Demand (demande de crawl)
La popularité de vos pages et la fréquence à laquelle elles changent. Les pages populaires (beaucoup de liens entrants) et celles mises à jour souvent sont revisitées plus fréquemment.
Crawl Budget = Crawl Rate Limit × Crawl Demand
Qui est concerné ?
Le crawl budget est une priorité pour :
- Sites e-commerce avec des milliers de références produits
- Sites de voyage / immobilier avec des filtres générant des URLs infinies
- Sites d'actualité publiant beaucoup (> 100 articles/jour)
- Sites avec une architecture de liens profonde (> 5 clics depuis la homepage)
Pour un site vitrine de 20 pages, le crawl budget n'est pas un sujet.
Comment vérifier l'état de votre crawl budget
Google Search Console : Paramètres → Statistiques d'exploration → Voir le rapport complet
- Nombre de pages crawlées par jour
- Temps de réponse moyen
- Pages avec codes d'erreur
Journal de logs serveur : Cherchez les requêtes de Googlebot dans vos access.log :
7 façons d'optimiser votre crawl budget
1. Bloquer les URLs sans valeur SEO dans robots.txt
2. Noindex + follow sur les pages de faible valeur
Pages de tags, d'auteurs, archives par date en WordPress → <meta name="robots" content="noindex, follow">
3. Canonical sur toutes les variantes d'URL
Paramètres de tri, filtres, pagination → canonical vers l'URL propre.
4. Réduire les redirections en chaîne
A → B → C → D coûte 4 requêtes. Mettez à jour A → D directement.
5. Corriger les erreurs 404
Chaque 404 est une requête de crawl gaspillée. Redirigez ou supprimez les liens internes pointant vers des 404.
6. Améliorer la vitesse de votre serveur
Un serveur lent = Google crawle moins (pour ne pas le surcharger). Objectif : temps de réponse < 200ms.
7. Sitemap XML propre
N'incluez dans votre sitemap que les pages indexables et à valeur ajoutée. Pas les pages noindex, les redirections, les 404.
Erreurs fréquentes qui gaspillent le crawl budget
- Erreur: URLs de session (
?sessionid=abc) — Impact: Millions d'URLs uniques pour la même page - Erreur: Pages de calendrier infinies — Impact: Ex : /événements/2015/01/ ... /2099/12/
- Erreur: Paramètres de tracking non gérés — Impact:
?utm_source=crée des doublons - Erreur: Liens vers des pages 404 — Impact: Crawl gaspillé sur des erreurs
- Erreur: Contenu paginé sans gestion — Impact: /page/2/ ... /page/500/ pour peu de valeur
Sitemap pour grands sites : segmentation
Pour un site > 10 000 pages, utilisez un sitemap index :
Conclusion
Optimiser le crawl budget, c'est s'assurer que Google explore vos meilleures pages plutôt que de gaspiller son temps sur des URLs sans valeur. Pour un e-commerce belge avec des milliers de produits, c'est souvent ce qui explique pourquoi certaines pages ne sont jamais indexées.
Questions fréquentes
Take action
Interested in applying these strategies to your project?
Our experts apply exactly these methods every day for Belgian and European clients. Get an analysis of your situation within 48 hours.
Also worth reading