logo
Crawl budget is het aantal pagina’s dat een zoekmachine zoals Google binnen een bepaalde periode van jouw website crawlt. Bij kleinere websites is dit zelden een probleem, maar bij grotere sites met duizenden pagina’s kan een beperkt crawl budget ervoor zorgen dat belangrijke pagina’s minder snel of helemaal niet worden gecrawld.
Waarom crawl budget vooral bij grotere websites speelt
Zoekmachines besteden niet oneindig veel tijd en capaciteit aan één website. Gaat het grootste deel van dat budget op aan onbelangrijke of dubbele pagina’s, dan blijft er te weinig over om nieuwe of bijgewerkte content snel te crawlen en indexeren.
Hoe optimaliseer je je crawl budget?
Zorg voor een overzichtelijke sitestructuur, blokkeer onbelangrijke pagina’s via robots.txt, voorkom duplicate content en houd je XML-sitemap actueel. Zo besteedt Google zijn tijd aan de pagina’s die er echt toe doen.
Hoeveel crawl budget heb je zelf nodig?
Voor de meeste kleine en middelgrote websites, met een paar tientallen tot enkele honderden pagina’s, is crawl budget zelden een echt knelpunt. Pas bij grotere websites met duizenden of tienduizenden pagina’s, zoals grote webshops, wordt het de moeite waard om hier gericht op te sturen.
Crawl budget zien in Search Console
Onder “Crawlstatistieken” in Google Search Console zie je hoeveel pagina’s Google dagelijks van je website crawlt, hoe de serverresponstijd is en welk type bestanden het meest wordt opgehaald. Een plotselinge daling in crawlactiviteit, terwijl je site groeit, kan wijzen op een crawl budget dat niet meer toereikend is of op technische problemen die de crawler afremmen.
Crawl budget verspillen aan broken links
Een veelvoorkomende, onnodige verspilling van crawl budget zijn broken links die naar niet-bestaande pagina’s verwijzen. Elke keer dat Google zo’n link probeert te volgen, kost dat tijd en capaciteit die net zo goed aan een waardevolle pagina besteed had kunnen worden. Een periodieke check op broken links en oude redirectketens is dan ook een simpele, laagdrempelige manier om je crawl budget efficienter te benutten, vooral naarmate een website groeit.
