Crawl budget

Ook wel: Het aantal dagelijks geïndexeerde pagina’s van een website

Crawl budget is een term die betrekking heeft op de hoeveelheid webpagina’s die dagelijks geïndexeerd worden door crawlers van Google, de zoekmachine software bots. Het crawlen van deze bots (ook wel spiders genoemd) is van groot belang om de inhoud van de verschillende webpagina’s (en de website in z’n algemeenheid) te indexeren. Hiervoor crawlt Google dagelijks een aantal pagina’s op de website. Dit aantal wordt “het crawl budget” genoemd. Het crawl budget kan dagelijks iets variëren. Deze variatie neemt over een lange termijn echter af als Google (of een andere zoekmachine zoals Bing) alle pagina’s goed gevonden heeft en weet waar deze pagina’s geplaatst kunnen worden.

Beïnvloedende factoren op een crawl budget

Er zijn een aantal beïnvloedende factoren op een crawl budget. Vooral de grootte van een website (het aantal pagina’s), het aantal bezoekers op het platform en het aantal links naar de betreffende website toe spelen een belangrijke rol hierin. Ook de snelheid van de website speelt een belangrijke rol hierin. Een Googlebot heeft tijd nodig om een pagina te indexeren als deze tijd wordt teruggebracht hebben de bots meer gelegenheid om de volledige website te crawlen. Een andere factor is een 404 pagina. Op het moment dat de bots van Google op zo’n doodlopende pagina uitkomen, heeft dit negatieve gevolgen voor je crawl budget. Tot slot is duplicate content (identieke content op meerdere pagina’s) niet bevorderlijk voor een crawl budget. Dit heeft immers als gevolg dat het indexeren twee (of meerdere keren) langer zal duren dan het geval hoeft te zijn. Via search console (een webmaster tool) kun je op een eenvoudige manier het crawl budget voor een pagina terugvinden.