Google crawlers: hoe werken de verschillende Googlebots?

Wat zijn Google crawlers?

Google crawlers zijn te vergelijken met allemaal kleine spinnetjes die je website gaan doorzoeken. Het doel van deze Googlebots is om zoveel mogelijk informatie over een website te verkrijgen. Door iedere pagina grondig te onderzoeken probeert Google een zo goed mogelijk beeld te krijgen van de inhoud van je website. Door al deze gegevens te beoordelen bepaalt Google vervolgens welke websites en pagina’s het meest geschikt zijn voor specifieke zoektermen en welke websites ze dus het hoogst willen plaatsen in de SERP.

Welke Googlebots crawlen jouw website?

Deze Googlebots gebruikt Google om de inhoud op je website te lezen:

• Googlebot Smartphone: Voor veel websites geldt dat meer dan 50% van de bezoekers afkomstig is vanaf een mobiel apparaat. Om mobiele gebruikers een optimale ervaring te bieden, heeft Google hiervoor een aparte smartphone bot gelanceerd. Deze Googlebot kijkt specifiek of bepaalde pagina’s en onderdelen op een website zijn geoptimaliseerd voor mobiele gebruikers. Is dit niet het geval, dan zal Google deze pagina’s waarschijnlijk lager tonen in de zoekresultaten wanneer er via mobiele telefoon naar wordt gezocht.
• Googlebot Desktop: Samen met Googlebot Smartphone is dit de grootste crawler die door Google wordt gebruikt. Waar de Googlebot Smartphone echter specifiek kijkt of de inhoud is geoptimaliseerd voor mobiel gebruik, kijkt deze bot juist naar de optimalisatie voor op desktop. Een pagina die niet geoptimaliseerd is voor op desktop zal door deze bot dus minder goed scoren in de zoekresultaten vanaf desktop.
• Googlebot Image: Deze crawler is speciaal gelanceerd om het web af te zoeken naar afbeeldingen. Het doel van deze bot is om afbeeldingen niet alleen op te speuren, maar ook om de functie en context van de afbeelding te achterhalen. Met die informatie beoordeelt Googlebot Image vervolgens hoe relevant een afbeelding is voor een bepaalde zoekterm.
• Googlebot Video: Deze Google crawler is gespecialiseerd in het onderzoeken van video’s. Net als bij de Googlebot Image kijkt deze bot niet alleen naar de aanwezigheid van een video, maar onderzoekt hij ook de grootte en de context van de video. Op basis van deze gegevens wordt vervolgens de kwaliteit en relevantie van de video bepaald.
• Google Storebot: Deze Googlebot crawlt alle pagina’s die gerelateerd zijn aan een webshop. Hierbij gaat het om productpagina’s, winkelwagens, betaalpagina’s en ga zo maar door. Google Storebot probeert alle stappen in het aankoopproces van een bezoeker te doorlopen en zo informatie in te winnen over prijzen, betaalmethodes, levering en service.
• Google Inspection tool: Dit is de crawler die in verschillende tools wordt gebruikt voor test resultaten. Voorbeelden hiervan zijn de Rich Result Test en de URL-inspectie in Google Search Console.
• GoogleOther: GoogleOther wordt intern door Google gebruikt. De reden van de lancering van deze crawler is om de andere Googlebots te ontlasten en zo crawlcapaciteit vrij te maken.
• Google Extended: Google Extended is een op zichzelf staand product dat kan worden gebruikt om aan te geven of een website mag worden gebruikt voor het verbeteren van generatieve API’s van Gemini Apps en Vertex AI. Google Extended heeft geen invloed op de opname of positionering van een website in zoekresultaten.
• AdsBot Google: Deze crawler crawlt alle pagina’s die worden gebruikt in je GoogleAds advertenties. Hierbij wordt gekeken naar de kwaliteit van de landingspagina om uiteindelijk te bepalen hoe relevant de pagina is ten opzichte van de intentie van het zoekwoord waarop geadverteerd wordt.

Hoe kan ik deze Googlebots weren?

Als je niet wil dat Googlebots jouw pagina(‘s) crawlen, kun je dit aangeven in de robots.txt. Hier kun je aan de hand van een “disallow” per crawler aangeven dat Google de hele website of bepaalde pagina’s niet hoeft te bekijken. Dit kun je doen bij pagina’s die volgens jou niet belangrijk zijn. Door deze pagina’s uit te sluiten van het crawlproces, blijft er namelijk meer crawlbudget over voor de pagina’s die wel belangrijk zijn.

Let op: het weren van crawlbots kan grote gevolgen hebben voor de prestaties van je website. Blokkeer je bijvoorbeeld de GoogleAds bot, dan zullen je Google Ads advertenties vanaf dat moment niet meer worden getoond. Denk dus goed na voordat je een Googlebot weert!

Crawl-statistieken bekijken

Achter de schermen gebeurt er dus een hele hoop op je website. Gelukkig is het mogelijk om inzicht te krijgen in de crawlactiviteiten van deze Googlebots. Je vindt de crawlstatistieken namelijk terug in Google Search Console. Hierin kun je precies zien welke Googlebots er op je website zijn geweest, wat hun doel was, welke inhoud ze hebben bekeken en tegen welke statuscodes de Googlebots zijn aangelopen.

Vooral dit laatste resultaat is interessant om in de gaten te houden. Je wilt namelijk dat jouw crawlbudget zo efficiënt mogelijk wordt ingezet en de Googlebot zo veel mogelijk statuscode-200 pagina’s crawlt.

Meer weten?

In ons blog: Crawlstatistieken in Search Console: wat je erover moet weten gaan we dieper in op de verschillende crawlstatistieken die in Google Search Console worden getoond.