Google crawlers: hoe werken de verschillende Googlebots?
![](https://onlinemarketingagency.nl/wp-content/uploads/2024/04/Foto-Gido-Oma.jpg)
Dan blijkt dat het aantal ineens immens gezakt is ten opzichte van vorige weken. Vervolgens probeer je te achterhalen hoe hoog je in Google staat.
En wat blijkt? Je bent bijna nergens meer te vinden in Google…
Sh*t! Hoe kan dat?
Daar gaan we achter komen. Deze checklist helpt je om te achterhalen wat de oorzaak achter de daling is geweest!
De eerste stap is om te achterhalen of je posities hebt verloren of dat je simpelweg niet meer in Google te vinden bent. Door in Google ‘site:jouwwebsite.nl’ in te typen, kan je zien welke pagina’s door Google zijn geïndexeerd.
Staan hier nauwelijks of geen pagina’s van jouw website? Dan ben je dus verdwenen uit de zoekresultaten.
Zijn je pagina’s niet verdwenen? Kijk dan op de termen waarop je gevonden werd en achterhaal op welke plek je staat.
Sta je nu op pagina 5 terwijl je eerst op plek 2 stond? Dan is je pagina gezakt.
Wanneer je online iets aan je website doet wat de richtlijnen van Google schaadt dan kan het zijn dat Google je een penalty heeft gegeven.
Een penalty tégen, voor de duidelijkheid. Dit kan bijvoorbeeld gebeuren wanneer je veel links naar je website hebt gekocht, misbruik maakt van rich snippets-markeringen of door het misleiden van de bezoekers.
Het achterhalen of je een penalty hebt gekregen is vrij simpel, mits je Google Search Console voor je website hebt. Heb je dat niet?
Lees dan eerst het artikel dat ik geschreven heb over Google Search Console.
Terug naar het achterhalen van de penalty. Wanneer je een penalty hebt gekregen dan zie je een bericht staan waarin Google meldt voor welke overtreding je een penalty hebt gekregen en wat je moet doen om het op te lossen.
PS. Een penalty kan ervoor zorgen dat je zakt in Google, maar ook dat je niet meer te vinden bent in Google.
De robots.txt kun je zien als de handleiding van je website Met de robots.txt kan je namelijk tegen de zoekmachines vertellen welke je pagina’s wel en welke pagina’s je niet geïndexeerd wilt hebben.
Zoekmachines kunnen in bepaalde gevallen de robots.txt negeren, net zoals jij de handleiding van de Ikea kunt negeren (niet aan te raden overigens!).
Wanneer er een fout is gemaakt in de handleiding van je website, kan het dus maar zo zijn dat je website niet meer wordt geïndexeerd.
De robots.txt van je website vind je (als je die hebt) wanneer je de URL van je website intypt in de browser met /robots.txt er achter.
Bij mij zou dat dus zijn: https://onlinemarketingagency.nl/robots.txt. Zie je hier bijvoorbeeld Disallow: / staan of Disallow: /blog staan?
Dan is dat de reden dat je website, of delen van je website niet meer worden geïndexeerd. Voor het aanpassen van de robots.txt heb je ook enige kennis nodig.
Daarom adviseer ik om dan je SEO-specialist of websitebouwer te vragen dit aan te passen.
Naast dat je website een handleiding heeft, heeft je website ook een soort plattegrond. Dit wordt de sitemap genoemd.
In een sitemap vertel je aan Google welke URL iedere pagina heeft. Je kan de sitemap daarom ook zien als een soort inhoudsopgave.
Maar genoeg over zijn functie. Als je een sitemap hebt, vind je ‘m wanneer je de URL van je website intypt in de browser met /sitemap_index.xml of /sitemap.xml erachter.
Bij mij zou dat dus zijn: https://onlinemarketingagency.nl/sitemap_index.xml. Op het moment dat de pagina waarop je flink bent gezakt in Google niet in je sitemap staat, dan is het hoog tijd om die toe te voegen.
Google kan namelijk de pagina niet goed crawlen, omdat hij niet zo goed weet waar de pagina te vinden is. Als je de sitemap toe hebt gevoegd in Search Console, dan kan je ook zien wat de status daarvan is en hoeveel webpagina’s en afbeeldingen geïndexeerd zijn.
De noindex is echt de grootste SEO killer die je maar kan hebben. Op het moment dat je website op noindex staat, dan wordt hij gewoon niet geïndexeerd.
Dan ben je dus echt niet in Google te vinden, ondanks dat je sitemap en robots.txt volledig zijn en geen fouten bevatten. Het enge van noindex kan zijn is dat het maar 1 klik kost om de gehele website op noindex te hebben staan.
En dat terwijl de noindex verreweg de grootste impact kan hebben op je vindbaarheid. Dit is in het verleden ook fout gegaan bij grote organisaties.
Zoals Transavia of bij de restyling van de website van de Rabobank. Maar hoe controleer je of je website op noindex staat?
Heel simpel! Ga naar de Noindex Checker van Seositecheckup en kijk of je website op noindex staat.
Ben je kortgeleden overgestapt van http://www.jouwwebsite.nl naar bijvoorbeeld https://jouwwebsite.nl en is je website dus voorzien van een SSL certificaat?
Of is misschien de URL structuur van je website aangepast omdat de websitebouwer een aanpassing heeft gedaan? Dit kunnen redenen zijn dat je bent gezakt in Google.
URL’s hebben namelijk na verloop van tijd een bepaalde waarde. En wanneer je de content verhuist van de oude URL naar een nieuwe URL, dan wil je natuurlijk ook dat je die waarde die je hebt opgebouwd mee gaat.
Dat doe je door het instellen van een redirect. Maar daarnaast kan het ook zijn dat de redirects onjuist zijn ingesteld door je SEO-specialist of door je websitebouwer.
Er kan bijvoorbeeld gebruik gemaakt worden van de verkeerde soort redirect. Eigenlijk adviseer ik altijd om de redirects bespreekbaar te maken met de bouwer of SEO-specialist.
Wil je het toch zelf achterhalen? Kijk dan altijd eerst of een pagina een 404 oplevert.
Dat betekent namelijk dat de URL niet goed is aangepast of niet goed wordt doorgestuurd. Daarnaast moet je website zo zijn ingesteld dat je altijd goed terecht komt, ongeacht of jeje www, non-www, http of https gebruikt.
Test daarom altijd je website op de volgende 4 manieren:
Bron: https://www.j-26.com/blog/how-to-create-a-seo-friendly-redirect/
Linkbuilding is in mijn ogen één van de belangrijkste onderdelen van zoekmachine optimalisatie. En wanneer je in korte tijd veel links erbij krijgt of verliest, dan kan het maar net zo zijn dat je gaat zakken in Google.
Nu denk jij: Huh!? Links erbij krijgen en posities verliezen in plaats van stijgen? Dat klopt!
Wanneer er in een korte tijd veel slechte links worden aangemaakt dan denkt Google: dit is niet natuurlijk en dit mag niet. Het kan bijvoorbeeld zijn dat jouw concurrenten slechte links voor jou hebben gekocht van sites uit bijvoorbeeld China en Rusland met rare en niet relevante thema’s.
Maar aan de andere kant kan het ook voorkomen dat jouw 10 beste links verdwijnen doordat iemand zijn linknetwerk heeft verkocht, verwijderd of heeft aangepast.
Of kan het maar zo zijn dat een aantal gastblogs van jou zijn verwijderd doordat er een online reorganisatie heeft plaatsgevonden.
Kortom, er zijn op het gebied van linkbuilding een tal van redenen waarom je bent gezakt in Google. Mijn advies is: analyseer je linkprofiel met een tool naar keuze en kijk of er grote verliezen of toenames zijn in links.
Google is een zelflerend systeem dat ook zelf aanpassingen aan haar systeem doet. Dit kan ervoor zorgen dat je website zakt of stijgt in Google.
Een voorbeeld van een aanpassing aan het systeem is bijvoorbeeld de gescheiden indexatie van mobiel en desktop. Google heeft deze aanpassing het afgelopen jaar uitgerold en dat kan resulteren in schommelingen in de indexatie.
Wanneer je zakt of verdwijnt uit de Google zoekresultaten adviseer ik ook om meteen op zoek te gaan of Google niet haar algoritme heeft aangepast in de afgelopen dagen.
Dit kan je achterhalen door artikelen te lezen van onder andere Frankwatching, Marketingfacts, Seoroundtable of Searchengineland. Moz heeft ook een erg handige lijst met Google updates.
Die vind je hier.
De reden dat je zakt in Google kan natuurlijk ook zijn omdat je concurrenten vol inzetten op online marketing. Als je op plek 2 stond en je ineens bent ingehaald door 15 concurrenten dan is het natuurlijk erg onlogisch dat alle partijen flink hebben geïnvesteerd in online marketing.
Maar wanneer je in een nichemarkt zit met 2 of 3 aanbieders, dan kan het wel zo zijn dat je beide concurrenten budget hebben vrijgemaakt om online te knallen.
Dit artikel is geschreven op 11 oktober 2018 en geüpdatet op 9 november 2021.
Geschreven door: Daniël Kuipers
Daniël is oprichter van Online Marketing Agency. Hij speurt het internet continu af naar de nieuwste snufjes en tactieken en blogt erover in begrijpelijke taal. Nou ja, soms dan.