Crawlen

Crawlers zijn zoekmachinesoftware bots die je site verkennen om de inhoud te indexeren. Bij crawlen wordt de relevante informatie opgenomen in de zoekmachine door de bot. Een website waar niet goed op gecrawld kan worden is slechter vindbaar in de zoekmachine. Daarom is het belangrijk dat je website ook duidelijk is voor crawlers en niet alleen voor bezoekers. Wanneer crawlers je website indexeren kijken deze naar de inhoud en kwaliteit van je website en pagina’s. Op basis van autoriteit, frequentie van updates en populariteit zal je website minder vaak of juist vaker bezocht worden. Daarom is het voor je zoekmachine optimalisatie van belang dat je website goed te crawlen is.

Linkstructuur

Een crawler moet zo makkelijk mogelijk over jouw website kunnen bewegen. Op jouw website beweegt een bot over de pagina’s door het volgen van externe links. Op basis van hoe makkelijk een bot over je website beweegt wordt er geïndexeerd. Om dit te optimaliseren is het verstandig een goede linkstructuur te maken. Dit doe je door:

• txt – Je kan ervoor kiezen om gedeeltes van je pagina uit te sluiten voor crawlers. Dit doe je door crawlbeperkingen in het robots.txt bestand te zetten
• Linkbuilding – Zoveel mogelijk links vanaf andere websites laten linken naar pagina’s op jouw website. Deze verwijzende links worden backlinks genoemd. Dit verbetert je positie in Google als het goed geïmplementeerd wordt
• Backlinks – Links die verwijzen naar jouw website. Niet elke link heeft een positief effect op je Google positie, dit hangt af van verschillende factoren
• Waarde backlink – De waarde is afhankelijk van relevantie, tekst, autoriteit, betrouwbaarheid, de locatie en ‘Follow’ of ‘No Follow’

Crawlbudget

Google bepaalt door middel van het crawlbudget hoe lang de crawlers over je website crawlen. Des te hoger je budget, hoe langer Google de tijd neemt. Grote ondernemingen hebben vaak een hoog budget en een sterk team om de website te optimaliseren. Maar als je een kleine onderneming bent is het verstandig om je website zo crawlbaar mogelijk te maken om deze kosten te verminderen en hoger te scoren in de zoekmachine. In Google Webmaster Tools is een speciale crawlcategorie gemaakt waarin functies staan die je meer vertellen over crawlfouten, statistieken en sitemaps. Een crawlfout is een gebroken link. Een gebruiker krijgt dan een 404 foutmelding te zien. Dit veroorzaakt verlies van belangrijke linkwaarde en crawlbudget aan verkeerde pagina’s.