Disallow

Disallow is een onderdeel van een robot.txt bestand. Wanneer een bot of crawler je website indexeert gaat deze eerst het robot.txt bestand na. Een crawler of bot zijn tools van zoekmachines die je website langsgaan om bijvoorbeeld te meten hoe SEO vriendelijk je site is. Een robot.txt bestand ziet er als volgt uit:

• User-agent: [naam van user-agent]
• Disallow: [URL querystring die niet gecrawld moeten worden]

Wanneer een regel begint met ‘user-agent’ weten de zoekmachine-bots dat ze zich moeten houden aan de regels die eronder staan. ‘Disallow’ geeft aan dat de crawlers een bepaalde pagina, bestanden of mappen niet mogen bezoeken.

Disallow en allow

Je kan ervoor kiezen om alle pagina’s op je website op ‘Allow’ te zetten, dan worden alle pagina’s gescand/gecrawld. Door ‘Disallow’ in te zetten bepaal je dus welke pagina er niet gescand/gecrawlt mogen worden. Als je een volledige ‘Disallow’ inzet, waarbij er geen één pagina of map gecrawlt mag worden, kan je een lagere positie in Google krijgen. Dit is omdat je na de homepagina geen andere pagina’s gescand mogen worden.

Daarom is het verstandiger om specifieke ‘Disallow’ in te voeren. Achter ‘Disallow’ kan je specificeren welke mappen en/of pagina’s je niet gecrawlt wilt hebben op je site. Het enige wat je hiervoor hoeft te doen is de ‘/tekst/’ achter de URL in te voeren na ‘Disallow:’. Het voordeel van ‘Disallow’ is dat je specifieker kan meten op je website. Let er echter wel op dat je de juiste pagina’s, bestanden en mappen invult om de indexatie van je website goed te laten verlopen.

Robot.txt feiten

Om goed gebruik te maken van Disallow op je website zijn er een aantal belangrijke feiten van het Robot.txt bestand:

• Het robot.txt bestand moet op hetzelfde niveau als de index.php te vinden zijn om als eerste bezocht te worden door zoekmachine-bots
• Als er op een ‘Disallow’ pagina externe links staan kan deze door zoekmachines toch geïndexeerd worden
• Let goed op de verwijzingen die je maakt in het robot.txt bestand, anders kan het leiden tot rankingverlies in de zoekmachine
• In Google Webmaster Tools kan je het robot.txt bestand testen op fouten