Verschil noindex, nofollow en disallow

Maar wat is de noindex nu precies? Wanneer gebruik je de nofollow? En hoe zet je de disallow in?

In dit artikel geef ik je antwoord op al die vragen.

Voordat we beginnen: crawlen vs. indexeren

Binnen SEO zijn de termen crawlen en indexeren ontzettend belangrijk. En het verschil tussen die twee is misschien nog wel belangrijker.

Het zijn echt basiselementen van zoekmachine optimalisatie, dus leg ik ze voor de zekerheid nog even uit.

Ps. Over het verschil tussen crawlen en indexeren hebben we ook een podcats opgenomen.

Dit is crawlen

Crawlen is het ophalen en achterhalen van websites en pagina op het internet. Elke seconde komen er nieuwe pagina’s en nieuwe websites bij. Google moet deze natuurlijk waarderen, maar eerst moet Google überhaupt weten dat ze bestaan.

Google doet dat door middel van de Googlebot. Dat is het spinnetje van Google die het web (letterlijk en figuurlijk) crawlt op zoek naar nieuwe URL’s en domeinen.

De Googlebot volgt alle links op een website om vervolgens te beoordelen uit welke pagina’s een website bestaat.

Dat is dus het crawlen. Met andere woorden, het meenemen van alle URL’s en websites.

Dit is indexeren

Als Google het bestaan van een pagina weet, dan moet het algoritme deze natuurlijk nog wel doorlezen, de inhoud doornemen en meenemen in de indexatie / database. 

Google zal de pagina als het ware doorlezen, zodat ze weet waar je pagina over gaat.

Dan weet de zoekmachine namelijk bij welk zoekwoord je artikel het best past.

Eerst crawlen, dan pas indexeren

Als je de bovenstaande uitleg hebt gelezen, dan weet je dat Google eerst langs moet komen voordat je meegenomen kan worden.

Je website moet dus eerst gecrawld worden en dan pas geïndexeerd.

Dat is ontzettend belangrijk om te onthouden. Waarom? Daar kom je zo achter ;-).

Wat is noindex?

De noindex is een element dat in je HTML staat (ook wel meta tag genoemd) en waarmee je aangeeft dat je pagina (of website) niet geïndexeerd mag worden.

Met een noindex tag zeg je tegen Google dat je niet meegenomen wilt worden in de indexatie. Je pagina zal dan niet te vinden zijn in Google.

Maar dat betekent nog steeds dat de pagina wel gecrawlt mag worden.

Wat is nofollow?

Wanneer je rel=”nofollow” toevoegt aan een link, zeg je eigenlijk tegen Google: ‘Ik wil dat je deze pagina geen waarde geeft, ‘m niet crawlt en ‘m niet indexeert’.

Vroeger hield Google zich daar altijd aan, maar sinds ongeveer een jaar ziet Google dit als een advies. En dat betekent dat Google je advies ook kan negeren.

De nofollow komt vooral om de hoek kijken als je links plaats naar andere websites. Dan wil je namelijk je waarde niet weggeven. Nofollow links worden intern bijna niet gebruikt.

Wat is disallow?

Een disallow moet je in de robots.txt van je website zetten. Daarmee geef je aan dat Google een pagina (of je hele website) niet mag crawlen.

Dit betekent dus dat Google haar spinnetje (de Googlebot) niet langskomt.

Maar Google haar spinnetje kan ook op andere manieren binnenkomen. Bijvoorbeeld via een andere website. En dus kan je pagina nog steeds wel geïndexeerd worden.

Zo. Nu ik ze alle drie heb uitgelegd, snap je waarom het verschil tussen crawlen en indexeren zo belangrijk is.

Wat is het verschil tussen de noindex, nofollow en disallow?

Het verschil kan je nu misschien nu zelf ook bedenken:

• Een noindex zorgt ervoor dat je pagina niet wordt meegenomen in de indexatie, maar ondertussen nog wel gecrawld kan worden.
• Een nofollow kan je meegeven aan een link en daarmee kan je Google adviseren een externe link niet te crawlen en niet te indexeren.
• Een disallow zorgt ervoor dat Google een pagina niet crawlt, maar de pagina kan dan nog steeds wel geïndexeerd worden

Wanneer gebruik je de noindex, de nofollow en de disallow?

Er zijn natuurlijk veel variabelen die bepalen welke je nou moet gebruiken. Ik deel een aantal situaties met je die ik al vaak heb meegemaakt (en die dus waarschijnlijk het meest voorkomen):

• Een bedankpagina zet je op noindex, omdat je niet wilt dat deze geïndexeerd wordt. Je wilt niet dat iemand per ongeluk via Google op de pagina komt.
• Een testomgeving waar je een website op bouwt moet op noindex staan én op disallow. Je wilt namelijk niet dat iets of iemand dit ziet. Ook Google niet.
• De inlogomgeving van je website wil je op disallow hebben staan, want je wilt niet dat Google deze crawlt.
• De winkelmand, check-out en account van je WordPress zet je ook op disallow, want je wilt niet dat Google die crawlt.
• Externe links (zeker op pagina’s die belangrijk voor je zijn) moet je altijd een nofollow meegeven. Je wilt namelijk de waarde niet verliezen.
• Externe links naar bijvoorbeeld een pagina die wel belangrijk voor je is, wil je niet voorzien van een nofollow.

Hoe stel je de noindex, nofollow en disallow in (met WordPress)?

Het instellen van de noindex, nofollow en de disallow zijn voor elk CMS verschillend, dus dat kan ik in dit artikel niet uitleggen.

WordPress is het meest gebruikt CMS, de meeste klanten van OMA hebben WordPress en als ik je laat zien hoe (makkelijk) het is binnen WordPress, dan kan je het vast ook binnen jouw CMS.

Of je stuurt je developer dit artikel even door, dan weet hij vast wel hoe het moet.

Noindex toevoegen op een pagina met WordPress

Dit kan je doen door binnen je SEO-plugin (in ons geval Yoast) de pagina op noindex te zetten.

Noindex toevoegen aan je gehele website met WordPress

Dit kan je doen door onder Instellingen en Lezen het vinkje bij ‘zoekmachine zichtbaarheid’ aan te zetten.

Nofollow toevoegen aan een link met WordPress

Een nofollow voeg je toe door het schuifje ‘zoekmachines zouden deze link moeten negeren – als nofollow markeren’ aan te zetten.

Disallow toevoegen binnen WordPress

Een disallow moet je toevoegen binnen je robotst.txt. De robots.txt wordt vaak gegenereerd door je SEO-plugin. Bij ons is dat dus Yoast.

Je vindt de robotst.txt binnen Yoast onder het kopje Gereedschap en dan bij Bestandsbewerker.