De metatag ‘robots’ – meta name robots tag
De metatag robots is een lastige tag omdat hij een heel specifiek doel dient, namelijk zoekmachines vertellen of ze een pagina wel of niet mogen indexeren. Zoekmachines zoeken continu het hele internet af naar webpagina’s die ze kunnen opslaan. Dat gebeurt door zogenaamde ‘spider computers’, ook wel ‘robots’ genoemd.
Een meta tag staat in de broncode van de website en ziet er bijvoorbeeld zo uit:
<meta name=”robots” content=”noindex, nofollow” />
Dit voorbeeld vertelt de zoekmachine twee dingen:
- Je mag deze pagina niet indexeren
- Je mag de linkjes op deze pagina niet volgen
Wanneer deze metatag op iedere pagina van de website staat, zal deze op geen enkele manier terugkomen in de zoekmachine resultaten. Tijdens het ontwikkelen van een nieuwe website wordt deze tag vaak op de website geplaatst om te voorkomen dat Google de site indexeert terwijl deze nog in aanbouw is. Helaas gebeurt het vaak dat bij het live gaan van de nieuwe site de robots tag niet wordt weggehaald, met als gevolg dat de website volledig uit Google verdwijnt. Zet dit bovenaan uw checklist voor het live gaan van een nieuwe website!
Gebruik van “index, follow” is niet nodig
Veel websites bevatten de volgende robots metatag:
<meta name=”robots” content=”index, follow” />
Hiermee wordt zoekmachines vertelt dat ze de site mogen indexeren en de linkjes volgen. Dit is echter totaal overbodig, want dat doen ze sowieso wel, met een frequentie die ze zelf bepalen.
Advies voor de praktijk
Voor de dagelijkse praktijk kunt u de volgende vuistregels hanteren:
- Gebruik <meta name=”robots” content=”noindex, nofollow” /> in websites die nog in aanbouw zijn, maar haal de tag altijd weer weg bij livegang
- Gebruik <meta name=”robots” content=”noindex, follow” /> op pagina’s waarvan u het niet nodig vind om ze in zoekmachines te laten opnemen, zoals een inlog pagina.
- Gebruik geen robots metatag als de pagina gewoon geïndexeerd mag worden
- Gebruik een ‘nofollow’ tag in een hyperlink als u niet wilt dat zoekmachines die link volgen
In een goed CMS kunt u dit allemaal instellen zonder dat u over uitgebreide technische kennis beschikt.