logo
Robots.txt is een tekstbestand op je website dat zoekmachines vertelt welke delen van de site ze wel en niet mogen bezoeken. Het is een van de eerste dingen die een crawler raadpleegt.
Elke website kan een robots.txt-bestand hebben, te vinden op jouwdomein.nl/robots.txt. Voordat een zoekmachine je pagina’s gaat crawlen, checkt hij eerst dit bestand om te zien of er gebieden zijn die hij moet overslaan, zoals een inlogpagina of een testomgeving.
Waarvoor gebruik je het?
Robots.txt is vooral bedoeld om crawlers weg te houden bij pagina’s die geen waarde toevoegen in de zoekresultaten, zoals een winkelmandje, een zoekresultatenpagina op je eigen site, of interne systeembestanden. Zo bespaar je crawlcapaciteit voor de pagina’s die er echt toe doen. Het is nadrukkelijk geen manier om een pagina uit Google te houden die al bekend is; daarvoor gebruik je een noindex-instelling.
Waar moet je op letten?
Een verkeerd ingesteld robots.txt-bestand kan grote schade aanrichten: blokkeer je per ongeluk je hele website of belangrijke pagina’s, dan kan Google die niet meer crawlen en verdwijnen ze op termijn uit de zoekresultaten. Controleer daarom regelmatig, zeker na een website-update, of het bestand nog klopt. Dit is precies het soort controle dat bij een goede technische SEO checklist hoort.
Hoe test je je robots.txt?
Voordat je wijzigingen doorvoert, is het verstandig om te controleren of het bestand doet wat je bedoelt. Je kunt de inhoud gewoon opvragen via jouwdomein.nl/robots.txt en handmatig nalopen welke regels er staan. Een robots.txt bestaat uit simpele instructies zoals “User-agent” (voor welke crawler de regel geldt) en “Disallow” (welk pad geblokkeerd wordt), eventueel aangevuld met een verwijzing naar je XML-sitemap. Twijfel je of een specifieke pagina per ongeluk geblokkeerd wordt, controleer dat dan in Google Search Console, waar je kunt zien of een pagina succesvol gecrawld is.
Robots.txt versus noindex
Robots.txt en een noindex-instelling worden vaak door elkaar gehaald, maar doen iets anders. Robots.txt voorkomt dat een crawler een pagina bezoekt; noindex zorgt ervoor dat een pagina die wel bezocht mag worden, niet in de zoekresultaten verschijnt. Blokkeer je een pagina via robots.txt die je eigenlijk wilt uitsluiten van Google, dan kan de pagina soms toch zonder inhoud in de resultaten verschijnen, omdat Google ‘m nooit heeft kunnen crawlen om de noindex-instructie te lezen.
