Wat is crawlen en indexeren?

SEO-specialist

Quinten Teunissen

Oprichter van IQ Online met 9+ jaar ervaring in SEO en linkbuilding.

Het lijkt vanzelfsprekend dat een nieuwe pagina vanzelf in Google komt, maar in de praktijk gaat het hier vaak mis. Daarom is het goed om beide stappen te begrijpen, zodat je weet waar je op moet letten als een pagina maar niet wil verschijnen in de zoekresultaten.

De twee stappen

Bij crawlen bezoekt Google je pagina via links en leest de inhoud, zo ontdekt het welke pagina’s bestaan en waar ze over gaan. Pas daarna volgt indexeren: Google verwerkt de pagina en slaat hem op in zijn index. Pas op dat moment kan de pagina daadwerkelijk in de zoekresultaten verschijnen. Crawlen is dus vinden, indexeren is opslaan, en het gebeurt niet automatisch allebei. Google kan een pagina crawlen en toch besluiten die niet te indexeren, bijvoorbeeld als de inhoud te dun is, sterk lijkt op een andere pagina op je site, of als jij zelf via een instelling hebt aangegeven dat de pagina niet opgenomen mag worden.

Waarom dit belangrijk is

Een pagina die niet geindexeerd is, kan nooit gevonden worden, hoe sterk je content ook is. Daarmee is een goede indexatie de basis van alle SEO: zonder indexatie heeft de rest van je optimalisatie geen enkel effect. Pagina’s die per ongeluk geblokkeerd zijn, op noindex staan of nergens naartoe gelinkt worden, blijven onzichtbaar in de zoekresultaten, ook al staat er prima content op.

Hoe help je Google je site te verwerken?

Een aantal praktische stappen helpt Google je site goed te crawlen en indexeren. Een XML-sitemap is een lijst met je belangrijke pagina’s die je indient via Google Search Console. Interne links zorgen dat elke pagina via links bereikbaar is, want zonder verwijzing kan een crawler een pagina nooit vinden. Controleer ook je robots.txt, zodat je hierin geen belangrijke pagina’s per ongeluk blokkeert. En in Google Search Console zie je precies welke pagina’s wel en niet geindexeerd zijn, en waarom niet.

Een veelgemaakte fout is een onbedoelde noindex of een verkeerde canonical URL, waardoor Google denkt dat een andere versie van de pagina de voorkeur heeft. Wil je dit grondig laten nakijken, dan hoort het bij de technische SEO checklist.