Indexeren: wat in de index komt en wat niet

Module 1: Hoe zoekmachines werken · Leestijd: 11 minuten

Leerdoel: Na deze les kun je voor een pagina beoordelen of hij in de index kan komen, en zo niet, welk van de vier "sloten" hem tegenhoudt: de statuscode, robots.txt, noindex of de canonical.

Kernbegrippen: indexeren, technische eisen van Google, noindex (meta robots en X-Robots-Tag), robots.txt is geen noindex, canonicalisatie, dubbele inhoud, soft 404, "gecrawld, momenteel niet geïndexeerd", "gevonden, momenteel niet geïndexeerd", geen garantie

Wat er bij het indexeren gebeurt

Nadat de crawler een pagina heeft opgehaald (les 1.2), gaat de zoekmachine hem lezen. Google analyseert de tekst, de titel, de koppen, afbeeldingen en video's, en bepaalt in welke taal de pagina is. Ook zoekt Google uit of de pagina een kopie is van een andere pagina, en welke van die kopieën de "echte" is. Pas daarna beslist Google of de pagina in de index komt.

Google zegt daar twee dingen over die je goed moet onthouden:

• Opname is niet gegarandeerd. Ook als je pagina aan alle eisen voldoet, kan Google besluiten hem niet op te nemen.
• Het is normaal dat niet alles is opgenomen. Google schrijft in de hulp bij het indexeringsrapport letterlijk dat je niet moet verwachten dat elk adres van je site geïndexeerd is, en dat dat prima kan zijn. Het gaat om je belangrijke pagina's.

De drie technische eisen

Google noemt drie technische eisen om in aanmerking te komen voor de index:

1. Googlebot wordt niet geblokkeerd. De pagina is bereikbaar en robots.txt verbiedt het ophalen niet.
2. De pagina werkt. De server geeft statuscode 200, geen fout.
3. De pagina heeft indexeerbare inhoud. Tekst in een bestandssoort die Google kan lezen, en geen schending van het spambeleid.

Daar komen in de praktijk twee keuzes van de site-eigenaar bij: een noindex ("neem dit niet op") en een canonical die naar een ander adres wijst ("niet deze, maar die"). Samen geeft dat vier sloten waar een pagina doorheen moet.

Slot 1: de statuscode

Alleen een pagina met status 200 kan in de index komen. Een 301 of 308 stuurt de zoekmachine door naar het nieuwe adres; dat nieuwe adres wordt dan beoordeeld. Een 404 of 410 haalt een eerder opgenomen adres uit de index.

De lastige variant is de soft 404 uit les 1.2: status 200, maar de inhoud is een foutmelding of een bijna lege pagina. Google herkent dat vaak en neemt zo'n pagina niet op. Ook een lege categoriepagina in een webwinkel ("geen producten gevonden") kan als soft 404 worden gezien.

Slot 2: robots.txt

Met robots.txt verbied je een crawler om een pagina op te halen. Dat is iets anders dan verbieden om hem op te nemen. Google is daar duidelijk over: robots.txt is geen manier om een pagina uit Google te houden. Linken andere sites naar een geblokkeerde pagina, dan kan het adres toch in de resultaten verschijnen, alleen zonder beschrijving. In Search Console heet dat "Geïndexeerd, hoewel geblokkeerd door robots.txt".

Robots.txt is bedoeld om het crawlverkeer te sturen: bijvoorbeeld om te voorkomen dat een crawler duizenden zoekresultaatpagina's van je eigen site afloopt. Les 3.3 gaat er dieper op in.

Slot 3: noindex

Wil je echt dat een pagina niet in de zoekresultaten komt, gebruik dan noindex. Dat kan op twee manieren, met hetzelfde effect:

<!-- in de <head> van de pagina -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

De tweede is een HTTP-kopregel die de server meestuurt. Die werkt ook voor bestanden die geen HTML zijn, zoals een pdf. De waarde none betekent hetzelfde als noindex, nofollow. Met <meta name="googlebot" content="noindex"> geldt de regel alleen voor Google; andere zoekmachines kunnen een algemene regel anders uitleggen.

Nu komt de valkuil die heel vaak voorkomt: noindex en een blokkade in robots.txt samen werken niet. Als robots.txt de pagina blokkeert, haalt Google hem niet op, en ziet Google de noindex dus nooit. De pagina kan dan via links van anderen toch in de index komen. Wil je een pagina uit Google hebben: laat hem ophalen en zet er noindex op.

Waar kom je noindex onbedoeld tegen?

• In WordPress staat bij Instellingen, Lezen het vinkje "Zoekmachines ontmoedigen deze site te indexeren". Dat zet een noindex op de hele site. Handig tijdens het bouwen, rampzalig als je het vergeet uit te zetten.
• In de AI Builder kun je een site of pagina op "niet indexeren" zetten; dan komt er een noindex, nofollow in de pagina. Ook een gratis demo-site wordt nooit geïndexeerd.
• Een SEO-plugin of thema met een verkeerde instelling per pagina of per soort pagina.

Andere websitebouwers hebben vergelijkbare schakelaars, vaak met een naam als "verbergen voor zoekmachines".

Slot 4: de canonical

Veel sites hebben dezelfde pagina onder meer adressen: met en zonder www, met http en https, met een parameter erachter zoals ?utm_source=nieuwsbrief. Google kiest uit zulke groepen één adres als canonieke versie, en toont alleen dat adres in de resultaten. De andere zijn duplicaten.

Je kunt Google helpen kiezen met een doorsturing (een sterk signaal) of met een canonical-verwijzing in de pagina:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

Een canonical is een signaal, geen bevel: Google kan een ander adres kiezen. Wijst je canonical naar een ander adres, dan zegt de pagina zelf: "neem mij niet op, maar die andere". Dat is goed als het klopt, en een probleem als het een vergissing is, bijvoorbeeld als elke pagina naar de homepage wijst. Les 3.5 gaat hier verder op in.

Dubbele inhoud op je eigen site is volgens Google geen schending van het spambeleid en leidt niet tot een handmatige actie. Het is wel inefficiënt: crawlers halen hetzelfde vaker op, en jij bepaalt niet zelf welk adres er in de resultaten staat.

De meldingen in Search Console

In het rapport Pagina's van Search Console (les 2.4) zie je per niet-geïndexeerde pagina een reden. De vier sloten komen er allemaal in terug:

De laatste twee zijn geen technische fout. "Gecrawld, momenteel niet geïndexeerd" komt veel voor; Google zegt dat het niet altijd een probleem is. Gaat het om een belangrijke pagina, kijk dan of hij echt iets toevoegt: een unieke, nuttige pagina heeft meer kans dan een dunne pagina die op tien andere lijkt.

Samenvatting

• Na het crawlen beslist de zoekmachine of een pagina in de index komt; dat is nooit gegarandeerd en niet alles hoeft erin.
• Vier sloten: status 200, niet geblokkeerd in robots.txt, geen noindex, canonical afwezig of naar zichzelf.
• robots.txt verbiedt ophalen, geen opname. Gebruik noindex om iets uit de resultaten te houden, en blokkeer die pagina dan niet in robots.txt.
• Een canonical is een sterk signaal, geen bevel. Dubbele inhoud is geen spam, wel inefficiënt.
• "Gecrawld, momenteel niet geïndexeerd" is geen technische fout; kijk naar de waarde van de pagina.

Quiz

Opdracht

Opdracht A1.3: Mag deze pagina in de index? Vul het adres van een pagina in (een pagina van je eigen site, of een pagina die je bewust verbergt, zoals een bedankpagina). Kies daarna je verwachting: "mag in de index" of "mag niet in de index", en als je "mag niet" kiest, welk slot hem tegenhoudt (statuscode, robots.txt, noindex, canonical naar ander adres). Het programma loopt de vier sloten na zoals in deze les en zet zijn uitkomst naast de jouwe.

Verder lezen

• Google, Technische eisen van Google Zoeken: https://developers.google.com/search/docs/essentials/technical
• Google, Indexering blokkeren met noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introductie tot robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Dubbele URL's samenvoegen (canonicalisatie): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Google Search Console-hulp, Rapport Indexering van pagina's: https://support.google.com/webmasters/answer/7440203
• Gratis WordPress-cursus 9.2: Vindbaarheid: de basis