Het rapport Pagina-indexering en de URL-inspectie

Module 2: Search Console, Bing en IndexNow · Leestijd: 13 minuten

Leerdoel: Na deze les kun je in het rapport Pagina-indexering zien welke pagina's niet in de index staan en waarom, één pagina onderzoeken met de URL-inspectie, en weet je wat Indexering aanvragen, Verwijderingen en Handmatige acties wel en niet doen.

Kernbegrippen: rapport Pagina-indexering, geïndexeerd, niet geïndexeerd, redenen, Oplossing valideren, URL-inspectie, Live URL testen, Indexering aanvragen (quotum), door gebruiker aangegeven en door Google geselecteerde canonieke URL, Geteste pagina bekijken, Verwijderingen (tijdelijk), Handmatige acties, Beveiligingsproblemen

Het rapport Pagina-indexering

In les 1.3 las je dat niet elke pagina in de index komt. Het rapport Pagina-indexering (in het menu onder Indexering, Pagina's) laat zien hoe dat voor jouw site uitpakt. Bovenaan staan twee getallen: geïndexeerd en niet geïndexeerd. Daaronder staat de tabel "Waarom pagina's niet worden geïndexeerd", met per reden het aantal pagina's.

Eerst het belangrijkste: het doel is niet dat alles geïndexeerd wordt. Google schrijft zelf dat je moet zorgen dat de canonieke versie van elke belangrijke pagina in de index staat, en dat je geen honderd procent moet verwachten. Een site met tags, filters, zoekpagina's en varianten heeft altijd pagina's die er terecht niet in staan. De vraag is dus steeds: staat er een pagina tussen die er wél in hoort?

De redenen in gewone taal

Daarnaast zijn er twee waarschuwingen: Geïndexeerd, maar geblokkeerd door robots.txt (Google nam het adres op zonder de inhoud te lezen, vaak omdat er links naar wijzen) en Pagina geïndexeerd zonder content.

Klik op een reden om voorbeeldadressen te zien. Heb je iets hersteld, dan kun je Oplossing valideren kiezen. Google controleert dan de bekende adressen met dat probleem opnieuw; dat duurt volgens Google meestal tot ongeveer twee weken. Klik niet steeds opnieuw: wacht tot de validatie geslaagd of mislukt is. Herstellen werkt overigens ook zonder validatie; Google ziet het bij de volgende crawl.

De URL-inspectie: één pagina onder de loep

Bovenaan in Search Console staat een zoekbalk. Plak daar een volledig adres van je site en je krijgt de URL-inspectie. Je ziet eerst wat Google in de index heeft: "URL is geïndexeerd door Google" of "URL is niet geïndexeerd door Google", en onder Pagina-indexering onder meer:

• wanneer Google de pagina het laatst crawlde, en gecrawld als (de mobiele of de desktopcrawler);
• of robots.txt het crawlen toestaat, en Indexering toegestaan? (staat er een noindex?);
• Pagina ophalen: lukte het ophalen?
• de door gebruiker aangegeven canonieke URL (wat jij in je canonical zette) en de door Google geselecteerde canonieke URL (wat Google koos).

Dit is de stand in de index, geen live meting. Heb je net een noindex weggehaald, dan staat hij hier nog.

Live URL testen

Met Live URL testen haalt Google de pagina nu op. Zo controleer je een herstelling meteen. Met Geteste pagina bekijken zie je de HTML na het uitvoeren van JavaScript, de kopregels van het antwoord, meldingen uit de console en, bij een geslaagde test, een schermafbeelding. Dat is de plek om te zien of je titel, canonical of gestructureerde gegevens er echt staan als ze met JavaScript worden geplaatst.

Let op: een geslaagde live test is geen belofte. De test kijkt niet naar kwaliteit, dubbele inhoud of de keuze van de canonical.

Indexering aanvragen

Na een live test kun je Indexering aanvragen. Google zet de pagina dan in de rij om gecrawld te worden. Drie dingen om te weten:

1. Er is een dagelijks quotum per property. Voor veel pagina's tegelijk is een sitemap de weg (les 2.2).
2. Meerdere keren aanvragen voor dezelfde pagina maakt het niet sneller.
3. Het is geen garantie: crawlen kan dagen tot weken duren, en daarna beslist Google nog over opnemen.

Gebruik het dus voor een nieuwe belangrijke pagina of na een herstelling, niet als dagelijkse routine.

Je kunt alleen adressen inspecteren uit een property waarvan jij eigenaar of gebruiker bent. Wil je de pagina van een ander bekijken, gebruik dan openbare tools zoals de Rich Results Test (module 5).

Drie andere rapporten om te kennen

Verwijderingen. Hiermee haal je een pagina tijdelijk (ongeveer zes maanden) uit de zoekresultaten, bijvoorbeeld als er per ongeluk persoonsgegevens online stonden. De pagina blijft in de index. Wil je hem blijvend weg, zorg dan dat hij een 404 of 410 geeft, achter een wachtwoord staat, of een noindex heeft. Robots.txt is daarvoor níet geschikt: een geblokkeerde pagina kan Google niet lezen en dus ook de noindex niet zien.

Handmatige acties. Een handmatige actie betekent dat een medewerker van Google heeft vastgesteld dat pagina's het spambeleid overtreden (les 8.2), bijvoorbeeld door verborgen tekst of onnatuurlijke links. Die pagina's kunnen lager komen of uit de resultaten verdwijnen. Staat hier geen melding, dan is er niets aan de hand. Staat er wel iets: herstel het op álle pagina's en dien daarna een verzoek tot heroverweging in.

Beveiligingsproblemen. Hier meldt Google als je site gehackt lijkt of schadelijke software verspreidt. Bezoekers kunnen dan een waarschuwing zien. Dat is een spoedgeval: zie de WordPress-cursus en Veilig online voor het herstel.

In de praktijk: na een nieuwe site

Lotte zette haar nieuwe site met de AI Builder live en vergat dat de site nog op "niet indexeren" stond. Na een week ziet ze in Pagina-indexering vrijwel alles onder "URL geblokkeerd door robots.txt". Ze zet de schakelaar om en publiceert opnieuw, inspecteert haar homepage, ziet in de live test dat crawlen en indexeren nu zijn toegestaan, en vraagt indexering aan voor de homepage en de pagina Bruidswerk. Voor de rest wacht ze op de sitemap. Bij WordPress zit dezelfde valkuil in het vinkje "Zoekmachines ontmoedigen", bij andere websitebouwers onder een vergelijkbare naam.

Samenvatting

• Pagina-indexering toont geïndexeerde en niet-geïndexeerde pagina's met de reden; niet alles hoeft erin.
• Lees elke reden als een vraag: hoort deze pagina in de index? Zo ja, herstel en valideer.
• De URL-inspectie toont de stand in de index; Live URL testen toont de pagina nu, ook na JavaScript.
• Indexering aanvragen heeft een quotum, helpt niet door herhalen en garandeert niets.
• Verwijderingen is tijdelijk; Handmatige acties en Beveiligingsproblemen horen leeg te zijn.

Quiz

Opdracht

Opdracht D2.4: Eén pagina inspecteren. Kies een belangrijke pagina van je site (bijvoorbeeld de pagina met je diensten) en inspecteer hem in Search Console. Noteer of hij geïndexeerd is, wanneer hij het laatst gecrawld is, welke canonical jij aangaf en welke Google koos. Doe daarna een live test, open de geteste pagina en controleer of de titel in de HTML staat. Kijk tot slot in Pagina-indexering welke reden het vaakst voorkomt en of daar pagina's tussen staan die wel in de index horen.

Verder lezen

• Google, Rapport Pagina-indexering: https://support.google.com/webmasters/answer/7440203?hl=nl
• Google, URL-inspectietool: https://support.google.com/webmasters/answer/9012289?hl=nl
• Google Search Central, Google vragen om URL's opnieuw te crawlen: https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
• Google, Tool Verwijderingen: https://support.google.com/webmasters/answer/9689846?hl=nl
• Google, Rapport Handmatige acties: https://support.google.com/webmasters/answer/9044175?hl=nl
• Mijn pagina staat niet in Google: zo zoek je het uit
• Website verwijderen en alleen je e-mail houden
• Online gevonden worden 2.6: Eén pagina controleren met URL-inspectie
• Online gevonden worden 2.7: De rapporten Prestaties en Pagina-indexering lezen