Sitemaps indienen en de status lezen

Module 2: Search Console, Bing en IndexNow · Leestijd: 10 minuten

Leerdoel: Na deze les kun je een sitemap indienen in Google Search Console, de status in het rapport Sitemaps lezen, en weet je wat "ontdekt" wel en niet betekent.

Kernbegrippen: sitemap, sitemapadres, rapport Sitemaps, status Geslaagd, Kan niet ophalen, Bevat fouten, ontdekte pagina's, sitemapindex, opnieuw indienen, ping (afgeschaft), Sitemap: in robots.txt

Wat een sitemap doet

Een sitemap is een bestand met de adressen van de pagina's die je in zoekmachines wilt hebben, meestal sitemap.xml in de hoofdmap van je site. Een zoekmachine vindt pagina's vooral door links te volgen (les 1.2). De sitemap is een extra lijst: "deze pagina's bestaan, en zo laat zijn ze voor het laatst gewijzigd". Hoe zo'n bestand eruitziet en welke adressen erin horen, leer je in les 3.4. Deze les gaat over de stap daarna: Google vertellen waar de sitemap staat, en lezen wat Google ermee deed.

Een sitemap is geen bevel. Google schrijft in de eigen hulp dat niet alle adressen uit een sitemap gecrawld hoeven te worden; dat hangt af van onder meer de grootte en activiteit van de site. En gecrawld is nog niet geïndexeerd. Een sitemap helpt vooral bij nieuwe sites met weinig links van buiten, bij grote sites, en bij pagina's die diep in je site zitten.

Waar vind je jouw sitemap?

Veel websitebouwers maken de sitemap zelf:

Twijfel je, open dan https://www.example.com/robots.txt in je browser. Staat daar een regel Sitemap: met een adres, dan is dat je sitemap. De AI Builder zet die regel er zelf in, WordPress ook.

Open het sitemapadres in je browser. Zie je een lijst met adressen (of een lijst met andere sitemaps), dan werkt hij. Krijg je een foutpagina, los dat dan eerst op.

Indienen in Search Console

1. Open je property in Search Console en kies in het menu Sitemaps (onder Indexering).
2. Bij Een nieuwe sitemap toevoegen vul je het adres van de sitemap in. Staat het begin van het adres er al, typ dan alleen de rest, bijvoorbeeld sitemap.xml.
3. Klik op Sturen.

Je hebt daarvoor eigenaarsrechten op de property nodig. Google raadt aan het adres eerst met de URL-inspectie live te testen (les 2.4): dan weet je zeker dat Google het bestand kan ophalen.

Een sitemapindex is een sitemap die naar andere sitemaps verwijst, bijvoorbeeld één voor pagina's en één voor berichten. WordPress maakt zo'n index. Je dient dan alleen de index in; Google haalt de rest zelf op.

De status lezen

Na het indienen verschijnt de sitemap in de tabel met ingediende sitemaps, met per sitemap het type, de datum van verzenden, de laatste keer dat Google hem las (Laatst gelezen), de status en het aantal ontdekte pagina's (en video's).

Bij een nieuw ingediende sitemap staat soms eerst "Kan niet ophalen" terwijl het bestand prima werkt: Google heeft het dan nog niet geprobeerd. Wacht een dag voor je gaat zoeken.

Ontdekt is niet geïndexeerd

Het getal ontdekte pagina's is het aantal adressen dat Google uit de sitemap heeft gelezen (dubbele adressen tellen één keer). Het zegt niet dat die pagina's gecrawld of geïndexeerd zijn. Wil je weten hoeveel adressen uit je sitemap in de index staan, open dan de sitemap en kies Indexdekking bekijken: je komt in het rapport Pagina-indexering, gefilterd op die sitemap (les 2.4). Daar zie je welke niet geïndexeerd zijn en waarom.

Opnieuw indienen? Meestal niet

Een sitemap die eenmaal gelukt is, haalt Google op eigen schema opnieuw op. Je hoeft hem dus niet na elke nieuwe pagina opnieuw in te dienen. Na een grote wijziging (een nieuwe site, een nieuwe structuur) mag je hem opnieuw indienen als verzoek. Is het ophalen mislukt, dan probeert Google het een paar dagen en stopt daarna: herstel het probleem en dien hem dan opnieuw in.

Vroeger kon je Google een seintje geven via een "ping"-adres. Dat heeft Google in 2023 afgeschaft; het adres geeft nu een fout. Plugins of oude scripts die nog pingen, doen dus niets meer. De twee manieren die overblijven zijn: indienen in Search Console, en een regel Sitemap: in je robots.txt. Doe allebei: de regel in robots.txt helpt ook andere zoekmachines, het indienen geeft jou het rapport.

Let op: het rapport Sitemaps toont alleen sitemaps die je via het rapport (of de API) hebt ingediend. Een sitemap die Google alleen via robots.txt kent, staat er niet in, ook al gebruikt Google hem wel.

In de praktijk: de AI Builder en WordPress

De AI Builder maakt bij elke publicatie een nieuwe sitemap.xml met alle pagina's en per pagina de datum van de laatste wijziging, en zet de regel Sitemap: in robots.txt. Staat een site in de AI Builder op "niet indexeren", dan blokkeert robots.txt juist alles; dan heeft indienen geen zin. In WordPress maakt de kern de sitemap; een SEO-plugin vervangt hem vaak door een eigen sitemap, en dan dien je die in (staat in de instellingen van de plugin). Bij andere websitebouwers werkt het vergelijkbaar: zoek het sitemapadres op en dien dat in.

Samenvatting

• Een sitemap is een lijst met adressen die je in de index wilt; Google gebruikt hem als hulp, niet als bevel.
• Zoek het adres op (vaak in robots.txt), open het in je browser, en dien het in via Sitemaps in Search Console.
• Geslaagd, Bevat fouten of Kan niet ophalen: alleen bij de laatste twee heb je werk.
• Ontdekte pagina's is niet hetzelfde als geïndexeerde pagina's; dat zie je in het rapport Pagina-indexering.
• Opnieuw indienen hoeft alleen na grote wijzigingen of een mislukte poging; pingen werkt niet meer.

Quiz

Opdracht

Opdracht D2.2: Sitemap indienen en de uitslag noteren. Zoek het adres van de sitemap van je site op (in robots.txt of in je websitebouwer), open het in je browser, en dien het in via Sitemaps in Search Console. Kom na een paar dagen terug en noteer de status, het aantal ontdekte pagina's en hoeveel daarvan volgens het rapport Pagina-indexering geïndexeerd zijn. Verklaar het verschil.

Verder lezen

De stappen in deze artikelen gelden voor de panelen van WebOké; bij andere aanbieders werkt het vergelijkbaar.

• Je website aanmelden bij zoekmachines (Google en Bing)
• Google, Het rapport Sitemaps beheren: https://support.google.com/webmasters/answer/7451001?hl=nl
• Google Search Central, Een sitemap maken en indienen: https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
• Google Search Central Blog, afschaffing van de sitemap-ping (juni 2023): https://developers.google.com/search/blog/2023/06/sitemaps-lastmod-ping
• Online gevonden worden 2.5: Je sitemap indienen