AI-crawlers toelaten of blokkeren: robots.txt en llms.txt
AI-diensten zoals ChatGPT, Claude, Gemini en Perplexity halen webpagina's op: om modellen te trainen, om zoekantwoorden te geven of om een vraag van een gebruiker te beantwoorden. Met robots.txt geef je aan welke van die robots je site mogen bezoeken. Daarnaast bestaat het voorstel llms.txt. In dit artikel lees je welke robots er zijn, hoe je ze toelaat of blokkeert en wat llms.txt wel en niet doet. We gebruiken example.com als voorbeeld.
1. De belangrijkste AI-robots
De meeste AI-bedrijven gebruiken aparte namen voor trainen, zoeken en ophalen op verzoek van een gebruiker. Zo kun je bijvoorbeeld training blokkeren en toch in zoekantwoorden blijven staan.
| Naam in robots.txt | Van | Waarvoor |
|---|---|---|
GPTBot | OpenAI | Pagina's verzamelen die gebruikt kunnen worden om modellen te trainen |
OAI-SearchBot | OpenAI | De zoekfunctie van ChatGPT. Blokkeer je deze, dan verschijnt je site niet in de zoekantwoorden van ChatGPT |
ChatGPT-User | OpenAI | Een pagina ophalen als een gebruiker daarom vraagt. Volgens OpenAI geldt robots.txt hier mogelijk niet |
ClaudeBot | Anthropic | Pagina's verzamelen die gebruikt kunnen worden om modellen te trainen |
Claude-SearchBot | Anthropic | Pagina's indexeren voor de zoekfunctie van Claude |
Claude-User | Anthropic | Een pagina ophalen als een gebruiker daarom vraagt |
Google-Extended | Geen aparte robot, maar een naam waarmee je aangeeft of Google je inhoud mag gebruiken voor het trainen van Gemini-modellen en voor grounding. Volgens Google heeft dit geen invloed op je plek in Google Zoeken | |
PerplexityBot | Perplexity | Sites tonen en linken in de zoekresultaten van Perplexity, niet voor training |
Perplexity-User | Perplexity | Een pagina ophalen als een gebruiker daarom vraagt. Volgens Perplexity negeert deze robots.txt meestal |
De lijst verandert regelmatig. Kijk voor de actuele namen in de documentatie van OpenAI, Anthropic, Google en Perplexity.
2. Een voorbeeld-robots.txt
Dit voorbeeld blokkeert het trainen van modellen, maar laat zoekrobots en gewone zoekmachines toe:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Een robot volgt alleen de groep met zijn eigen naam, en anders de groep
*. In het voorbeeld mag GPTBot dus nergens komen, en geldtDisallow: /winkelmand/niet voor GPTBot. - Wil je alle AI-robots toelaten, dan hoef je niets te doen: zonder regels mag alles.
- Blokkeer je per ongeluk een zoekrobot, zoals
OAI-SearchBot,Claude-SearchBotofPerplexityBot, dan word je in die AI-zoekdiensten minder goed gevonden. - Blokkeren werkt alleen voor de toekomst. Wat al eerder is opgehaald, haal je er niet mee terug.
public_html van je domein. Je maakt of bewerkt het via Bestandsbeheer of FTP. WordPress maakt zelf een robots.txt zolang er geen bestand staat, en de AI Builder zet er bij het publiceren zelf een neer. Hoe robots.txt verder werkt, lees je in Een pagina uit Google houden: robots.txt of noindex?.3. Wat is llms.txt?
llms.txt is een voorstel uit 2024 voor een tekstbestand op https://example.com/llms.txt. Daarin zet je in Markdown een korte beschrijving van je site en links naar de belangrijkste pagina's, zodat een AI-dienst snel ziet waar de goede informatie staat. Een eenvoudig voorbeeld:
# Bakkerij Example > Ambachtelijke bakkerij in Utrecht met brood, gebak en taarten op bestelling. ## Belangrijke pagina's - [Assortiment](https://example.com/assortiment): brood, gebak en taarten - [Bestellen](https://example.com/bestellen): taart bestellen en ophalen - [Contact](https://example.com/contact): adres en openingstijden
Goed om te weten:
- llms.txt is geen officiële standaard, maar een voorstel. Er is geen garantie dat AI-diensten het bestand lezen. Google heeft laten weten dat Google Zoeken er niets mee doet.
- llms.txt blokkeert niets. Wil je robots weren, gebruik dan robots.txt.
- Het bestand komt er niet vanzelf: je maakt het zelf, of laat het door een plugin maken.
4. llms.txt maken in WordPress
De bekende SEO-plugins kunnen llms.txt voor je maken en bijhouden:
- Yoast SEO: ga naar Yoast SEO, Instellingen, Site-functies en zet bij de AI-functies llms.txt aan. Je kunt Yoast de pagina's laten kiezen of ze zelf aanwijzen.
- Rank Math: zet in het Dashboard van Rank Math de module LLMS Txt aan. De instellingen vind je daarna bij Algemene instellingen.
De namen van menu's verschillen per versie. Zie je de optie niet, werk de plugin dan bij. Daarna bekijk je het bestand op https://jouwdomein.nl/llms.txt.
Zonder WordPress maak je het bestand zelf: een tekstbestand llms.txt in de map public_html, net als robots.txt.
Uitgebreide uitleg met schermafbeeldingen: Sitemap en robots.txt bij WordPress en je eigen site en Sitemap en robots.txt bij de AI Builder in de handleiding Online gevonden worden.
Meer leren? Volg de gratis cursus Online gevonden worden, les 3.3 robots.txt: wat je wel en niet blokkeert.