Permitir ou bloquear crawlers de IA: robots.txt e llms.txt
Serviços de IA como ChatGPT, Claude, Gemini e Perplexity obtêm páginas web para treinar modelos, para dar respostas de pesquisa ou para responder a uma pergunta de um utilizador. Com robots.txt indica quais destes robôs podem visitar o seu site. Existe também a proposta llms.txt. Neste artigo, fica a saber que robôs existem, como os permitir ou bloquear e o que o llms.txt faz e não faz. Utilizamos example.com como exemplo.
1. Os principais robôs de IA
A maioria das empresas de IA utiliza nomes diferentes para treino, pesquisa e obtenção de páginas a pedido de um utilizador. Assim, pode, por exemplo, bloquear o treino e continuar a aparecer nas respostas de pesquisa.
| Nome no robots.txt | De | Para quê |
|---|---|---|
GPTBot | OpenAI | Recolher páginas que podem ser utilizadas para treinar modelos |
OAI-SearchBot | OpenAI | A função de pesquisa do ChatGPT. Se o bloquear, o seu site não aparece nas respostas de pesquisa do ChatGPT |
ChatGPT-User | OpenAI | Obter uma página quando um utilizador o pede. Segundo a OpenAI, o robots.txt poderá não se aplicar aqui |
ClaudeBot | Anthropic | Recolher páginas que podem ser utilizadas para treinar modelos |
Claude-SearchBot | Anthropic | Indexar páginas para a função de pesquisa do Claude |
Claude-User | Anthropic | Obter uma página quando um utilizador o pede |
Google-Extended | Não é um robô separado, mas um nome com o qual indica se a Google pode utilizar o seu conteúdo para treinar os modelos Gemini e para grounding. Segundo a Google, isto não influencia a sua posição na Pesquisa Google | |
PerplexityBot | Perplexity | Mostrar sites e incluir ligações para eles nos resultados de pesquisa do Perplexity, não para treino |
Perplexity-User | Perplexity | Obter uma página quando um utilizador o pede. Segundo a Perplexity, este robô ignora geralmente o robots.txt |
A lista muda regularmente. Consulte os nomes atuais na documentação da OpenAI, da Anthropic, da Google e da Perplexity.
2. Um exemplo de robots.txt
Este exemplo bloqueia o treino de modelos, mas permite os robôs de pesquisa e os motores de busca comuns:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Um robô segue apenas o grupo com o seu próprio nome e, na falta deste, o grupo
*. No exemplo, o GPTBot não pode, portanto, aceder a nenhuma parte do site, eDisallow: /winkelmand/não se aplica ao GPTBot. - Se pretender permitir todos os robôs de IA, não precisa de fazer nada: sem regras, tudo é permitido.
- Se bloquear por engano um robô de pesquisa, como
OAI-SearchBot,Claude-SearchBotouPerplexityBot, o seu site será encontrado com mais dificuldade nesses serviços de pesquisa com IA. - O bloqueio só funciona daqui para a frente. O que já foi obtido anteriormente não é recuperado desta forma.
public_html do seu domínio. Pode criá-lo ou editá-lo através do Gestor de ficheiros ou por FTP. O WordPress cria automaticamente um robots.txt enquanto não existir nenhum ficheiro, e o AI Builder coloca um automaticamente ao publicar. Saiba mais sobre o funcionamento do robots.txt em Manter uma página fora do Google: robots.txt ou noindex?.3. O que é o llms.txt?
O llms.txt é uma proposta de 2024 para um ficheiro de texto em https://example.com/llms.txt. Nele, coloca em Markdown uma breve descrição do seu site e ligações para as páginas mais importantes, para que um serviço de IA veja rapidamente onde está a informação certa. Um exemplo simples:
# Padaria Exemplo > Padaria artesanal no Porto com pão, pastelaria e bolos por encomenda. ## Páginas importantes - [Produtos](https://example.com/assortiment): pão, pastelaria e bolos - [Encomendar](https://example.com/bestellen): encomendar e levantar bolos - [Contacto](https://example.com/contact): morada e horário de funcionamento
É bom saber:
- O llms.txt não é uma norma oficial, mas sim uma proposta. Não há garantia de que os serviços de IA leiam o ficheiro. A Google informou que a Pesquisa Google não o utiliza.
- O llms.txt não bloqueia nada. Se pretender impedir o acesso de robôs, utilize o robots.txt.
- O ficheiro não surge automaticamente: tem de o criar, ou deixar que um plugin o crie.
4. Criar o llms.txt no WordPress
Os plugins de SEO mais conhecidos podem criar e manter o llms.txt por si:
- Yoast SEO: aceda a Yoast SEO, Definições, Funcionalidades do site e, nas funcionalidades de IA, ative llms.txt. Pode deixar o Yoast escolher as páginas ou indicá-las manualmente.
- Rank Math: no Painel do Rank Math, ative o módulo LLMS Txt. Depois, encontra as definições em Definições gerais.
Os nomes dos menus variam consoante a versão. Se não vir a opção, atualize o plugin. Em seguida, consulte o ficheiro em https://oseudominio.pt/llms.txt.
Sem WordPress, cria o ficheiro manualmente: um ficheiro de texto llms.txt na pasta public_html, tal como o robots.txt.
Explicação detalhada com capturas de ecrã: Sitemap e robots.txt no WordPress e no seu próprio site e Sitemap e robots.txt no AI Builder no manual Ser encontrado online.
Quer saber mais? Siga o curso gratuito Ser encontrado online, lição 3.3 robots.txt: o que deve e não deve bloquear.