robots.txt: o que deve e não deve bloquear

Módulo 3: A base técnica de uma página · Tempo de leitura: 13 minutos

Objetivo de aprendizagem: No final desta lição, será capaz de ler e escrever um robots.txt, calcular por si próprio se o Googlebot pode aceder a um endereço e explicar o que acontece quando o ficheiro não existe ou não está acessível. Saberá também porque o robots.txt não é uma medida de segurança nem um noindex.

Conceitos chave: robots.txt (RFC 9309), crawler, grupo, User-agent, Disallow, Allow, correspondência mais longa, comprimento igual (Allow ganha), * e $, Sitemap:, código de estado do robots.txt (4xx, 5xx), 500 KiB, 24 horas de cache, não é segurança, não é noindex, crawlers de IA (Google-Extended, GPTBot)

Um aviso à porta de entrada

Um robots.txt é um simples ficheiro de texto na pasta principal do seu site, sempre no mesmo endereço: https://www.example.com/robots.txt. Um crawler bem-comportado (lição 1.2) pede primeiro esse ficheiro e lê que partes do site não pode visitar. É um aviso à porta de entrada, não uma fechadura: o Googlebot e o Bingbot respeitam-no, mas um robô mal-intencionado lê o aviso e entra na mesma.

Desde 2022, o protocolo é uma norma oficial da internet: RFC 9309. Além disso, a Google descreve com precisão como o Googlebot lê o ficheiro. Nesta lição utilizamos ambas as fontes.

Algumas regras fixas:

• O ficheiro fica na pasta principal do host. Um robots.txt em /blog/robots.txt não é lido.
• Aplica-se apenas a esse host, esse protocolo e essa porta. https://www.example.com/robots.txt não se aplica a https://shop.example.com/; esse precisa do seu próprio ficheiro.
• É texto simples em UTF-8.

Como o ficheiro está estruturado

User-agent: *
Disallow: /winkelmand/
Disallow: /zoeken
Allow: /zoeken/tips

User-agent: Googlebot
Disallow: /concepten/

Sitemap: https://www.example.com/sitemap.xml

O ficheiro é composto por grupos. Um grupo começa com uma ou mais linhas User-agent:, seguidas das regras Disallow: (não visitar) e Allow: (pode visitar). O caminho após Disallow: é o início de um endereço: Disallow: /zoeken bloqueia /zoeken, /zoeken?q=rozen e também /zoekenmachine, porque todos começam por /zoeken.

A linha Sitemap: não pertence a nenhum grupo e indica onde está o seu sitemap (lição 3.4). A Google exige um endereço completo com https:// e nome do host.

Um Disallow: sem caminho não bloqueia nada. Disallow: / bloqueia tudo.

Que grupo se aplica?

Um crawler escolhe um único grupo: o que tem o nome mais específico que lhe corresponde. Assim, o Googlebot segue o grupo User-agent: Googlebot, se existir, e ignora por completo o grupo *. No exemplo acima, o Googlebot pode portanto entrar em /winkelmand/: essa regra só está no grupo *. É um dos erros mais frequentes: quem cria um grupo próprio para o Googlebot tem de repetir aí todas as regras que também se devem aplicar à Google.

O nome não distingue maiúsculas de minúsculas (googlebot = Googlebot). Se existirem dois grupos para o mesmo crawler, a Google junta-os.

Que regra ganha?

Dentro do grupo, um endereço pode corresponder a várias regras. Nesse caso:

1. Ganha a regra correspondente mais longa (o caminho mais específico).
2. Se um Allow e um Disallow tiverem exatamente o mesmo comprimento, ganha o Allow. A Google chama-lhe "a regra menos restritiva".

Dois caracteres têm um significado especial:

Exemplo de cálculo com o grupo * acima, para o crawler Bingbot (que não tem grupo próprio):

Quando o ficheiro não existe ou o servidor falha

O que a Google faz depende do código de estado com que o seu servidor responde a /robots.txt:

Um robots.txt em falta não é, portanto, um problema: nesse caso tudo é permitido. Um robots.txt que devolve um erro do servidor já é um problema: a Google deixa temporariamente de rastrear. O RFC 9309 é ainda mais rigoroso: se o ficheiro estiver inacessível, o crawler deve assumir que tudo é proibido.

Além disso:

• A Google lê no máximo 500 KiB; o que vier depois é ignorado.
• A Google guarda normalmente o robots.txt em cache até 24 horas. Uma alteração não tem, portanto, efeito imediato. No Search Console, em Definições, encontra o relatório de robots.txt: a versão que a Google obteve por último, com erros e avisos, e um botão para pedir uma nova obtenção.
• A Google só reconhece User-agent, Allow, Disallow e Sitemap. Regras como Crawl-delay ou Noindex são ignoradas pelo Googlebot.

O que o robots.txt não faz

Não é uma medida de segurança

Qualquer pessoa pode ler o seu robots.txt, incluindo quem tem más intenções. Uma regra Disallow: /beheer-oud/ indica precisamente onde há algo interessante. O próprio RFC 9309 o diz: as regras não são uma forma de controlo de acesso. Para proteger algo a sério, use uma palavra-passe ou faça com que o servidor recuse o acesso, por exemplo com .htaccess (consulte Para saber mais).

Não é um noindex

Esta é a lição mais importante. O robots.txt controla o rastreio, não a indexação (lição 1.3). A Google escreve textualmente que o robots.txt não é uma forma de manter uma página fora da Google. Se outros sites tiverem ligações para um endereço bloqueado, esse endereço pode mesmo assim aparecer nos resultados de pesquisa, só que sem descrição.

Se quiser manter uma página fora dos resultados de pesquisa, use noindex (numa <meta name="robots"> ou no cabeçalho X-Robots-Tag) ou proteja a página com uma palavra-passe. E cuidado com a armadilha clássica: se colocar uma página com noindex também em Disallow no robots.txt, a Google não consegue visitar a página e, por isso, nunca lê o noindex.

Não bloqueie recursos de que a Google precisa

Não bloqueie pastas com folhas de estilo, scripts ou imagens de que a sua página precisa para ser apresentada corretamente. A Google vê a sua página como um navegador a vê; sem esses ficheiros, a Google compreende pior a página.

Crawlers de IA

Cada vez mais empresas recolhem páginas web para inteligência artificial. Algumas delas podem ser abordadas com o robots.txt:

• Google-Extended não é um robô separado, mas um nome no robots.txt com o qual indica se a Google pode usar o seu conteúdo para treinar modelos Gemini e para grounding. A Google escreve que isto não tem influência na inclusão ou na posição na Pesquisa Google.
• GPTBot da OpenAI recolhe páginas que podem ser usadas para treinar modelos. OAI-SearchBot serve a função de pesquisa do ChatGPT: se o bloquear, o seu site não aparece nas respostas de pesquisa do ChatGPT.

User-agent: GPTBot
Disallow: /

Fazê-lo ou não é uma escolha, não uma necessidade técnica. Se bloquear por engano um robô de pesquisa (Googlebot, Bingbot, OAI-SearchBot), será pior encontrado nesse serviço.

Na prática: onde fica o seu robots.txt?

• O AI Builder da WebOké cria automaticamente, ao publicar, um robots.txt com User-agent: *, Allow: / e uma linha Sitemap:. Se definir o site como não indexável, ou se for uma demonstração gratuita, o ficheiro contém Disallow: /.
• O WordPress cria um robots.txt virtual com uma referência ao sitemap. Se colocar um ficheiro robots.txt próprio na pasta web, esse tem prioridade.
• Um site próprio num plano de alojamento: coloca o robots.txt na pasta web (no DirectAdmin, public_html) através do Gerenciador de arquivos ou por FTP.

Noutros fornecedores funciona de forma semelhante: o ficheiro tem de estar sempre acessível em /robots.txt do seu host.

Resumo

• O robots.txt fica em /robots.txt de cada host e indica aos crawlers bem-comportados o que não podem visitar.
• Um crawler segue um único grupo (o nome mais específico ou, caso contrário, *). Dentro do grupo ganha a regra mais longa; em caso de comprimento igual, ganha Allow.
• Um 404 significa "tudo é permitido", um erro do servidor faz a Google parar temporariamente de rastrear. A Google lê 500 KiB e guarda em cache até 24 horas.
• O robots.txt não é segurança nem noindex. Não bloqueie uma página com noindex no robots.txt.
• Crawlers de IA como o GPTBot e o nome Google-Extended podem ser configurados à parte, sem consequências para a Pesquisa Google.

Questionário

Exercício

Exercício A3.3: Análise do seu robots.txt. Introduza o seu domínio e, além disso, três endereços do seu próprio site (por exemplo, a página inicial, uma página de produto e o carrinho de compras ou a página de pesquisa), indicando para cada endereço a sua expectativa: o Googlebot pode rastreá-lo, sim ou não? O programa obtém o seu robots.txt, verifica o código de estado, o tamanho, os grupos e a linha Sitemap:, e calcula para cada endereço o que o Googlebot pode fazer segundo as regras desta lição. A sua expectativa estava certa? Não tem site próprio? Use www.wikipedia.org.

Para saber mais

Os passos destes artigos aplicam-se aos painéis da WebOké; noutros fornecedores funciona de forma semelhante.

• Manual DirectAdmin 11.1: Abrir o Gerenciador de arquivos: as pastas do seu pacote
• Bloquear ficheiros através do .htaccess, por exemplo plugin-googlemap2-proxy.php
• Manual DirectAdmin 11.4: Mostrar e editar ficheiros ocultos como .htaccess
• Google Search Central, Como a Google interpreta o robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt
• Google Search Central, Introdução ao robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• RFC 9309, Robots Exclusion Protocol: https://www.rfc-editor.org/rfc/rfc9309.html
• Google, Visão geral dos crawlers (Google-Extended): https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
• OpenAI, Visão geral dos crawlers (GPTBot, OAI-SearchBot): https://developers.openai.com/api/docs/bots
• Manter uma página fora do Google: robots.txt ou noindex?
• Ser encontrado online 1.3: Sitemap e robots.txt na AI Builder
• Ser encontrado online 1.4: Sitemap e robots.txt no WordPress e no seu próprio site
• Curso gratuito de WordPress 9.2: Visibilidade nos motores de pesquisa: o básico