Indexação: o que entra no índice e o que fica de fora

Módulo 1: Como funcionam os motores de pesquisa · Tempo de leitura: 11 minutos

Objetivo de aprendizagem: No final desta lição, conseguirá avaliar se uma página pode entrar no índice e, caso não possa, qual das quatro "barreiras" a impede: o código de estado, o robots.txt, o noindex ou o canonical.

Conceitos chave: indexação, requisitos técnicos da Google, noindex (meta robots e X-Robots-Tag), o robots.txt não é um noindex, canonicalização, conteúdo duplicado, soft 404, "rastreada, atualmente não indexada", "detetada, atualmente não indexada", nenhuma garantia

O que acontece durante a indexação

Depois de o crawler obter uma página (lição 1.2), o motor de pesquisa passa a lê-la. A Google analisa o texto, o título, os cabeçalhos, as imagens e os vídeos, e determina em que língua está a página. A Google verifica também se a página é uma cópia de outra página e qual dessas cópias é a "verdadeira". Só depois decide se a página entra no índice.

A Google diz duas coisas sobre isto que convém reter:

• A inclusão não é garantida. Mesmo que a sua página cumpra todos os requisitos, a Google pode decidir não a incluir.
• É normal que nem tudo esteja incluído. Na ajuda do relatório de indexação, a Google escreve literalmente que não deve esperar que todos os endereços do seu site estejam indexados, e que isso pode estar perfeitamente bem. O que importa são as suas páginas importantes.

Os três requisitos técnicos

A Google indica três requisitos técnicos para que uma página seja elegível para o índice:

1. O Googlebot não está bloqueado. A página está acessível e o robots.txt não proíbe a sua obtenção.
2. A página funciona. O servidor devolve o código de estado 200 e não um erro.
3. A página tem conteúdo indexável. Texto num tipo de ficheiro que a Google consegue ler e sem violar as políticas contra spam.

Na prática, juntam-se a isto duas escolhas do proprietário do site: um noindex ("não incluir isto") e um canonical que aponta para outro endereço ("não este, mas aquele"). No total, são quatro barreiras que uma página tem de ultrapassar.

Barreira 1: o código de estado

Só uma página com o estado 200 pode entrar no índice. Um 301 ou 308 reencaminha o motor de pesquisa para o novo endereço; é então esse novo endereço que é avaliado. Um 404 ou 410 retira do índice um endereço que estava incluído.

A variante traiçoeira é o soft 404 da lição 1.2: estado 200, mas o conteúdo é uma mensagem de erro ou uma página quase vazia. A Google reconhece muitas vezes esta situação e não inclui essa página. Também uma página de categoria vazia numa loja online ("nenhum produto encontrado") pode ser considerada um soft 404.

Barreira 2: robots.txt

Com o robots.txt, proíbe um crawler de obter uma página. Isso é diferente de o proibir de a incluir. A Google é clara quanto a isto: o robots.txt não é uma forma de manter uma página fora da Google. Se outros sites tiverem ligações para uma página bloqueada, o endereço pode mesmo assim aparecer nos resultados, só que sem descrição. No Search Console, isto chama-se "Indexada, embora bloqueada pelo robots.txt".

O robots.txt destina-se a orientar o tráfego de rastreio: por exemplo, para evitar que um crawler percorra milhares de páginas de resultados de pesquisa do seu próprio site. A lição 3.3 aprofunda este tema.

Barreira 3: noindex

Se quiser mesmo que uma página não apareça nos resultados de pesquisa, utilize noindex. Pode fazê-lo de duas formas, com o mesmo efeito:

<!-- no <head> da página -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

A segunda é um cabeçalho HTTP que o servidor envia. Funciona também para ficheiros que não são HTML, como um pdf. O valor none significa o mesmo que noindex, nofollow. Com <meta name="googlebot" content="noindex">, a regra aplica-se apenas à Google; outros motores de pesquisa podem interpretar uma regra geral de forma diferente.

Chegamos agora à armadilha muito frequente: um noindex e um bloqueio no robots.txt não funcionam em conjunto. Se o robots.txt bloquear a página, a Google não a obtém e, por isso, nunca vê o noindex. A página pode então entrar no índice através de ligações de outros sites. Se quiser retirar uma página da Google: deixe-a ser obtida e coloque-lhe um noindex.

Onde pode encontrar um noindex sem querer?

• No WordPress, em Definições, Ler, existe a caixa "Desencorajar os motores de pesquisa de indexar este site". Isso coloca um noindex em todo o site. Útil durante a construção, desastroso se se esquecer de a desativar.
• No AI Builder pode definir um site ou uma página como "não indexar"; nesse caso, é colocado um noindex, nofollow na página. Um site de demonstração gratuito também nunca é indexado.
• Um plugin de SEO ou um tema com uma definição errada por página ou por tipo de página.

Outros criadores de sites têm opções semelhantes, muitas vezes com um nome como "ocultar dos motores de pesquisa".

Barreira 4: o canonical

Muitos sites têm a mesma página em vários endereços: com e sem www, com http e https, com um parâmetro no fim, como ?utm_source=newsletter. A Google escolhe, em cada um desses grupos, um endereço como versão canónica e mostra apenas esse endereço nos resultados. Os outros são duplicados.

Pode ajudar a Google a escolher com um redirecionamento (um sinal forte) ou com uma referência canonical na página:

<link rel="canonical" href="https://www.example.com/ramos-de-noiva">

Um canonical é um sinal, não uma ordem: a Google pode escolher outro endereço. Se o seu canonical apontar para outro endereço, a própria página diz: "não me incluam a mim, mas sim aquela outra". Isso é bom se estiver correto, e um problema se for um engano, por exemplo, quando todas as páginas apontam para a página inicial. A lição 3.5 desenvolve este tema.

Segundo a Google, o conteúdo duplicado no seu próprio site não viola as políticas contra spam e não dá origem a uma ação manual. No entanto, é ineficiente: os crawlers obtêm o mesmo conteúdo várias vezes, e não é o próprio que decide qual o endereço que aparece nos resultados.

As mensagens no Search Console

No relatório Páginas do Search Console (lição 2.4), vê um motivo para cada página não indexada. As quatro barreiras aparecem todas:

As duas últimas não são um erro técnico. "Rastreada, atualmente não indexada" é muito comum; a Google diz que nem sempre é um problema. Se se tratar de uma página importante, verifique se acrescenta realmente algo: uma página única e útil tem mais hipóteses do que uma página pobre, semelhante a outras dez.

Resumo

• Depois do rastreio, o motor de pesquisa decide se uma página entra no índice; isso nunca é garantido e nem tudo tem de lá estar.
• Quatro barreiras: estado 200, sem bloqueio no robots.txt, sem noindex, canonical ausente ou a apontar para a própria página.
• O robots.txt proíbe a obtenção, não a inclusão. Utilize noindex para manter algo fora dos resultados e, nesse caso, não bloqueie essa página no robots.txt.
• Um canonical é um sinal forte, não uma ordem. O conteúdo duplicado não é spam, mas é ineficiente.
• "Rastreada, atualmente não indexada" não é um erro técnico; avalie o valor da página.

Questionário

Exercício

Exercício A1.3: Esta página pode entrar no índice? Introduza o endereço de uma página (uma página do seu próprio site ou uma página que oculta propositadamente, como uma página de agradecimento). Em seguida, escolha a sua expectativa: "pode entrar no índice" ou "não pode entrar no índice" e, se escolher "não pode", indique que barreira a impede (código de estado, robots.txt, noindex, canonical para outro endereço). O programa verifica as quatro barreiras tal como nesta lição e coloca o seu resultado ao lado do seu.

Para saber mais

• Google, Requisitos técnicos da Pesquisa Google: https://developers.google.com/search/docs/essentials/technical
• Google, Bloquear a indexação com noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introdução ao robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Consolidar URLs duplicados (canonicalização): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Ajuda do Google Search Console, Relatório de indexação de páginas: https://support.google.com/webmasters/answer/7440203
• Curso gratuito de WordPress 9.2: Visibilidade nos motores de pesquisa: o básico