Manter uma página fora do Google: robots.txt ou noindex?
Não quer que uma página apareça no Google, por exemplo uma página de agradecimento, uma página de teste ou uma promoção antiga? Nesse caso, muitas pessoas pensam no ficheiro robots.txt. Mas o robots.txt não impede que uma página apareça no Google. Para isso existe o noindex. Neste artigo pode ler qual é a diferença, como utilizar ambos e o que fazer com uma página que removeu. Utilizamos example.com como exemplo.
A diferença em resumo
| robots.txt | noindex | |
|---|---|---|
| O que diz | "Não vá buscar esta página." | "Não inclua esta página nos resultados de pesquisa." |
| Mantém a página fora do Google? | Não. Se outros criarem ligações para a página, o endereço pode aparecer na mesma, sem descrição. | Sim, assim que o Google voltar a visitar a página. |
| Onde se encontra? | Um único ficheiro em https://example.com/robots.txt | Na própria página, ou como cabeçalho enviado pelo servidor |
| Para que serve? | Orientar o tráfego de indexação, por exemplo ignorando páginas de resultados de pesquisa do seu próprio site | Páginas que continuam acessíveis, mas não devem aparecer no Google |
Nenhum dos dois é uma forma de proteção. Qualquer pessoa pode ler o seu robots.txt, e uma página com noindex continua simplesmente acessível. Se algo precisar mesmo de estar protegido, coloque-o atrás de uma palavra-passe. Veja Proteger uma pasta com uma palavra-passe no DirectAdmin.
Utilizar o noindex
Coloque esta linha no <head> da página:
<meta name="robots" content="noindex">
Para ficheiros sem HTML, como um pdf, o servidor pode enviar a mesma instrução como cabeçalho: X-Robots-Tag: noindex. O efeito é o mesmo.
Normalmente não precisa de escrever isto você mesmo:
- AI Bouwer: abra a secção SEO, escolha a página e desative o interruptor Esta página indexável no Google em Mais opções para esta página. A página continua acessível, mas recebe um noindex. Depois, publique novamente.
- WordPress: um plugin de SEO tem uma definição por página para não deixar indexar a página. A opção Desencorajar motores de pesquisa a indexar este site em Definições, Leitura aplica-se a todo o site.
- Outros criadores de sites: procure uma definição semelhante a "ocultar dos motores de pesquisa".
Criar ou editar o robots.txt
Num pacote de alojamento, o ficheiro robots.txt encontra-se na pasta web do seu domínio, no DirectAdmin na pasta public_html. Pode criar ou editar o ficheiro através do Gestor de Ficheiros ou FTP, veja Abrir o Gestor de Ficheiros: as pastas do seu pacote. Um exemplo:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *aplica-se a todos os robôs de pesquisa.Disallow:seguido de um caminho proíbe tudo o que comece por esse caminho.Disallow: /proíbe todo o site.- Se criar também um grupo
User-agent: Googlebot, o Google segue apenas esse grupo e ignora o grupo*. Repita aí todas as regras que também se aplicam ao Google. - Não bloqueie pastas com folhas de estilo, scripts ou imagens de que a sua página necessite.
- Não ter um robots.txt não é problema: nesse caso, tudo é permitido. Se o endereço devolver um erro do servidor, o Google interrompe temporariamente a indexação.
O WordPress cria automaticamente um robots.txt enquanto não existir nenhum ficheiro na pasta web. O AI Bouwer coloca automaticamente um robots.txt com uma linha Sitemap: ao publicar.
O Google guarda normalmente o seu robots.txt até 24 horas. Na Search Console encontra em Definições o relatório de robots.txt: qual a versão que o Google obteve mais recentemente, com erros e avisos, e um botão para o voltar a obter.
Uma página removida: 404 ou 410, nunca soft 404
Se removeu uma página, o endereço deve devolver o código de estado 404 (não encontrado) ou 410 (desapareceu). Na visita seguinte, o Google remove então o endereço dos resultados de pesquisa. Se a página tiver uma sucessora, redirecione o endereço antigo com um 301 para essa nova página, veja Site Omleiden: redirecionar um domínio ou página.
Um soft 404 é uma página que indica que não existe, ou que está quase vazia, mas que, mesmo assim, devolve o código 200 (encontrado). O Google frequentemente reconhece isto e não inclui essa página. Na Search Console, vê isto como motivo Soft 404. Redirecionar todas as páginas removidas para a página inicial também pode ser considerado um soft 404. Por isso, garanta que uma página que já não existe devolve mesmo um 404 ou 410 verdadeiro.
Precisa que uma página desapareça rapidamente dos resultados, por exemplo porque continha dados pessoais por engano? Utilize então Remoções na Search Console. Isto funciona de forma temporária, durante cerca de seis meses. Por isso, garanta também que a página tem um 404, 410, palavra-passe ou noindex.
Mais informações
- Google: Bloquear a indexação com noindex (em inglês)
- Google: Introdução ao robots.txt (em inglês)
- Google: relatório de robots.txt
- Bloquear ficheiros através do .htaccess
Utiliza o WordPress? Na lição Visibilidade: o básico do curso gratuito de WordPress pode ler mais sobre o robots.txt e a opção Desencorajar motores de pesquisa.