Sitemap e robots.txt no WordPress e no seu próprio site

Uma sitemap é uma lista dos endereços que pretende ver nos motores de pesquisa. Um robots.txt indica aos motores de pesquisa que endereços não podem visitar e onde se encontra a sua sitemap. Veja aqui como verificá-los no WordPress e num site criado por si.

WordPress

Desde a versão 5.5, o WordPress cria automaticamente uma sitemap e um robots.txt:

• A sitemap encontra-se em https://jouwdomein.nl/wp-sitemap.xml.
• O robots.txt é virtual: não existe nenhum ficheiro na sua pasta web, mas o WordPress apresenta-o em https://jouwdomein.nl/robots.txt, com uma referência à sitemap.
• Utiliza um plugin de SEO, como o Yoast SEO ou o Rank Math? Nesse caso, o plugin cria frequentemente a sua própria sitemap, por exemplo sitemap_index.xml. Encontra o endereço nas definições do plugin. É esse o endereço que deve submeter ao Google e ao Bing.

Um robots.txt padrão do WordPress tem mais ou menos este aspeto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

O WordPress está a bloquear os motores de pesquisa?

1. Inicie sessão no WordPress e aceda a Definições e depois a Leitura.
2. Em visibilidade para os motores de pesquisa, verifique a caixa Desencorajar os motores de pesquisa de indexar este site.
3. Essa caixa deve estar desmarcada. Clique em Guardar alterações.

Se a caixa estiver marcada, o WordPress pede aos motores de pesquisa que ignorem todo o seu site. É frequentemente ativada durante a construção do site e depois esquecida.

Saiba mais sobre a visibilidade no WordPress em Visibilidade: o essencial.

Um robots.txt próprio

Se colocar um ficheiro robots.txt na sua pasta web, este prevalece sobre o robots.txt virtual do WordPress. Num alojamento da WebOké, a pasta web é a pasta public_html do seu domínio. Pode colocar o ficheiro nessa pasta com o gestor de ficheiros do DirectAdmin (consulte Abrir o gestor de ficheiros: as pastas do seu alojamento) ou por FTP.

Um robots.txt simples que permite tudo e indica a sua sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Um site criado por si

Cria o seu site manualmente ou com outro programa? Verifique se esse programa cria uma sitemap. Caso contrário, pode dispensá-la: um site pequeno com boas ligações entre as páginas também é encontrado. Ainda assim, uma sitemap ajuda. Coloque-a na sua pasta web e indique-a no seu robots.txt, como mostrado acima.

Verificar

• Abra https://jouwdomein.nl/robots.txt. Aparece Disallow: / por baixo de User-agent: *? Nesse caso, nenhum motor de pesquisa pode visitar o seu site. Remova essa linha quando o site estiver concluído.
• Existe uma linha Sitemap:? Abra esse endereço no seu navegador. Deverá ver uma lista de endereços do seu site, com https e o seu próprio domínio.

Dica: o robots.txt não impede que uma página apareça no Google. Uma página que não pode ser visitada pode ainda assim surgir nos resultados de pesquisa se outros sites tiverem ligações para ela. Se pretende mesmo manter uma página fora do Google, utilize um noindex. Conheça a diferença na lição robots.txt: o que bloqueia e o que não bloqueia do curso Ser encontrado online.