Sitemap и robots.txt в WordPress и във Вашия собствен сайт

Sitemap е списък с адресите, които искате да бъдат в търсачките. Файлът robots.txt казва на търсачките кои адреси не трябва да посещават и къде се намира Вашият sitemap. Ето как да ги проверите в WordPress и в сайт, който сте създали сами.

WordPress

От версия 5.5 WordPress сам създава sitemap и robots.txt:

• Sitemap се намира на https://jouwdomein.nl/wp-sitemap.xml.
• Файлът robots.txt е виртуален: в уеб папката Ви няма такъв файл, но WordPress го показва на https://jouwdomein.nl/robots.txt, с препратка към sitemap.
• Използвате ли SEO плъгин, като Yoast SEO или Rank Math? Тогава той често създава собствен sitemap, например sitemap_index.xml. Адреса ще намерите в настройките на плъгина. Именно този адрес подайте в Google и Bing.

Стандартният robots.txt на WordPress изглежда приблизително така:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Спира ли WordPress търсачките?

1. Влезте в WordPress и отидете в Настройки, след това Четене.
2. При видимостта за търсачките погледнете отметката Молба към търсачките да не индексират сайта.
3. Тази отметка трябва да е изключена. Кликнете върху Запазете промените.

Ако отметката е включена, WordPress моли търсачките да пропуснат целия Ви сайт. Тя често се включва по време на изграждането на сайта и после се забравя.

Повече за откриваемостта в WordPress ще прочетете в Откриваемост: основите.

Собствен robots.txt

Ако сами поставите файл robots.txt в уеб папката си, той има предимство пред виртуалния robots.txt на WordPress. При хостинг пакет на WebOké уеб папката е public_html на Вашия домейн. Поставете файла там с File Manager в DirectAdmin (вижте Отваряне на File Manager: папките във Вашия пакет) или чрез FTP.

Прост robots.txt, който разрешава всичко и сочи към Вашия sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Сайт, който създавате сами

Създавате ли сайта си сами или с друга програма? Тогава проверете дали тази програма създава sitemap. Ако не, можете и без него: малък сайт с добри връзки между страниците също се открива. Все пак sitemap помага. Поставете го в уеб папката си и го посочете в robots.txt, както е показано по-горе.

Проверка

• Отворете https://jouwdomein.nl/robots.txt. Има ли Disallow: / под User-agent: *? Тогава нито една търсачка няма право да посещава сайта Ви. Премахнете този ред, когато сайтът Ви е готов.
• Има ли ред Sitemap:? Отворете този адрес в браузъра си. Трябва да видите списък с адреси от Вашия сайт, с https и Вашия собствен домейн.

Съвет: robots.txt не държи дадена страница извън Google. Страница, която не бива да се посещава, все пак може да се появи в резултатите от търсенето, ако други сайтове сочат към нея. Ако наистина искате да държите страница извън Google, използвайте noindex. Разликата ще прочетете в урока robots.txt: какво блокирате и какво не от курса „Да бъдете намерени онлайн“.