Как да премахнете страница от Google: robots.txt или noindex?
Искате ли дадена страница да не се показва в Google, например страница за благодарност, тестова страница или стара промоция? Много хора тогава се сещат за файла robots.txt. Но robots.txt не държи страницата извън Google. За това служи noindex. В тази статия ще прочетете каква е разликата, как да използвате и двете и какво да направите със страница, която сте изтрили. Като пример използваме example.com.
Разликата накратко
| robots.txt | noindex | |
|---|---|---|
| Какво казва | „Не изтегляйте тази страница.“ | „Не включвайте тази страница в резултатите от търсенето.“ |
| Държи ли страницата извън Google? | Не. Ако други сайтове поставят връзки към страницата, адресът все пак може да се появи, без описание. | Да, след като Google посети страницата отново. |
| Къде се намира? | Един файл на https://example.com/robots.txt | В самата страница или като заглавен ред (header), който сървърът изпраща |
| За какво се използва? | За управление на обхождането, например пропускане на страниците с резултати от търсенето в собствения Ви сайт | За страници, които остават достъпни, но не трябва да са в Google |
Нито едното, нито другото е защита. Всеки може да прочете Вашия robots.txt, а страница с noindex остава напълно достъпна. Ако нещо наистина трябва да бъде защитено, поставете го зад парола. Вижте Защита на папка с парола в DirectAdmin.
Използване на noindex
Поставете този ред в <head> на страницата:
<meta name="robots" content="noindex">
За файлове без HTML, например pdf, сървърът може да изпрати същата инструкция като заглавен ред: X-Robots-Tag: noindex. Ефектът е същият.
Обикновено не е нужно да въвеждате това сами:
- AI Builder: отворете раздела SEO, изберете страницата и под Още за тази страница изключете превключвателя Тази страница е видима в Google. Страницата остава достъпна, но получава noindex. След това публикувайте отново.
- WordPress: SEO плъгинът има настройка за всяка страница, с която тя да не се индексира. Отметката Обезкуражаване на търсачките да индексират този сайт в Настройки, Четене важи за целия сайт.
- Други конструктори на уебсайтове: потърсете настройка от рода на „скриване от търсачките“.
Създаване или редактиране на robots.txt
При хостинг пакет robots.txt се намира в уеб папката на Вашия домейн, в DirectAdmin това е папката public_html. Създавате или редактирате файла чрез File Manager или FTP, вижте Отваряне на File Manager: папките във Вашия пакет. Пример:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *важи за всички роботи на търсачките.Disallow:с път забранява всичко, което започва с този път.Disallow: /забранява целия сайт.- Ако създадете и група
User-agent: Googlebot, Google следва само тази група и пренебрегва групата*. Затова повторете там всички правила, които важат и за Google. - Не блокирайте папки със стилове, скриптове или изображения, от които страницата Ви се нуждае.
- Липсата на robots.txt не е проблем: тогава всичко е позволено. Ако адресът връща сървърна грешка, Google временно спира да изтегля.
WordPress сам създава robots.txt, докато в уеб папката няма такъв файл. AI Builder сам поставя robots.txt с ред Sitemap: при публикуване.
Подробно обяснение с екранни снимки: Sitemap и robots.txt в AI Builder и Sitemap и robots.txt в WordPress и във Вашия собствен сайт в ръководството Да бъдете намерени онлайн.
Google обикновено съхранява Вашия robots.txt до 24 часа. В Search Console, в Настройки, ще намерите отчета за robots.txt: коя версия Google е изтеглил последно, с грешки и предупреждения, както и бутон за повторното му изтегляне.
Изтрита страница: 404 или 410, а не soft 404
Ако сте изтрили страница, адресът трябва да връща код за състояние 404 (не е намерена) или 410 (премахната). При следващото посещение Google премахва адреса от резултатите от търсенето. Ако страницата има наследник, пренасочете стария адрес с 301 към новата страница, вижте Пренасочване на сайт: препращане на домейн или страница.
Soft 404 е страница, която казва, че не съществува, или е почти празна, но въпреки това връща код 200 (намерена). Google често разпознава това и не включва такава страница. В Search Console го виждате като причина Soft 404. Пренасочването на всички изтрити страници към началната Ви страница също може да се счита за soft 404. Затова страница, която наистина е премахната, трябва да връща истински 404 или 410.
Трябва ли дадена страница бързо да изчезне от резултатите, например защото по погрешка на нея е имало лични данни? Тогава използвайте Премахвания в Search Console. Това действа временно, около шест месеца. Затова се погрижете страницата да има и 404, 410, парола или noindex.
Допълнителна информация
- Google: Блокиране на индексирането с noindex (на английски)
- Google: Въведение в robots.txt (на английски)
- Google: Отчет за robots.txt
- Блокиране на файлове чрез .htaccess
Използвате ли WordPress? В урока Откриваемост: основите от безплатния курс за WordPress ще прочетете повече за robots.txt и отметката за обезкуражаване на търсачките.
Искате ли да научите повече? Запишете се за безплатния курс Да бъдете намерени онлайн, урок 3.3 robots.txt: какво да блокирате и какво не.
Искате да научите повече? Преминете безплатния курс Видимост онлайн, урок 3.3 robots.txt: какво да блокирате и какво не.