Модул 1 · 1.3
Индексиране: какво влиза в индекса и какво не
Модул 1: Как работят търсачките · Време за четене: 11 минути
Цел на урока: След този урок ще можете да прецените за дадена страница дали тя може да влезе в индекса, а ако не може, коя от четирите „ключалки“ я спира: статус кодът, robots.txt, noindex или canonical.
Основни понятия: индексиране, технически изисквания на Google, noindex (meta robots и X-Robots-Tag), robots.txt не е noindex, канонизация, дублирано съдържание, soft 404, „Crawled - currently not indexed“ (обходена, но засега не е индексирана), „Discovered - currently not indexed“ (открита, но засега не е индексирана), липса на гаранция
Какво се случва при индексирането
След като crawler-ът е изтеглил една страница (урок 1.2), търсачката започва да я чете. Google анализира текста, заглавието, подзаглавията, изображенията и видеоклиповете и определя на какъв език е страницата. Google проверява също дали страницата е копие на друга страница и кое от тези копия е „истинското“. Едва след това Google решава дали страницата да влезе в индекса.
Google казва две неща по въпроса, които е добре да запомните:
- Включването не е гарантирано. Дори ако страницата Ви отговаря на всички изисквания, Google може да реши да не я включи.
- Нормално е не всичко да е включено. В помощната информация за отчета за индексиране Google пише буквално, че не бива да очаквате всеки адрес от сайта Ви да е индексиран и че това може да е напълно наред. Важното са Вашите основни страници.
Трите технически изисквания
Google посочва три технически изисквания, за да може една страница да бъде допусната до индекса:
- Googlebot не е блокиран. Страницата е достъпна и robots.txt не забранява изтеглянето ѝ.
- Страницата работи. Сървърът връща статус код 200, а не грешка.
- Страницата има съдържание, което може да се индексира. Текст във файлов формат, който Google може да чете, и без нарушение на правилата за спам.
На практика към тях се добавят два избора на собственика на сайта: noindex („не включвай това“) и canonical, който сочи към друг адрес („не тази, а онази“). Така се получават четири ключалки, през които една страница трябва да премине.
Ключалка 1: статус кодът
Само страница със статус 200 може да влезе в индекса. Код 301 или 308 пренасочва търсачката към новия адрес; тогава се оценява новият адрес. Код 404 или 410 премахва от индекса адрес, който е бил включен преди това.
Коварният вариант е soft 404 от урок 1.2: статус 200, но съдържанието е съобщение за грешка или почти празна страница. Google често разпознава това и не включва такава страница. Празна категория в онлайн магазин („няма намерени продукти“) също може да бъде приета за soft 404.
Ключалка 2: robots.txt
С robots.txt забранявате на един crawler да изтегли дадена страница. Това е различно от забраната да я включи в индекса. Google е категоричен: robots.txt не е начин да държите една страница извън Google. Ако други сайтове имат връзки към блокирана страница, адресът ѝ все пак може да се появи в резултатите, само че без описание. В Search Console това се нарича „Indexed, though blocked by robots.txt“ (индексирана, въпреки че е блокирана от robots.txt).
Robots.txt е предназначен за управление на трафика от обхождането: например, за да не обхожда crawler хиляди страници с резултати от търсенето във Вашия собствен сайт. Урок 3.3 разглежда темата по-подробно.
Ключалка 3: noindex
Ако наистина искате една страница да не се показва в резултатите от търсенето, използвайте noindex. Това става по два начина със същия ефект:
<!-- в <head> на страницата -->
<meta name="robots" content="noindex">X-Robots-Tag: noindexВторият е HTTP заглавен ред, който сървърът изпраща заедно със страницата. Той работи и за файлове, които не са HTML, например pdf. Стойността none означава същото като noindex, nofollow. С <meta name="googlebot" content="noindex"> правилото важи само за Google; други търсачки може да тълкуват едно общо правило по различен начин.
Ето и капана, в който се попада много често: noindex и блокиране в robots.txt не работят заедно. Ако robots.txt блокира страницата, Google не я изтегля и следователно никога не вижда noindex. Тогава страницата все пак може да влезе в индекса чрез връзки от други сайтове. Ако искате една страница да изчезне от Google: позволете изтеглянето ѝ и поставете noindex.
Къде може да попаднете на noindex, без да сте го искали?
- В WordPress в Настройки, Read има отметка „Discourage search engines from indexing this site“ (откажи търсачките от индексиране на този сайт). Тя поставя noindex на целия сайт. Удобно е, докато изграждате сайта, но е катастрофа, ако забравите да я махнете.
- В AI Builder можете да зададете сайт или страница като „без индексиране“; тогава в страницата се добавя
noindex, nofollow. Безплатен демо сайт също никога не се индексира. - SEO плъгин или тема с грешна настройка за отделна страница или за определен тип страници.
Другите конструктори на сайтове имат подобни превключватели, често с име от рода на „скриване от търсачките“.
Ключалка 4: canonical
Много сайтове имат една и съща страница на няколко адреса: с и без www, с http и https, с параметър в края, например ?utm_source=byuletin. От такива групи Google избира един адрес като каноничната версия и показва в резултатите само него. Останалите са дубликати.
Можете да помогнете на Google в избора с пренасочване (силен сигнал) или с canonical препратка в страницата:
<link rel="canonical" href="https://www.example.com/bulchinski-buketi">Canonical е сигнал, а не заповед: Google може да избере друг адрес. Ако Вашият canonical сочи към друг адрес, самата страница казва: „не включвай мен, а другата“. Това е добре, когато е вярно, и е проблем, когато е грешка, например ако всяка страница сочи към началната страница. Урок 3.5 разглежда това по-подробно.
Според Google дублираното съдържание в собствения Ви сайт не е нарушение на правилата за спам и не води до ръчно действие. То обаче е неефективно: crawler-ите изтеглят едно и също многократно, а Вие не решавате сами кой адрес да се показва в резултатите.
Съобщенията в Search Console
В отчета Pages (Page indexing) на Search Console (урок 2.4) виждате причина за всяка неиндексирана страница. И четирите ключалки се срещат там:
| Съобщение (приблизително) | Ключалка | Какво означава |
|---|---|---|
| Not found (404), Soft 404, Server error (5xx), Page with redirect | 1 | Статус кодът не позволява включване |
| Blocked by robots.txt | 2 | На Google не е било позволено да изтегли страницата |
| Excluded by ‘noindex’ tag | 3 | Google е видял noindex |
| Alternate page with proper canonical tag; Duplicate without user-selected canonical | 4 | Друг адрес е избран за канонична версия |
| Crawled - currently not indexed | няма | Google е прочел страницата и (все още) не я е включил |
| Discovered - currently not indexed | няма | Google знае адреса, но все още не го е изтеглил |
Последните две не са техническа грешка. „Crawled - currently not indexed“ се среща често; Google казва, че това не винаги е проблем. Ако става дума за важна страница, проверете дали тя наистина добавя нещо: уникална, полезна страница има по-голям шанс от бедна страница, която прилича на десет други.
Обобщение
- След обхождането търсачката решава дали една страница да влезе в индекса; това никога не е гарантирано и не всичко трябва да е там.
- Четири ключалки: статус 200, без блокиране в robots.txt, без noindex, canonical липсва или сочи към самата страница.
- robots.txt забранява изтеглянето, а не включването. Използвайте noindex, за да държите нещо извън резултатите, и тогава не блокирайте тази страница в robots.txt.
- Canonical е силен сигнал, а не заповед. Дублираното съдържание не е спам, но е неефективно.
- „Crawled - currently not indexed“ не е техническа грешка; погледнете стойността на страницата.
Тест (quiz)
Задача
Задача A1.3: Може ли тази страница да бъде в индекса? Въведете адреса на страница (страница от собствения Ви сайт или страница, която съзнателно скривате, например страница за благодарност). След това изберете очакването си: „може да бъде в индекса“ или „не може да бъде в индекса“, а ако изберете „не може“, посочете коя ключалка я спира (статус код, robots.txt, noindex, canonical към друг адрес). Програмата проверява четирите ключалки както в този урок и поставя своя резултат до Вашия.
Прочетете още
- Google, Технически изисквания на Google Търсене: https://developers.google.com/search/docs/essentials/technical
- Google, Блокиране на индексирането с noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Google, Въведение в robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google, Обединяване на дублирани URL адреси (канонизация): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
- Помощ за Google Search Console, отчет Page indexing: https://support.google.com/webmasters/answer/7440203
- Безплатен курс по WordPress 9.2: Видимост в търсачките: основите