Разрешаване или блокиране на AI crawlers: robots.txt и llms.txt
AI услуги като ChatGPT, Claude, Gemini и Perplexity извличат уеб страници: за обучение на модели, за отговори при търсене или за отговор на въпрос на потребител. С robots.txt Вие указвате кои от тези роботи могат да посещават Вашия сайт. Освен това съществува предложението llms.txt. В тази статия ще научите какви роботи има, как да ги разрешите или блокирате и какво llms.txt прави и какво не прави. Като пример използваме example.com.
1. Най-важните AI роботи
Повечето AI компании използват отделни имена за обучение, търсене и извличане по заявка на потребител. Така можете например да блокирате обучението и въпреки това да продължите да се показвате в отговорите при търсене.
| Име в robots.txt | От | За какво |
|---|---|---|
GPTBot | OpenAI | Събиране на страници, които могат да се използват за обучение на модели |
OAI-SearchBot | OpenAI | Функцията за търсене на ChatGPT. Ако го блокирате, Вашият сайт няма да се появява в отговорите при търсене на ChatGPT |
ChatGPT-User | OpenAI | Извличане на страница, когато потребител поиска това. Според OpenAI robots.txt тук може да не се прилага |
ClaudeBot | Anthropic | Събиране на страници, които могат да се използват за обучение на модели |
Claude-SearchBot | Anthropic | Индексиране на страници за функцията за търсене на Claude |
Claude-User | Anthropic | Извличане на страница, когато потребител поиска това |
Google-Extended | Не е отделен робот, а име, с което указвате дали Google може да използва Вашето съдържание за обучение на моделите Gemini и за grounding. Според Google това не влияе на позицията Ви в Google Търсене | |
PerplexityBot | Perplexity | Показване на сайтове и връзки към тях в резултатите от търсенето на Perplexity, не за обучение |
Perplexity-User | Perplexity | Извличане на страница, когато потребител поиска това. Според Perplexity този робот обикновено пренебрегва robots.txt |
Списъкът се променя редовно. За актуалните имена вижте документацията на OpenAI, Anthropic, Google и Perplexity.
2. Примерен robots.txt
Този пример блокира обучението на модели, но разрешава роботите за търсене и обикновените търсачки:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Всеки робот следва само групата със собственото си име, а ако няма такава, групата
*. В примера GPTBot следователно няма достъп никъде, аDisallow: /winkelmand/не се отнася за GPTBot. - Ако искате да разрешите всички AI роботи, не е нужно да правите нищо: без правила всичко е разрешено.
- Ако по невнимание блокирате робот за търсене, като
OAI-SearchBot,Claude-SearchBotилиPerplexityBot, Вашият сайт ще се открива по-трудно в тези AI услуги за търсене. - Блокирането действа само занапред. Онова, което вече е било извлечено, не можете да върнете с него.
public_html на Вашия домейн. Можете да го създадете или редактирате чрез File Manager или FTP. WordPress сам създава robots.txt, докато няма такъв файл, а AI Builder сам поставя такъв при публикуване. Как работи robots.txt по-подробно, ще прочетете в Как да скриете страница от Google: robots.txt или noindex?.3. Какво е llms.txt?
llms.txt е предложение от 2024 г. за текстов файл на адрес https://example.com/llms.txt. В него на Markdown поставяте кратко описание на сайта си и връзки към най-важните страници, така че AI услугата бързо да вижда къде се намира полезната информация. Прост пример:
# Пекарна Пример > Занаятчийска пекарна в Пловдив с хляб, сладкиши и торти по поръчка. ## Важни страници - [Асортимент](https://example.com/assortiment): хляб, сладкиши и торти - [Поръчка](https://example.com/bestellen): поръчка и получаване на торта - [Контакти](https://example.com/contact): адрес и работно време
Добре е да знаете:
- llms.txt не е официален стандарт, а предложение. Няма гаранция, че AI услугите четат файла. Google е заявил, че Google Търсене не го използва.
- llms.txt не блокира нищо. Ако искате да спрете роботи, използвайте robots.txt.
- Файлът не се появява от само себе си: създавате го сами или го оставяте да бъде създаден от плъгин.
4. Създаване на llms.txt в WordPress
Известните SEO плъгини могат да създават и поддържат llms.txt вместо Вас:
- Yoast SEO: отидете в Yoast SEO, Настройки, Функции на сайта и при AI функциите включете llms.txt. Можете да оставите Yoast да избере страниците или да ги посочите сами.
- Rank Math: в Табло на Rank Math включете модула LLMS Txt. След това ще намерите настройките в Общи настройки.
Имената на менютата се различават според версията. Ако не виждате опцията, обновете плъгина. След това можете да прегледате файла на адрес https://vashiyat-domein.bg/llms.txt.
Без WordPress създавате файла сами: текстов файл llms.txt в папката public_html, точно както robots.txt.
Подробно обяснение с екранни снимки: Sitemap и robots.txt при WordPress и Вашия собствен сайт и Sitemap и robots.txt при AI Builder в ръководството Как да бъдете намерени онлайн.
Искате да научите повече? Запишете се за безплатния курс Как да бъдете намерени онлайн, урок 3.3 robots.txt: какво да блокирате и какво не.