llms.txt: какво е, какво да сложите в него и как направихме нашия

Преди години всеки сайт трябваше да има sitemap.xml. После robots.txt стана задължителен. Сега в разговорите за AI търсене все по-често се появява трети файл: llms.txt.
Направихме такъв за този сайт. Можете да го видите на bobibonchev.com/llms.txt. Ето какво представлява, защо го има и къде са границите му.
Какво е llms.txt
llms.txt е обикновен текстов файл в корена на сайта, написан в Markdown. Идеята е да даде на езиковите модели кратко и чисто резюме на сайта: кои сте, какво предлагате и кои страници са най-важни, с линкове към тях.
Защо е нужно, щом има HTML? Защото една типична страница е пълна с меню, бисквитки, футър, скриптове и банери. Човек ги прескача. Модел с ограничен контекст трябва да ги „прочете“, за да стигне до смисъла. llms.txt му спестява това и му казва директно: ето същественото.
Какво не е llms.txt
- Не е заместител на robots.txt. Той не разрешава и не забранява достъп.
- Не е sitemap. Sitemap изброява всичко, llms.txt подбира важното и го обяснява.
- Не е официален стандарт. Това е предложение, което се приема постепенно, и няма публично потвърждение, че всички големи AI системи го четат систематично.
Какво да сложите в него
Предложеният формат е прост:
- Заглавие (H1) с името на сайта или бизнеса.
- Кратко резюме в цитат: едно-две изречения кои сте и какво правите.
- Допълнителен контекст, ако е нужен: за кого е бизнесът, къде работи.
- Секции (H2) със списъци от линкове, като всеки линк има кратко описание.
За повечето бизнеси логичните секции са услуги, продукти, статии и контакти. Важното е описанията да са конкретни. „Услуги“ не казва нищо. „Индивидуален софтуер и ERP системи за средни фирми“ казва много.
Грешки, които да избягвате
- Маркетингови фрази вместо факти. Моделът няма да се впечатли от „водещ доставчик на иновативни решения“.
- Стотици линкове без подбор. Целта е яснота, не пълнота.
- Остаряла информация. Файл, който описва услуга, спряна преди две години, вреди повече, отколкото помага.
Как направихме нашия
Последната грешка е най-честата, защото llms.txt обикновено се пише на ръка веднъж и после се забравя. Затова при нас той се генерира автоматично от данните на сайта. Не го поддържа човек.
Съдържа три основни групи:
- Услугите: всичко, което предлагаме като консултации и разработка, с кратко описание на всяка;
- Продуктите: собствените ни софтуерни продукти, всеки с линк и едно изречение за какво служи;
- Статиите: публикуваните материали в блога.
Когато добавим нова услуга или публикуваме статия, тя се появява във файла сама. Когато нещо се премахне, изчезва. Така файлът винаги казва истината за сайта към момента, а не към деня, в който някой се е сетил да го обнови.
Това е малко решение, но отразява принцип, който прилагаме навсякъде: ако нещо трябва да се поддържа ръчно, рано или късно ще се разсинхронизира. По-добре да се извлича от един източник.
Ако правите това за собствения си сайт, препоръката ми е да вървите още една крачка напред: данните, от които се генерира llms.txt, да са същите, от които идват страниците и структурираните данни (schema). Тогава това, което казвате на хората, на Google и на езиковите модели, е едно и също. Разминаванията между тези три „версии“ на един бизнес са сред най-честите причини AI асистент да даде непълен или грешен отговор. Например стара цена на една страница, нова на друга и трета в каталог, който никой не е отварял от години.
robots.txt и AI краулърите
llms.txt казва „ето какво е важно“. robots.txt казва „ето къде можеш да влезеш“. Двете работят заедно.
Основните AI краулъри, които си струва да познавате:
- GPTBot на OpenAI;
- ClaudeBot на Anthropic;
- PerplexityBot на Perplexity;
- Google-Extended, който не е отделен бот, а токен, с който казвате на Google дали съдържанието ви може да се ползва за Gemini. Той не влияе на класирането ви в Google Search.
Някои компании имат и отделни ботове за търсене в реално време, различни от тези за обучение. Ако искате да се появявате в AI отговорите, проверете документацията на всеки доставчик и не блокирайте търсещите ботове по невнимание.
Пример
Ако искате да разрешите достъп на всички изброени, правилата изглеждат така:
User-agent: GPTBot
Allow: /
Същото се повтаря за ClaudeBot, PerplexityBot и Google-Extended. За да забраните достъп, ползвате Disallow: / вместо Allow. Можете и да отворите само част от сайта, например блога, а да затворите вътрешни зони.
Да блокирате или не?
Зависи от бизнеса. Ако продавате услуги и искате да бъдете препоръчвани, блокирането обикновено работи срещу вас: моделите няма откъде да научат за вас. Ако съдържанието ви е самият продукт, например платени статии или база данни, има смисъл да го пазите.
Границите
Тук държа да съм честен, защото около темата има много шум.
- Нито llms.txt, нито robots.txt гарантират класиране. Те премахват пречки, не създават авторитет.
- robots.txt е молба, не ключалка. Добросъвестните ботове го спазват, но той не е техническа защита.
- Съдържанието остава основното. Ако на сайта няма ясна, конкретна и полезна информация, нито един файл няма да компенсира това.
Мисля за llms.txt като за добре подредена визитка. Няма да ви донесе клиент сама по себе си, но когато някой я погледне, ще разбере бързо кои сте.
Чеклист
- Създайте llms.txt в корена на сайта с резюме и секции с линкове.
- Генерирайте го автоматично, ако сайтът се променя често.
- Проверете robots.txt за GPTBot, ClaudeBot, PerplexityBot и Google-Extended.
- Не блокирайте ботовете за търсене, ако искате да се появявате в AI отговори.
- Работете по съдържанието, schema и споменаванията, защото там е истинската тежест.
llms.txt е една част от по-голямата картина, която покриваме в AI SEO оптимизацията. Класическото SEO остава основата.
Ако искате llms.txt и правилен robots.txt за вашия сайт, или просто да проверим какво виждат AI ботовете днес, пишете ми.
Често задавани въпроси
Какво е llms.txt?
Текстов файл в Markdown в корена на сайта, който дава на езиковите модели кратко резюме на сайта и линкове към най-важните страници.
Какво съдържа llms.txt на bobibonchev.com?
Услугите, продуктите и статиите на сайта. Генерира се автоматично от данните на сайта, така че винаги е актуален.
Заменя ли llms.txt robots.txt?
Не. llms.txt подсказва какво е важно, а robots.txt казва до кои части на сайта ботовете имат достъп.
Какво е Google-Extended?
Токен в robots.txt, с който казвате на Google дали съдържанието ви може да се ползва за Gemini. Не влияе на класирането в Google Search.
Гарантира ли llms.txt по-добро класиране в AI?
Не. Той премахва пречки, но не създава авторитет. Съдържанието, schema и споменаванията остават основното.