B · O · B · IБоби Бончев

llms.txt: какво е, какво да сложите в него и как направихме нашия

llms.txt: какво е, какво да сложите в него и как направихме нашия

Преди години всеки сайт трябваше да има sitemap.xml. После robots.txt стана задължителен. Сега в разговорите за AI търсене все по-често се появява трети файл: llms.txt.

Направихме такъв за този сайт. Можете да го видите на bobibonchev.com/llms.txt. Ето какво представлява, защо го има и къде са границите му.

Какво е llms.txt

llms.txt е обикновен текстов файл в корена на сайта, написан в Markdown. Идеята е да даде на езиковите модели кратко и чисто резюме на сайта: кои сте, какво предлагате и кои страници са най-важни, с линкове към тях.

Защо е нужно, щом има HTML? Защото една типична страница е пълна с меню, бисквитки, футър, скриптове и банери. Човек ги прескача. Модел с ограничен контекст трябва да ги „прочете“, за да стигне до смисъла. llms.txt му спестява това и му казва директно: ето същественото.

Какво не е llms.txt

  • Не е заместител на robots.txt. Той не разрешава и не забранява достъп.
  • Не е sitemap. Sitemap изброява всичко, llms.txt подбира важното и го обяснява.
  • Не е официален стандарт. Това е предложение, което се приема постепенно, и няма публично потвърждение, че всички големи AI системи го четат систематично.

Какво да сложите в него

Предложеният формат е прост:

  1. Заглавие (H1) с името на сайта или бизнеса.
  2. Кратко резюме в цитат: едно-две изречения кои сте и какво правите.
  3. Допълнителен контекст, ако е нужен: за кого е бизнесът, къде работи.
  4. Секции (H2) със списъци от линкове, като всеки линк има кратко описание.

За повечето бизнеси логичните секции са услуги, продукти, статии и контакти. Важното е описанията да са конкретни. „Услуги“ не казва нищо. „Индивидуален софтуер и ERP системи за средни фирми“ казва много.

Грешки, които да избягвате

  • Маркетингови фрази вместо факти. Моделът няма да се впечатли от „водещ доставчик на иновативни решения“.
  • Стотици линкове без подбор. Целта е яснота, не пълнота.
  • Остаряла информация. Файл, който описва услуга, спряна преди две години, вреди повече, отколкото помага.

Как направихме нашия

Последната грешка е най-честата, защото llms.txt обикновено се пише на ръка веднъж и после се забравя. Затова при нас той се генерира автоматично от данните на сайта. Не го поддържа човек.

Съдържа три основни групи:

  • Услугите: всичко, което предлагаме като консултации и разработка, с кратко описание на всяка;
  • Продуктите: собствените ни софтуерни продукти, всеки с линк и едно изречение за какво служи;
  • Статиите: публикуваните материали в блога.

Когато добавим нова услуга или публикуваме статия, тя се появява във файла сама. Когато нещо се премахне, изчезва. Така файлът винаги казва истината за сайта към момента, а не към деня, в който някой се е сетил да го обнови.

Това е малко решение, но отразява принцип, който прилагаме навсякъде: ако нещо трябва да се поддържа ръчно, рано или късно ще се разсинхронизира. По-добре да се извлича от един източник.

Ако правите това за собствения си сайт, препоръката ми е да вървите още една крачка напред: данните, от които се генерира llms.txt, да са същите, от които идват страниците и структурираните данни (schema). Тогава това, което казвате на хората, на Google и на езиковите модели, е едно и също. Разминаванията между тези три „версии“ на един бизнес са сред най-честите причини AI асистент да даде непълен или грешен отговор. Например стара цена на една страница, нова на друга и трета в каталог, който никой не е отварял от години.

robots.txt и AI краулърите

llms.txt казва „ето какво е важно“. robots.txt казва „ето къде можеш да влезеш“. Двете работят заедно.

Основните AI краулъри, които си струва да познавате:

  • GPTBot на OpenAI;
  • ClaudeBot на Anthropic;
  • PerplexityBot на Perplexity;
  • Google-Extended, който не е отделен бот, а токен, с който казвате на Google дали съдържанието ви може да се ползва за Gemini. Той не влияе на класирането ви в Google Search.

Някои компании имат и отделни ботове за търсене в реално време, различни от тези за обучение. Ако искате да се появявате в AI отговорите, проверете документацията на всеки доставчик и не блокирайте търсещите ботове по невнимание.

Пример

Ако искате да разрешите достъп на всички изброени, правилата изглеждат така:

User-agent: GPTBot

Allow: /

Същото се повтаря за ClaudeBot, PerplexityBot и Google-Extended. За да забраните достъп, ползвате Disallow: / вместо Allow. Можете и да отворите само част от сайта, например блога, а да затворите вътрешни зони.

Да блокирате или не?

Зависи от бизнеса. Ако продавате услуги и искате да бъдете препоръчвани, блокирането обикновено работи срещу вас: моделите няма откъде да научат за вас. Ако съдържанието ви е самият продукт, например платени статии или база данни, има смисъл да го пазите.

Границите

Тук държа да съм честен, защото около темата има много шум.

  • Нито llms.txt, нито robots.txt гарантират класиране. Те премахват пречки, не създават авторитет.
  • robots.txt е молба, не ключалка. Добросъвестните ботове го спазват, но той не е техническа защита.
  • Съдържанието остава основното. Ако на сайта няма ясна, конкретна и полезна информация, нито един файл няма да компенсира това.

Мисля за llms.txt като за добре подредена визитка. Няма да ви донесе клиент сама по себе си, но когато някой я погледне, ще разбере бързо кои сте.

Чеклист

  1. Създайте llms.txt в корена на сайта с резюме и секции с линкове.
  2. Генерирайте го автоматично, ако сайтът се променя често.
  3. Проверете robots.txt за GPTBot, ClaudeBot, PerplexityBot и Google-Extended.
  4. Не блокирайте ботовете за търсене, ако искате да се появявате в AI отговори.
  5. Работете по съдържанието, schema и споменаванията, защото там е истинската тежест.

llms.txt е една част от по-голямата картина, която покриваме в AI SEO оптимизацията. Класическото SEO остава основата.

Ако искате llms.txt и правилен robots.txt за вашия сайт, или просто да проверим какво виждат AI ботовете днес, пишете ми.

Често задавани въпроси

Какво е llms.txt?

Текстов файл в Markdown в корена на сайта, който дава на езиковите модели кратко резюме на сайта и линкове към най-важните страници.

Какво съдържа llms.txt на bobibonchev.com?

Услугите, продуктите и статиите на сайта. Генерира се автоматично от данните на сайта, така че винаги е актуален.

Заменя ли llms.txt robots.txt?

Не. llms.txt подсказва какво е важно, а robots.txt казва до кои части на сайта ботовете имат достъп.

Какво е Google-Extended?

Токен в robots.txt, с който казвате на Google дали съдържанието ви може да се ползва за Gemini. Не влияе на класирането в Google Search.

Гарантира ли llms.txt по-добро класиране в AI?

Не. Той премахва пречки, но не създава авторитет. Съдържанието, schema и споменаванията остават основното.

B · O · B · I

Боби Бончев

QR код към визитката

Сканирайте, за да отворите визитката · bobibonchev.com