robots.txt, llms.txt і ШІ-боти: що дозволяти, а що ні

19 жовтня 2026LightSEO7 хв читання

Як налаштувати robots.txt для ШІ-ботів: чим відрізняються боти навчання, пошуку та запитів користувача, що закривати від усіх, і чи потрібен файл llms.txt для вашого сайту.

Про нас

Хто ми і як працюємо

Рішення залежить від мети. Щоб потрапляти у відповіді ШІ-пошуку, дозвольте пошукових ботів. Якщо матеріали не повинні йти на навчання моделей, закрийте ботів навчання. Службові розділи – кошик, кабінет, внутрішній пошук – закривають для всіх. Файл llms.txt залишається добровільною пропозицією спільноти, і його підтримка залежить від конкретного сервісу.

Коротко

robots.txt розміщують у корені домену; він містить правила для окремих ботів за назвою (User-agent).
ШІ-боти виконують різні ролі: навчання моделей, індексація для пошуку та запити за дорученням користувача. Правила задають окремо для кожної ролі.
robots.txt є проханням до сумлінних ботів і не захищає дані, тому приватну інформацію закривають автентифікацією.
llms.txt – необов'язкова добровільна підказка; пріоритет мають індексація й якість контенту.
Назви ботів і правила операторів змінюються, тому їх звіряють із документацією та перевіряють за журналами сервера.

Три ролі ШІ-ботів

Назва бота сама по собі нічого не говорить про його роль, тому спершу розділіть ботів за призначенням. Оператори описують його у відкритій документації.

Роль	Приклади назв	Що змінює дозвіл	Що змінює заборона
Навчання моделей	GPTBot, ClaudeBot, Google-Extended, CCBot	Матеріали можуть потрапити в дані для навчання	Ви заявляєте відмову від такого використання під час подальшого сканування
Індексація для відповідей	OAI-SearchBot, Claude-SearchBot, PerplexityBot та звичайні Googlebot і Bingbot	Сторінки можуть з'являтися як джерела у відповідях	Сторінки можуть зникнути з джерел цих сервісів
Запити користувача	ChatGPT-User, Claude-User, Perplexity-User	Асистент може відкрити сторінку, коли людина про це просить	Оператори по-різному описують, чи діє тут robots.txt, тому читайте їхню документацію

Назви взято з відкритої документації операторів на момент підготовки статті; вони змінюються, тому перед внесенням правил звіряйте актуальні списки. Google-Extended є маркером для robots.txt: за поясненнями Google, він керує використанням матеріалів для частини ШІ-продуктів компанії й не впливає на присутність сайту в пошуку.

Щоб дізнатися, хто саме відвідує сайт, відкрийте журнали сервера або звіти хостингу й подивіться значення User-Agent. Серед рядків можуть траплятися боти, яких немає у вашому списку: перед блокуванням перевірте їх у документації оператора.

Що дозволяти і що закривати

Мета	Рішення
Потрапляти у відповіді ШІ-пошуку й отримувати переходи	Дозволити пошукових ботів і не блокувати їх у CDN та плагінах безпеки
Не віддавати матеріали для навчання моделей	Заборонити маркери та боти навчання; правила діють на подальше сканування
Платні, ліцензовані або закриті матеріали	Закрити авторизацією чи платним доступом; одного robots.txt для цього недостатньо
Службові розділи: кошик, кабінет, внутрішній пошук, фільтри з параметрами	Disallow для всіх ботів
Велике навантаження на сервер	Обмеження частоти запитів на рівні CDN чи сервера, аналіз журналів

Рішення щодо ботів навчання залежить від бізнесу. Компанії, що залучають клієнтів через пошук і впізнаваність бренду, часто залишають відкритим усе, що допомагає їх знайти. Видавці й автори оригінального контенту частіше обмежують навчання. Єдине правило для всіх ботів одразу майже ніколи не підходить, адже ролі різні.

Приклад правил

Приклад для сайту, який хоче лишатися видимим у пошуку й просить не використовувати матеріали для навчання. Назви ботів і шляхи підставте свої.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Як читати такий файл:

Кожна група починається з рядка User-agent із назвою бота, далі йдуть правила Allow і Disallow.
Бот виконує найточнішу групу для своєї назви, тому для GPTBot діє власна група, і правила групи User-agent: * до нього не застосовуються.
Шлях у правилі вказують від кореня, регістр у шляхах має значення.
Рядок Sitemap задає повну адресу карти сайту.
Файл діє лише для домену й піддомену, на якому розміщений, тому для кожного піддомену потрібен власний.

Якщо ви хочете лишитися відкритим для всіх ботів, достатньо закрити тільки службові розділи:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Що таке llms.txt і чи потрібен він

llms.txt – це пропозиція спільноти розмістити в корені сайту текстовий файл у форматі Markdown з коротким описом сайту та посиланнями на найважливіші сторінки. Ідея в тому, щоб мовним моделям було легше знайти головне, зокрема в документації й довідкових розділах. Це неофіційна ініціатива без затвердженого стандарту. Підтримка залежить від конкретного інструмента.

Публічних гарантій, що популярні пошукові системи враховують цей файл, немає, тому його сприймають як необов'язкове доповнення після основ. Якщо ви вирішите створити файл, дотримуйтеся простих правил:

Коротко опишіть сайт і перелічіть головні розділи з одним реченням про кожен.
Давайте посилання на канонічні адреси, які відповідають кодом 200.
Підтримуйте файл в актуальному стані після змін структури сайту.
Не додавайте інструкції для моделей чи сумнівні твердження: файл має бути правдивим довідником.
Пам'ятайте, що llms.txt нічого не закриває: для обмежень існує robots.txt.

Для більшості невеликих сайтів час краще витратити на індексацію, структуру сторінок і розмітку, які описано в статті Як підготувати сайт до ШІ-пошуку: структура, дані, довіра.

Навантаження на сервер і скрапери

Окремі боти надсилають багато запитів, і на слабкому хостингу це помітно. Перевірте в журналах, які боти створюють основне навантаження. Допомагають обмеження частоти запитів на рівні CDN чи сервера, кешування сторінок і правила WAF. Директиву Crawl-delay підтримують не всі боти, тому покладатися лише на неї не варто. Будьте обережні з жорсткими блокуваннями за країнами чи діапазонами IP: вони можуть відсікти корисних ботів і справжніх клієнтів.

Як перевірити правила й не зашкодити сайту

Відкрийте адресу /robots.txt у браузері й переконайтеся, що файл відповідає кодом 200 та містить очікувані правила.
Перевірте файл у Google Search Console: звіт про robots.txt і перевірка окремих адрес показують, чи доступні сторінки для Googlebot.
Проаналізуйте журнали сервера: User-Agent, частоту запитів, відвідування закритих розділів.
Перевіряйте справжність ботів. Заявлений User-Agent легко підробити; оператори зазвичай публікують діапазони IP-адрес або способи перевірки.
Перегляньте налаштування CDN, WAF і плагінів безпеки: деякі мають вбудовані правила для ШІ-ботів, які можуть суперечити robots.txt.
Повторіть перевірку через кілька днів: боти кешують файл і реагують на зміни не миттєво.

Типові помилки

Залишений після тестування Disallow: / для всіх ботів: сайт зникає з пошуку.
Блокування CSS і JavaScript, потрібних для відображення сторінок.
Спроба прибрати сторінку з пошуку через robots.txt. Заборона сканування не видаляє адресу з індексу; для цього використовують noindex, який бот має змогу прочитати.
Копіювання чужого списку ботів без перевірки назв і призначення.
Розрахунок на захист приватних даних через robots.txt: файл є проханням до ботів і доступний будь-кому.
Блокування всіх ШІ-ботів без рішення про видимість у відповідях.

Питання і відповіді

Чи варто блокувати GPTBot?

Залежить від мети. За документацією оператора, GPTBot пов'язаний із навчанням моделей, а пошуковий бот має окрему назву. Тому заборона GPTBot є проханням не використовувати сторінки для навчання й сама по собі не закриває пошукового бота. Рішення приймає власник контенту з урахуванням бізнес-моделі.

Чи впливає блокування ШІ-ботів на позиції в Google?

За поясненнями Google, маркер Google-Extended не впливає на присутність сайту в пошуку. Блокування самого Googlebot, навпаки, прибирає сторінки з пошуку. Тому перш ніж змінювати правила, перевірте, до якого бота вони застосовуються.

Чи всі боти дотримуються robots.txt?

Ні. Сумлінні оператори його дотримуються. Сторонні скрапери можуть ігнорувати файл, тому від небажаного трафіку захищають обмеженням частоти запитів, правилами WAF і вимогою авторизації.

Чи потрібен llms.txt інтернет-магазину?

Необов'язково. Для магазину важливіші фід товарів, розмітка Product, швидкий сайт і зрозумілі політики. Якщо є вільні ресурси, файл можна додати як довідник основних розділів.

Як часто переглядати robots.txt?

Після кожної зміни структури сайту, релізу чи міграції, а також планово раз на кілька місяців. Оператори оновлюють назви й призначення ботів, тому звіряйте список із їхньою документацією.

Висновок

Керувати доступом ШІ-ботів можна без складних інструментів: визначте мету, розділіть ботів за ролями, задайте правила в robots.txt і перевіряйте їх за журналами. Файл llms.txt залишається необов'язковим доповненням до основної роботи над сайтом. Перегляд правил після кожного великого релізу вбереже від випадкових помилок. Команда LightSEO – агенція з Мукачева, яка з 2015 року працює над сайтами й SEO, – може допомогти перевірити ваш robots.txt та загальну технічну картину. Для початку підійде SEO-аудит сайту, а для нового проєкту – корпоративний сайт під ключ.