robots.txt, llms.txt и ИИ-боты: что разрешать, а что запрещать

19 октября 2026LightSEO7 мин чтения

Как настроить robots.txt для ИИ-ботов: чем отличаются боты обучения, поиска и запросов пользователя, что закрывать от всех и нужен ли файл llms.txt вашему сайту.

Решение зависит от цели. Чтобы попадать в ответы ИИ-поиска, разрешите поисковых ботов. Если материалы не должны идти на обучение моделей, закройте ботов обучения. Служебные разделы – корзину, кабинет, внутренний поиск – закрывают для всех. Файл llms.txt остаётся добровольным предложением сообщества, и его поддержка зависит от конкретного сервиса.

Коротко

robots.txt размещают в корне домена; он содержит правила для отдельных ботов по названию (User-agent).
ИИ-боты выполняют разные роли: обучение моделей, индексация для поиска и запросы по поручению пользователя. Правила задают отдельно для каждой роли.
robots.txt является просьбой к добросовестным ботам и не защищает данные, поэтому приватную информацию закрывают авторизацией.
llms.txt – необязательная добровольная подсказка; приоритет имеют индексация и качество контента.
Названия ботов и правила операторов меняются, поэтому их сверяют с документацией и проверяют по журналам сервера.

Три роли ИИ-ботов

Название бота само по себе ничего не говорит о его роли, поэтому сначала разделите ботов по назначению. Операторы описывают его в открытой документации.

Роль	Примеры названий	Что меняет разрешение	Что меняет запрет
Обучение моделей	GPTBot, ClaudeBot, Google-Extended, CCBot	Материалы могут попасть в данные для обучения	Вы заявляете отказ от такого использования при дальнейшем сканировании
Индексация для ответов	OAI-SearchBot, Claude-SearchBot, PerplexityBot и обычные Googlebot и Bingbot	Страницы могут появляться как источники в ответах	Страницы могут исчезнуть из источников этих сервисов
Запросы пользователя	ChatGPT-User, Claude-User, Perplexity-User	Ассистент может открыть страницу, когда человек об этом просит	Операторы по-разному описывают, действует ли здесь robots.txt, поэтому читайте их документацию

Названия взяты из открытой документации операторов на момент подготовки статьи; они меняются, поэтому перед внесением правил сверяйте актуальные списки. Google-Extended является маркером для robots.txt: по пояснениям Google, он управляет использованием материалов для части ИИ-продуктов компании и не влияет на присутствие сайта в поиске.

Чтобы узнать, кто именно посещает сайт, откройте журналы сервера или отчёты хостинга и посмотрите значения User-Agent. Среди строк могут встретиться боты, которых нет в вашем списке: перед блокировкой проверьте их в документации оператора.

Что разрешать и что закрывать

Цель	Решение
Попадать в ответы ИИ-поиска и получать переходы	Разрешить поисковых ботов и не блокировать их в CDN и плагинах безопасности
Не отдавать материалы для обучения моделей	Запретить маркеры и ботов обучения; правила действуют на дальнейшее сканирование
Платные, лицензионные или закрытые материалы	Закрыть авторизацией или платным доступом; одного robots.txt для этого недостаточно
Служебные разделы: корзина, кабинет, внутренний поиск, фильтры с параметрами	Disallow для всех ботов
Высокая нагрузка на сервер	Ограничение частоты запросов на уровне CDN или сервера, анализ журналов

Решение по ботам обучения зависит от бизнеса. Компании, которые привлекают клиентов через поиск и узнаваемость бренда, часто оставляют открытым всё, что помогает их найти. Издатели и авторы оригинального контента чаще ограничивают обучение. Единое правило для всех ботов сразу почти никогда не подходит, ведь роли разные.

Пример правил

Пример для сайта, который хочет оставаться видимым в поиске и просит не использовать материалы для обучения. Названия ботов и пути подставьте свои.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Как читать такой файл:

Каждая группа начинается со строки User-agent с названием бота, затем идут правила Allow и Disallow.
Бот выполняет наиболее точную группу для своего названия, поэтому для GPTBot действует собственная группа, и правила группы User-agent: * к нему не применяются.
Путь в правиле указывают от корня, регистр в путях имеет значение.
Строка Sitemap задаёт полный адрес карты сайта.
Файл действует только для домена и поддомена, на котором размещён, поэтому для каждого поддомена нужен собственный.

Если вы хотите остаться открытым для всех ботов, достаточно закрыть только служебные разделы:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Что такое llms.txt и нужен ли он

llms.txt – это предложение сообщества разместить в корне сайта текстовый файл в формате Markdown с кратким описанием сайта и ссылками на важнейшие страницы. Идея в том, чтобы языковым моделям было проще найти главное, в частности в документации и справочных разделах. Это неофициальная инициатива без утверждённого стандарта. Поддержка зависит от конкретного инструмента.

Публичных гарантий, что популярные поисковые системы учитывают этот файл, нет, поэтому его воспринимают как необязательное дополнение после основ. Если вы решите создать файл, придерживайтесь простых правил:

Кратко опишите сайт и перечислите главные разделы с одним предложением о каждом.
Давайте ссылки на канонические адреса, которые отвечают кодом 200.
Поддерживайте файл в актуальном состоянии после изменений структуры сайта.
Не добавляйте инструкции для моделей и сомнительные утверждения: файл должен быть правдивым справочником.
Помните, что llms.txt ничего не закрывает: для ограничений существует robots.txt.

Для большинства небольших сайтов время лучше потратить на индексацию, структуру страниц и разметку, которые описаны в статье Как подготовить сайт к ИИ-поиску: структура, данные, доверие.

Нагрузка на сервер и скраперы

Отдельные боты отправляют много запросов, и на слабом хостинге это заметно. Проверьте в журналах, какие боты создают основную нагрузку. Помогают ограничения частоты запросов на уровне CDN или сервера, кеширование страниц и правила WAF. Директиву Crawl-delay поддерживают не все боты, поэтому полагаться только на неё не стоит. Будьте осторожны с жёсткими блокировками по странам или диапазонам IP: они могут отсечь полезных ботов и настоящих клиентов.

Как проверить правила и не навредить сайту

Откройте адрес /robots.txt в браузере и убедитесь, что файл отвечает кодом 200 и содержит ожидаемые правила.
Проверьте файл в Google Search Console: отчёт о robots.txt и проверка отдельных адресов показывают, доступны ли страницы для Googlebot.
Проанализируйте журналы сервера: User-Agent, частоту запросов, посещения закрытых разделов.
Проверяйте подлинность ботов. Заявленный User-Agent легко подделать; операторы обычно публикуют диапазоны IP-адресов или способы проверки.
Просмотрите настройки CDN, WAF и плагинов безопасности: у некоторых есть встроенные правила для ИИ-ботов, которые могут противоречить robots.txt.
Повторите проверку через несколько дней: боты кешируют файл и реагируют на изменения не мгновенно.

Типичные ошибки

Оставленный после тестирования Disallow: / для всех ботов: сайт пропадает из поиска.
Блокировка CSS и JavaScript, нужных для отображения страниц.
Попытка убрать страницу из поиска через robots.txt. Запрет сканирования не удаляет адрес из индекса; для этого используют noindex, который бот может прочитать.
Копирование чужого списка ботов без проверки названий и назначения.
Расчёт на защиту приватных данных через robots.txt: файл является просьбой к ботам и доступен любому.
Блокировка всех ИИ-ботов без решения о видимости в ответах.

Вопросы и ответы

Стоит ли блокировать GPTBot?

Зависит от цели. По документации оператора, GPTBot связан с обучением моделей, а поисковый бот имеет отдельное название. Поэтому запрет GPTBot является просьбой не использовать страницы для обучения и сам по себе не закрывает поискового бота. Решение принимает владелец контента с учётом бизнес-модели.

Влияет ли блокировка ИИ-ботов на позиции в Google?

По пояснениям Google, маркер Google-Extended не влияет на присутствие сайта в поиске. Блокировка самого Googlebot, напротив, убирает страницы из поиска. Поэтому прежде чем менять правила, проверьте, к какому боту они применяются.

Все ли боты соблюдают robots.txt?

Нет. Добросовестные операторы его соблюдают. Сторонние скраперы могут игнорировать файл, поэтому от нежелательного трафика защищаются ограничением частоты запросов, правилами WAF и требованием авторизации.

Нужен ли llms.txt интернет-магазину?

Необязательно. Для магазина важнее фид товаров, разметка Product, быстрый сайт и понятные политики. Если есть свободные ресурсы, файл можно добавить как справочник основных разделов.

Как часто пересматривать robots.txt?

После каждого изменения структуры сайта, релиза или миграции, а также планово раз в несколько месяцев. Операторы обновляют названия и назначение ботов, поэтому сверяйте список с их документацией.

Вывод

Управлять доступом ИИ-ботов можно без сложных инструментов: определите цель, разделите ботов по ролям, задайте правила в robots.txt и проверяйте их по журналам. Файл llms.txt остаётся необязательным дополнением к основной работе над сайтом. Пересмотр правил после каждого крупного релиза убережёт от случайных ошибок. Команда LightSEO – агентство из Мукачева, которое с 2015 года работает над сайтами и SEO, – может помочь проверить ваш robots.txt и общую техническую картину. Для начала подойдёт SEO-аудит сайта, а для нового проекта – корпоративный сайт под ключ.