Почему кнопка «заблокировать ИИ» требует внимания
Представим обычный сайт производственной компании. В блоге — инструкции, в каталоге — оборудование, на страницах услуг — условия работы и примеры проектов.
Для владельца это один сайт. Для бизнеса у страниц разные задачи:
- инструкция помогает специалисту разобраться в проблеме;
- карточка оборудования участвует в сравнении поставщиков;
- кейс подтверждает опыт;
- закрытая документация предназначена только для клиента.
Применять ко всему этому одинаковую политику неудобно. Запрет может затронуть именно те материалы, по которым потенциальный заказчик должен найти компанию. А разрешение обхода публичных страниц совершенно не означает, что нужно открывать клиентские документы.
Поэтому первый вопрос перед настройкой: что именно мы защищаем и какой результат хотим сохранить?
Три задачи, которые часто смешивают
| Задача владельца | Что нужно проверять | Что нельзя считать результатом автоматически |
|---|---|---|
| Ограничить использование контента для обучения | Правила соответствующих обучающих роботов и управляющих токенов | Исчезновение всех упоминаний компании в ИИ |
| Сохранить возможность попадания в ответы со ссылками | Доступ поисковых роботов, правила конкретной системы, качество страниц | Гарантированное цитирование и заявки |
| Закрыть непубличные материалы | Авторизацию и ограничения доступа на сервере | Защиту одним файлом robots.txt |
Это разные технические задачи. Их лучше зафиксировать до установки плагина или изменения настроек защиты.
Как закрыть GPTBot и оставить сайт доступным для поиска ChatGPT
OpenAI разделяет назначение роботов. GPTBot собирает материалы, которые могут использоваться для обучения моделей. OAI-SearchBot связан с поиском ChatGPT. Управление ими независимо: можно запретить первый и разрешить второй. [1]
Пример такого намерения в robots.txt:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Это пример для публичного сайта, а не готовая замена вашего файла. Перед добавлением нужно проверить существующие группы правил. Если отдельные пути должны оставаться закрытыми для поискового робота, их ограничения необходимо учесть в его группе.
У OpenAI также есть ChatGPT-User — обращения по инициативе пользователя. Компания отдельно предупреждает, что к ним правила robots.txt могут не применяться. Поэтому приведённая настройка не означает «ChatGPT больше никогда не откроет мой сайт». [1]
И обратное: разрешение OAI-SearchBot оставляет возможность участия в поиске, но не покупает место в ответе. Системе ещё нужно найти подходящий материал и выбрать его для конкретного запроса.
Можно ли отключить ИИ-ответы Google, сохранив обычный поиск
В актуальной справке Google описан отдельный инструмент Search generative AI control в Search Console. Компания сообщает, что с 31 августа 2026 года он доступен сайтам по всему миру. Настройка управляет участием в AI Overviews, AI Mode и генеративных функциях Discover. [2]
Путь в англоязычном интерфейсе: Settings → Search generative AI.
По документации Google, исключение из этих функций не используется как сигнал ранжирования или включения в остальные части поиска. При этом сайт теряет показы и переходы именно из отключённых генеративных функций. Настройка не управляет обучением моделей. [2]
Для владельца сайта это возможность принять отдельное решение. Но само наличие переключателя ещё не делает отключение выгодным.
Если вы хотите проверить влияние, сначала сохраните исходные данные: показы, переходы, обращения, продажи. Выберите период наблюдения, отметьте дату изменения и учитывайте сезонность. Одновременный редизайн, смена цен и отключение ИИ-функций сделают результат эксперимента почти неинтерпретируемым.
Как читать такие данные, когда позиции почти не меняются, а трафик снижается, мы разбирали в статье «Позиции в Google не упали, а трафик снизился».
Почему Google-Extended — другая настройка
Google-Extended — управляющий токен, а не отдельный робот с собственным User-Agent в запросах. Он относится к использованию контента для обучения будущих моделей Gemini и получения информации для ответов в определённых продуктах Gemini и Vertex AI. Google указывает, что эта настройка не влияет на включение сайта в Google Search и не является сигналом ранжирования. [3]
Поэтому совет «закройте Google-Extended, чтобы отключить все ИИ-ответы Google» слишком упрощён. Для выбора настройки сначала назовите конкретный продукт и конкретную цель. Поиск Google, приложение Gemini и обучение модели — разные сценарии.
Почему robots.txt не защищает от копирования
robots.txt сообщает роботам правила обхода. Это не пароль и не техническая блокировка: недобросовестный сборщик может проигнорировать инструкции. Cloudflare прямо разделяет выражение предпочтений в robots.txt и фактическое ограничение запросов средствами защиты. [4]
Отсюда два практических вывода.
Первый: документы, которые нельзя отдавать посторонним, нужно закрывать авторизацией и проверкой прав доступа. Не стоит публиковать их по общедоступной ссылке в надежде, что запрет обхода решит проблему.
Второй: борьбу с нагрузкой нужно вести по фактическим запросам. Если сайт тормозит, важно выяснить, кто обращается к нему, как часто, какие страницы запрашивает и какую нагрузку создаёт. Само присутствие слова «бот» в журнале ещё не объясняет причину медленной работы.
Ловушка: в robots.txt разрешено, а защита не пропускает
На сайте могут одновременно работать правила сервера, CDN, антивирусный плагин и защита от автоматических запросов. Разрешение в одном месте не отменяет блокировку в другом.
Например, Cloudflare позволяет отдельно настраивать категории Search, Agent и Training. При выборе политики важно учитывать и роботов со смешанным назначением. Название настройки недостаточно: нужно посмотреть, какие обращения она затрагивает. [5]
Типовая ситуация: маркетолог разрешил поискового робота, но тот получает страницу проверки браузера вместо описания услуги. Владелец при этом открывает сайт без проблем и уверен, что всё работает.
При проверке недостаточно увидеть ответ сервера «200». Нужно убедиться, что внутри действительно содержится нужная страница, а не заглушка. И подмена User-Agent в тестовом запросе сама по себе не доказывает, что настоящий робот получает такой же результат.
