Проверка robots.txt: какие ИИ-роботы могут читать ваш сайт

• «Разрешён»: робот может читать главную и пробные пути, которые проверяет инструмент (/blog/, /products/, /pricing, /docs/, /help/ и введённую страницу).
• «Частично»: главная открыта, но хотя бы один из этих путей закрыт. Часто это сделано намеренно, например закрытый раздел /docs/.
• «Закрыт»: роботу нельзя читать главную. На практике он не допущен на весь сайт.
• Сработавшее правило: строка User-agent той группы, которая применяется. Группа с именем робота важнее, чем «User-agent: *». Робот следует только одной группе, поэтому правила под * для него перестают действовать, как только у него появляется своя.
• Нет robots.txt: все роботы получают «Разрешён», потому что никто не просит их не заходить, а проверка файла просит вас на это посмотреть.
• Теги noai: отмечаются для проверки, если мета-тег robots или заголовок X-Robots-Tag страницы содержит noai или noimageai.

Инструмент читает правила, а не поведение. Он не видит файрвол, CDN или настройки хостинга, которые блокируют роботов ещё до robots.txt, и не может сказать, соблюдает ли робот ваш файл на самом деле. Если робот здесь «Разрешён», но никогда не заходит, проверьте и настройки защиты от ботов у хостинга.

# Обучение ИИ-моделей: нет
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# ИИ-поиск и запросы пользователей: да
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
Disallow: /checkout/
Disallow: /account/

# Все остальные
User-agent: *
Disallow: /checkout/
Disallow: /account/

Sitemap: https://vash-magazin.ru/sitemap.xml

User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /admin/

Sitemap: https://vash-magazin.ru/sitemap.xml

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Disallow: /admin/

Чтобы вручную проверить, закрыт ли GPTBot, откройте vash-magazin.ru/robots.txt и найдите группу, которая начинается со строки «User-agent: GPTBot». Если она есть, действуют её правила. Если нет — правила под «User-agent: *». Строка «Disallow: /» в действующей группе закрывает весь сайт.

• Закрыть OAI-SearchBot, имея в виду GPTBot. Первый убирает вас из поиска ChatGPT, второй — только из обучения.
• Выкатить robots.txt тестового сайта с «Disallow: /» для всех роботов. Он закрывает сайт и от поисковиков.
• Адрес robots.txt, который отдаёт HTML главной страницы — так бывает у некоторых одностраничных приложений. Роботы не находят правил, и инструмент считает, что файла нет.
• Дать роботу свою группу и забыть, что правила под * для него больше не действуют.
• Исправить robots.txt на vash-magazin.ru и забыть про shop.vash-magazin.ru. У каждого хоста свой файл.
• Закрыть Googlebot, чтобы не попадать в ИИ-ответы. Это убирает вас и из Google Поиска.
• Ждать, что новый запрет уберёт страницы из ответов, которые их уже используют. Он влияет только на то, что будет собрано дальше.
• Включить у хостинга или CDN кнопку «заблокировать ИИ-ботов», не проверив, что она закрывает. Некоторые закрывают и роботов поиска, и запросы пользователей.

Если его закрыть, агент поддержки не сможет изучить ваши страницы, но их можно загрузить как документы. Если разрешить, агент прочитает до 50 страниц, пропустит всё, что закрывают robots.txt или тег noindex, и будет отвечать посетителям по прочитанному днём и ночью.