Что такое файл robots.txt?
Файл robots.txt представляет собой обычный текстовый файл в корне вашего сайта, например https://example.com/robots.txt, указывающая сканерам, какие пути им разрешено загружать. Файл состоит из групп. Каждая группа начинается с одной или нескольких User-agent строки с именем сканера, за которыми следует Allow и Disallow правила. Карта сайта Строки Sitemap указывают сканерам на ваши XML-карты сайта и могут находиться в любом месте файла. Формат стандартизирован в RFC 9309 - протоколе исключения роботов, и его соблюдают Google, Bing и большинство крупных сканеров.
Этот генератор robots.txt создаёт файл на основе готовых шаблонов и простого редактора групп. Валидатор robots.txt отмечает строки, которые сканеры проигнорируют или неправильно интерпретируют, с указанием номеров строк. Тестер robots.txt показывает, разрешён ли URL или заблокирован для определённого бота, и отображает точную строку, которая определила результат.
Что может и чего не может robots.txt
-
Он управляет сканированием, а не индексацией. Заблокированный URL всё ещё может появиться в результатах Google без описания, если на него ссылаются другие страницы. Чтобы исключить страницу из поиска, разрешите сканерам загрузить её и добавьте метатег robots
noindexили заголовокX-Robots-Tag. - Это добровольно. Добросовестные роботы ему следуют. Парсеры, которые его игнорируют, не остановятся. Это не средство контроля доступа: защищайте закрытые страницы с помощью входа в аккаунт.
- Он общедоступен. Любой может открыть ваш robots.txt, поэтому не указывайте в нём секретные пути.
-
Это работает для каждого хоста отдельно. Для
shop.example.comиexample.comнужны отдельные файлы в корне каждого хоста.
Как Google читает правила
Google документирует логику сопоставления, и вкладка Test URL выполняет те же действия:
-
Выбирайте группу. Робот использует группу с наиболее конкретным user-agent, соответствующим его токену без учёта регистра. Googlebot-News использует группу
googlebot-news, если она есть, иначеgooglebot, а затем*. Несколько групп для одного робота объединяются в одну. -
Сопоставляйте путь. Пути чувствительны к регистру и сопоставляются с начала, включая строку запроса.
*соответствует любой последовательности символов, а$обозначает конец URL./fish*означает то же, что и/fish, а/*.php$соответствует/index.php, но не/index.php?id=1. - Побеждает самое длинное правило. Среди подходящих правил решение принимает правило с самым длинным путём. Если правила Allow и Disallow имеют одинаковую длину, Google использует менее ограничительное правило, то есть Allow.
-
Пустой Disallow ничего не блокирует.
Disallow:без пути означает, что группе разрешено обходить всё.
User-agent: * Disallow: /account/ Allow: /account/login
Здесь /account/orders заблокирован, а /account/login разрешена, потому что правило Allow длиннее и конкретнее.
Блокировка роботов AI с помощью robots.txt
Многие компании, работающие с AI, публикуют токены user-agent, которые можно заблокировать. Они не все являются роботами одного типа, и это различие важно:
- Роботы для обучения. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent и Bytespider (ByteDance) собирают страницы, которые могут использоваться для обучения моделей. Их блокировка просит эти компании не использовать будущие обходы.
- Google-Extended и Applebot-Extended не являются отдельными роботами. Google-Extended сообщает Google, что ваш контент нельзя использовать для обучения и заземления Gemini. Это не меняет то, как Googlebot обходит, индексирует или ранжирует ваши страницы в Google Search. Applebot-Extended исключает вас из обучения моделей Apple, а Applebot продолжает обход для Siri и Spotlight.
- Поиск AI и загрузка страниц пользователями. OAI-SearchBot, Claude-SearchBot и PerplexityBot загружают страницы, чтобы показывать их и ссылаться на них в ответах AI. ChatGPT-User и Claude-User загружают страницу, когда человек просит ассистента прочитать её. Блокировка этих роботов может убрать ваши страницы из ответов AI и цитат, а это часто тот трафик, который вам нужен.
Предустановка AI блокирует поисковых роботов для обучения, а поисковых роботов и роботов пользователей оставляет непроверенными, чтобы вы могли решить сами. robots.txt применяется только к будущим обходам. Он не удаляет уже собранный контент.
robots.txt в Shopify и WordPress
Shopify создаёт robots.txt автоматически, и загрузить файл нельзя. Чтобы изменить его, добавьте robots.txt.liquid шаблон в вашей теме (Online Store -> Themes -> Edit code -> Add a new template -> robots) и добавьте туда свои правила. Предустановка в стиле Shopify в этом инструменте похожа на стандартную конфигурацию Shopify, поэтому вы можете проверить и протестировать правила перед редактированием шаблона. WordPress обслуживает виртуальный robots.txt, который запрещает /wp-admin/ но разрешает /wp-admin/admin-ajax.php. Настоящий файл robots.txt в корне сайта заменяет его, а многие SEO-плагины позволяют редактировать его в панели управления.
Распространённые ошибки, которые обнаруживает валидатор
-
Noindexстроки. Google прекратил их поддержку в robots.txt в 2019 году и игнорирует их. - Относительные URL карт сайта, такие как
Sitemap: /sitemap.xml. URL должен быть абсолютным. - Правила, размещённые перед любым
User-agentстроку, которую поисковые роботы игнорируют. - Пути без начального слеша, полные URL в правилах и пути с не-ASCII-символами, которые следует кодировать в процентах.
-
Crawl-delay, которые Google игнорирует. Bing и Yandex их читают. - Файлы размером более 500 КиБ. Google игнорирует всё после этого ограничения.
- Опечатки, такие как
Dissallowи неизвестные директивы.
Правила сканирования - лишь одна часть технического SEO. Проверьте структурированные данные с помощью валидатора разметки схемы, создайте поисковые сниппеты с помощью генератора метаописаний, проверьте страницу с помощью анализатора AI SEO или просмотрите все бесплатные AI-генераторы и инструменты.
Часто задаваемые вопросы
Этот генератор robots.txt бесплатный?
Да. Регистрация не требуется, и ограничений нет. Всё работает в вашем браузере, поэтому созданный, вставленный или проверенный вами robots.txt не отправляется ни на какой сервер.
Где разместить файл robots.txt?
В корне каждого хоста, чтобы он загружался по адресу https://yourdomain.com/robots.txt. Файл robots.txt в подпапке игнорируется. В Shopify вместо загрузки файла нужно редактировать шаблон темы robots.txt.liquid.
Не препятствует ли robots.txt индексации страницы?
Нет. Это управляет сканированием, а не индексацией. Заблокированная страница всё ещё может быть проиндексирована по ссылкам, но без её содержимого. Чтобы исключить страницу из Google, разрешите сканирование и добавьте метатег robots noindex или заголовок X-Robots-Tag.
Повлияет ли блокировка GPTBot или Google-Extended на позиции моего сайта в Google?
Нет. GPTBot - это поисковый робот OpenAI для обучения и он не имеет отношения к Google Search. Google-Extended лишь управляет тем, использует ли Google ваш контент для обучения и заземления Gemini, но не влияет на сканирование или ранжирование в Search. Однако блокировка поисковых ботов AI, таких как OAI-SearchBot или PerplexityBot, может удалить ваши страницы из ответов этих AI-систем.
Соблюдают ли все боты правила robots.txt?
Нет. robots.txt - это добровольный стандарт. Крупные поисковые системы и большинство компаний, занимающихся AI, заявляют, что соблюдают его, но скрейперы могут его игнорировать. Для всего, что должно оставаться приватным, используйте авторизацию, правила межсетевого экрана или ограничения частоты запросов.