Бесплатный инструментРаботает в браузере · без регистрации

// бесплатный инструмент - генератор robots.txt

Генератор Robots.txt Проверяйте и тестируйте его

Создайте файл robots.txt на основе шаблонов для Shopify, WordPress и AI-сканеров, проверьте его построчно на наличие ошибок и протестируйте, разрешён ли URL или заблокирован для Googlebot, GPTBot или любого другого бота, используя правила сопоставления Google.

  • Бесплатно - регистрация не требуется
  • Работает в браузере
  • Шаблоны AI-сканеров
  • Правила сопоставления Google

Ваш robots.txt

Ничего никуда не отправляется. Результат обновляется по мере ввода.

Начать с шаблона

Группы User-agent
AI-сканеры, которые нужно заблокировать (0 выбрано)

Для проверяемых ботов создаются отдельные группы с Disallow: /. robots.txt носит добровольный характер: добросовестные боты его соблюдают, но он не останавливает скрейперов, которые его игнорируют.

    robots.txt Готово
    Проверки

      Тот же URL, другие боты

      User-agent Результат Определено
      Выйти за рамки файла

      Чистый robots.txt - это только начало. Технический SEO - это всё остальное.

      Правила сканирования - лишь одна из составляющих того, как поисковые системы и AI-помощники видят ваш сайт. Эти AI-специалисты подключаются к Claude, ChatGPT или любому AI-чату и помогают с остальным: аудитами, проблемами индексации, структурой сайта и контентом.

      Что такое файл robots.txt?

      Файл robots.txt представляет собой обычный текстовый файл в корне вашего сайта, например https://example.com/robots.txt, указывающая сканерам, какие пути им разрешено загружать. Файл состоит из групп. Каждая группа начинается с одной или нескольких User-agent строки с именем сканера, за которыми следует Allow и Disallow правила. Карта сайта Строки Sitemap указывают сканерам на ваши XML-карты сайта и могут находиться в любом месте файла. Формат стандартизирован в RFC 9309 - протоколе исключения роботов, и его соблюдают Google, Bing и большинство крупных сканеров.

      Этот генератор robots.txt создаёт файл на основе готовых шаблонов и простого редактора групп. Валидатор robots.txt отмечает строки, которые сканеры проигнорируют или неправильно интерпретируют, с указанием номеров строк. Тестер robots.txt показывает, разрешён ли URL или заблокирован для определённого бота, и отображает точную строку, которая определила результат.

      Что может и чего не может robots.txt

      • Он управляет сканированием, а не индексацией. Заблокированный URL всё ещё может появиться в результатах Google без описания, если на него ссылаются другие страницы. Чтобы исключить страницу из поиска, разрешите сканерам загрузить её и добавьте метатег robots noindex или заголовок X-Robots-Tag.
      • Это добровольно. Добросовестные роботы ему следуют. Парсеры, которые его игнорируют, не остановятся. Это не средство контроля доступа: защищайте закрытые страницы с помощью входа в аккаунт.
      • Он общедоступен. Любой может открыть ваш robots.txt, поэтому не указывайте в нём секретные пути.
      • Это работает для каждого хоста отдельно. Для shop.example.com и example.com нужны отдельные файлы в корне каждого хоста.

      Как Google читает правила

      Google документирует логику сопоставления, и вкладка Test URL выполняет те же действия:

      1. Выбирайте группу. Робот использует группу с наиболее конкретным user-agent, соответствующим его токену без учёта регистра. Googlebot-News использует группу googlebot-news, если она есть, иначе googlebot, а затем *. Несколько групп для одного робота объединяются в одну.
      2. Сопоставляйте путь. Пути чувствительны к регистру и сопоставляются с начала, включая строку запроса. * соответствует любой последовательности символов, а $ обозначает конец URL. /fish* означает то же, что и /fish, а /*.php$ соответствует /index.php, но не /index.php?id=1.
      3. Побеждает самое длинное правило. Среди подходящих правил решение принимает правило с самым длинным путём. Если правила Allow и Disallow имеют одинаковую длину, Google использует менее ограничительное правило, то есть Allow.
      4. Пустой Disallow ничего не блокирует. Disallow: без пути означает, что группе разрешено обходить всё.
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      Здесь /account/orders заблокирован, а /account/login разрешена, потому что правило Allow длиннее и конкретнее.

      Блокировка роботов AI с помощью robots.txt

      Многие компании, работающие с AI, публикуют токены user-agent, которые можно заблокировать. Они не все являются роботами одного типа, и это различие важно:

      • Роботы для обучения. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent и Bytespider (ByteDance) собирают страницы, которые могут использоваться для обучения моделей. Их блокировка просит эти компании не использовать будущие обходы.
      • Google-Extended и Applebot-Extended не являются отдельными роботами. Google-Extended сообщает Google, что ваш контент нельзя использовать для обучения и заземления Gemini. Это не меняет то, как Googlebot обходит, индексирует или ранжирует ваши страницы в Google Search. Applebot-Extended исключает вас из обучения моделей Apple, а Applebot продолжает обход для Siri и Spotlight.
      • Поиск AI и загрузка страниц пользователями. OAI-SearchBot, Claude-SearchBot и PerplexityBot загружают страницы, чтобы показывать их и ссылаться на них в ответах AI. ChatGPT-User и Claude-User загружают страницу, когда человек просит ассистента прочитать её. Блокировка этих роботов может убрать ваши страницы из ответов AI и цитат, а это часто тот трафик, который вам нужен.

      Предустановка AI блокирует поисковых роботов для обучения, а поисковых роботов и роботов пользователей оставляет непроверенными, чтобы вы могли решить сами. robots.txt применяется только к будущим обходам. Он не удаляет уже собранный контент.

      robots.txt в Shopify и WordPress

      Shopify создаёт robots.txt автоматически, и загрузить файл нельзя. Чтобы изменить его, добавьте robots.txt.liquid шаблон в вашей теме (Online Store -> Themes -> Edit code -> Add a new template -> robots) и добавьте туда свои правила. Предустановка в стиле Shopify в этом инструменте похожа на стандартную конфигурацию Shopify, поэтому вы можете проверить и протестировать правила перед редактированием шаблона. WordPress обслуживает виртуальный robots.txt, который запрещает /wp-admin/ но разрешает /wp-admin/admin-ajax.php. Настоящий файл robots.txt в корне сайта заменяет его, а многие SEO-плагины позволяют редактировать его в панели управления.

      Распространённые ошибки, которые обнаруживает валидатор

      • Noindex строки. Google прекратил их поддержку в robots.txt в 2019 году и игнорирует их.
      • Относительные URL карт сайта, такие как Sitemap: /sitemap.xml. URL должен быть абсолютным.
      • Правила, размещённые перед любым User-agent строку, которую поисковые роботы игнорируют.
      • Пути без начального слеша, полные URL в правилах и пути с не-ASCII-символами, которые следует кодировать в процентах.
      • Crawl-delay, которые Google игнорирует. Bing и Yandex их читают.
      • Файлы размером более 500 КиБ. Google игнорирует всё после этого ограничения.
      • Опечатки, такие как Dissallow и неизвестные директивы.

      Правила сканирования - лишь одна часть технического SEO. Проверьте структурированные данные с помощью валидатора разметки схемы, создайте поисковые сниппеты с помощью генератора метаописаний, проверьте страницу с помощью анализатора AI SEO или просмотрите все бесплатные AI-генераторы и инструменты.

      Часто задаваемые вопросы

      Этот генератор robots.txt бесплатный?

      Да. Регистрация не требуется, и ограничений нет. Всё работает в вашем браузере, поэтому созданный, вставленный или проверенный вами robots.txt не отправляется ни на какой сервер.

      Где разместить файл robots.txt?

      В корне каждого хоста, чтобы он загружался по адресу https://yourdomain.com/robots.txt. Файл robots.txt в подпапке игнорируется. В Shopify вместо загрузки файла нужно редактировать шаблон темы robots.txt.liquid.

      Не препятствует ли robots.txt индексации страницы?

      Нет. Это управляет сканированием, а не индексацией. Заблокированная страница всё ещё может быть проиндексирована по ссылкам, но без её содержимого. Чтобы исключить страницу из Google, разрешите сканирование и добавьте метатег robots noindex или заголовок X-Robots-Tag.

      Повлияет ли блокировка GPTBot или Google-Extended на позиции моего сайта в Google?

      Нет. GPTBot - это поисковый робот OpenAI для обучения и он не имеет отношения к Google Search. Google-Extended лишь управляет тем, использует ли Google ваш контент для обучения и заземления Gemini, но не влияет на сканирование или ранжирование в Search. Однако блокировка поисковых ботов AI, таких как OAI-SearchBot или PerplexityBot, может удалить ваши страницы из ответов этих AI-систем.

      Соблюдают ли все боты правила robots.txt?

      Нет. robots.txt - это добровольный стандарт. Крупные поисковые системы и большинство компаний, занимающихся AI, заявляют, что соблюдают его, но скрейперы могут его игнорировать. Для всего, что должно оставаться приватным, используйте авторизацию, правила межсетевого экрана или ограничения частоты запросов.

      Ваш результат

      Скопируйте или запустите в своём ИИ

      Открыть в вашем ИИ

      Claude

      ИИ-чат от Anthropic: в вебе, на компьютере и на телефоне · около 3 минут

      Работает на любом плане Claude, включая Free.

      • Team или Enterprise: владелец рабочего пространства один раз добавляет его в Organization settings, затем все нажимают Connect.
      • Ничего не происходит после нажатия Connect? Разрешите всплывающие окна для claude.ai и попробуйте снова.

      С телефона? Настройте один раз на компьютере. После этого он сам появится в мобильном приложении Claude. Отправить ссылку мне на почту

      После покупки файла
      1. Скачайте файл .skill из письма с заказом или из своего аккаунта.

      2. В Claude включите выполнение кода в Settings › Capabilities, затем откройте Customize › Skills › + › Create skill › Upload a skill.

      3. Начните новый чат и попросите специалиста по имени.

      All-in-one

      Всё, $6.99/мес

      Этот инструмент остаётся бесплатным. All-in-one открывает скачивание, печать и ссылки для обмена в остальных генераторах, а также все навыки в вашем ИИ.

      Что вы получаете в All-in-one

      • Все генераторыНичего не закрыто: скачивайте, печатайте и делитесь из любого инструмента на сайте.
      • 2 500+ навыков в вашем ИИЗовите любого эксперта по имени прямо в Claude и ChatGPT.
      • CRM-доскаВаш ИИ ведёт клиентов и задачи на одной доске.
      • Одна ссылка, любой ИИНастройте один раз в Claude или ChatGPT, а дальше просто просите.
      Подписаться · $6.99/мес 7 дней бесплатно с картой · отмена в любой момент
      Нужен только Serge?
      · Подробнее

      All-in-oneпочему переходят на подписку

      Этот инструмент бесплатный.
      All-in-one делает результат вашим, и ещё 124.

      Сделайте здесь бесплатно. С подпиской результат остаётся с вами: экспорт, печать, ссылка, сохранение, плюс все остальные генераторы и 2 500+ навыков для вашего ИИ.

      Что открывает Бесплатный генератор Robots.txt

      • Скачать TXT · JSON
      • Поделиться ссылкой
      • Сохранение и история
      All-in-one

      $6.99/ месяц

      или $49/год ($4.08/мес, экономия 42%) · 7 дней бесплатно с картой

      Начать 7 дней бесплатно →

      Отмена в любой момент. 7 дней ничего не списывается.

      • 125 генераторов с любым экспортом
      • 2 500+ навыков в Claude и ChatGPT
      • CRM-доска, где хранится каждый результат
      • Ваш ИИ подключён один раз и работает везде

      Нужен только один файл навыка?$9 один раз

      125 генераторов, все открыты

      Все 125 →
      2 500+ навыков

      Готовые эксперты по финансам, праву, маркетингу, HR и не только, прямо в вашем ИИ.

      CRM-доска

      Каждый результат попадает на доску: найти, переиспользовать, поделиться с командой.

      Ваш ИИ подключён

      Подключите Claude или ChatGPT один раз и запускайте любой генератор и навык прямо из чата.

      Другие бесплатные инструменты для разработчиков

      Все бесплатные инструменты →