無料ツールブラウザで動作 · 登録不要

// 無料ツール - robots.txtジェネレーター

Robots.txtジェネレーター 検証とテストも可能

Shopify、WordPress、AIクローラー向けのプリセットからrobots.txtファイルを作成し、誤りがないか行ごとに確認し、Googleの一致ルールを使ってGooglebot、GPTBot、その他のボットに対してURLが許可されているかブロックされているかをテストできます。

  • 無料 - 登録不要
  • ブラウザー内で実行
  • AIクローラーのプリセット
  • Googleの一致ルール

あなたのrobots.txt

どこにも送信されません。入力すると出力が更新されます。

プリセットから開始

User-agentグループ
ブロックするAIクローラー(0 選択済み)

チェック対象のボットには、それぞれ独自のグループが Disallow: /。robots.txtは任意の仕組みです。行儀のよいボットは従いますが、無視するスクレイパーを止めることはできません。

    robots.txt 準備完了
    チェック

      同じURL、他のボット

      User-agent 結果 判定元
      ファイルの先へ

      整ったrobots.txtは出発点です。テクニカルSEOがその先を担います。

      クロールルールは、検索エンジンやAIアシスタントがサイトを認識する方法の一部にすぎません。これらのAIスペシャリストはClaude、ChatGPT、または任意のAIチャットに接続し、監査、インデックス登録の問題、サイト構造、コンテンツなど、残りの課題にも対応します。

      robots.txtファイルとは?

      robots.txtファイルは、サイトのルートに置くプレーンテキストファイルです。例: https://example.com/robots.txtが続き、クローラーが取得できるパスを指定します。これはグループで構成されます。各グループは1つ以上の User-agent クローラー名を指定する行の後に、 Allow と Disallow ルール。 サイトマップ 行はクローラーをXMLサイトマップへ誘導するもので、ファイル内のどこに置いてもかまいません。形式はRFC 9309のRobots Exclusion Protocolとして標準化されており、Google、Bing、その他ほとんどの大規模クローラーがこれに従います。

      このrobots.txtジェネレーターは、プリセットとシンプルなグループエディターを使ってファイルを作成します。robots.txtバリデーターは、クローラーが無視したり誤って解釈したりする行を行番号付きで指摘します。robots.txtテスターは、特定のボットに対してURLが許可されているかブロックされているかを判定し、その結果を決めた正確な行を表示します。

      robots.txtでできることとできないこと

      • クロールを制御しますが、インデックス登録は制御しません。ブロックされたURLでも、他のページからリンクされていれば、説明なしでGoogleの検索結果に表示されることがあります。ページを検索結果から除外するには、クローラーが取得できるようにし、noindex robotsメタタグまたはX-Robots-Tagヘッダーを追加してください。
      • 任意の仕組みです。 適切に動作するクローラーはこれに従います。無視するスクレイパーは止められません。これはアクセス制御ではないため、非公開ページはログインで保護してください。
      • 公開されています。 誰でもrobots.txtを開けるため、秘密のパスを記載しないでください。
      • ホストごとに機能します。 shop.example.comとexample.comには、それぞれ独自のルートに独自のファイルが必要です。

      Googleによるルールの読み取り方

      Googleは一致ロジックを文書化しており、「URLをテスト」タブも同じ手順に従います。

      1. グループを選択します。 クローラーは、トークンに一致するユーザーエージェントのうち、最も具体的なもののグループを大文字と小文字を区別せずに使用します。Googlebot-Newsは、googlebot-newsグループがあればそれを使用し、なければgooglebot、それもなければ*を使用します。同じクローラーに対する複数のグループは、1つに統合されます。
      2. パスを一致させます。 パスでは大文字と小文字が区別され、クエリ文字列を含め、先頭から一致します。*は任意の文字列に一致し、$はURLの末尾を示します。/fish*は/fishと同じ意味で、/*.php$は/index.phpには一致しますが、/index.php?id=1には一致しません。
      3. 最長のルールが優先されます。 一致するルールの中で、最もパスが長いものが判断を決めます。AllowとDisallowのルールが同じ長さの場合、Googleは制限の少ないほう、つまりAllowを使用します。
      4. 空のDisallowは何もブロックしません。 パスを指定しないDisallow:は、そのグループがすべてをクロールできることを意味します。
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      ここでは /account/orders はブロックされますが、 /account/login Allowルールのほうが長く、より具体的であるため許可されます。

      robots.txtでAIクローラーをブロックする

      多くのAI企業は、ブロックできるユーザーエージェントトークンを公開しています。これらはすべて同じ種類のボットではなく、その違いが重要です。

      • トレーニングクローラー。 GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl)、Meta-ExternalAgent、Bytespider(ByteDance)は、モデルのトレーニングに使用できるページを収集します。これらをブロックすると、今後のクロールを使用しないよう各社に求めることになります。
      • 制御トークン。 Google-ExtendedとApplebot-Extendedは独立したクローラーではありません。Google-Extendedは、Geminiのトレーニングやグラウンディングにコンテンツを使用しないようGoogleに指示します。Google検索におけるGooglebotのクロール、インデックス登録、ランキングには影響しません。Applebot-ExtendedはAppleのモデルのトレーニングからオプトアウトする一方、ApplebotはSiriとSpotlightのためにクロールを続けます。
      • AI検索とユーザーフェッチ。 OAI-SearchBot、Claude-SearchBot、PerplexityBotは、AIの回答でページを表示・引用できるようにページを取得します。ChatGPT-UserとClaude-Userは、ユーザーがアシスタントにページを読むよう依頼したときにページを取得します。これらをブロックすると、AIの回答や引用からページが除外される可能性があります。これは、多くの場合、望ましいトラフィックです。

      AIプリセットはクローラーのトレーニングをブロックし、検索とユーザーエージェントは未チェックのままにして、あなたが判断できるようにします。robots.txtは今後のクロールにのみ適用されます。すでに収集されたコンテンツが削除されることはありません。

      ShopifyとWordPressのrobots.txt

      Shopifyはrobots.txtを自動生成するため、ファイルをアップロードすることはできません。変更するには、 robots.txt.liquid テンプレートをテーマに追加し(オンラインストア -> テーマ -> コードを編集 -> 新しいテンプレートを追加 -> robots)、そこにルールを追加します。このツールのShopifyスタイルのプリセットはShopifyのデフォルトに似ているため、テンプレートを編集する前にルールを確認してテストできます。WordPressは仮想robots.txtを提供し、次を拒否します /wp-admin/ ただし、次は許可します /wp-admin/admin-ajax.php。サイトのルートに実際のrobots.txtファイルがある場合はそれが優先され、多くのSEOプラグインではダッシュボードから編集できます。

      バリデーターが検出するよくあるミス

      • Noindex 行。Googleは2019年にrobots.txtでのサポートを終了し、無視しています。
      • 次のような相対サイトマップURL Sitemap: /sitemap.xmlより前に置かれたルール。URLは絶対URLでなければなりません。
      • いずれかの User-agent 行はクローラーに無視されます。
      • 先頭にスラッシュがないパス、ルール内の完全なURL、パーセントエンコードすべき非ASCIIパス。
      • Crawl-delay。Googleは無視しますが、BingとYandexは読み取ります。
      • 500 KiBを超えるファイル。Googleはその制限を超えた部分をすべて無視します。
      • 次のようなタイプミス Dissallow および未知のディレクティブ。

      クロールルールはテクニカルSEOの一部にすぎません。構造化データバリデーターで構造化データを確認し、メタディスクリプションジェネレーターで検索スニペットを作成し、AI SEOアナライザーでページを分析するか、無料のAIジェネレーターとツールをすべてご覧ください。

      よくある質問

      このrobots.txtジェネレーターは無料ですか?

      はい。登録は不要で、制限もありません。すべてブラウザー内で実行されるため、作成、貼り付け、テストしたrobots.txtがサーバーに送信されることはありません。

      robots.txtファイルはどこに置けばよいですか?

      各ホストのルートに置くと、https://yourdomain.com/robots.txtで読み込まれます。サブフォルダー内のrobots.txtは無視されます。Shopifyでは、ファイルをアップロードする代わりにrobots.txt.liquidテーマテンプレートを編集します。

      robots.txtはページのインデックス登録を阻止しますか?

      いいえ。これはクロールを制御するもので、インデックス登録を制御するものではありません。ブロックされたページでも、コンテンツなしでリンクからインデックス登録されることがあります。ページをGoogleに登録させないようにするには、クロールを許可し、noindex robotsメタタグまたはX-Robots-Tagヘッダーを追加してください。

      GPTBotまたはGoogle-Extendedをブロックすると、Googleでのランキングに悪影響がありますか?

      いいえ。GPTBotはOpenAIのトレーニング用クローラーで、Google検索とは関係ありません。Google-Extendedは、GoogleがGeminiのトレーニングやグラウンディングにあなたのコンテンツを使用するかどうかだけを制御し、検索でのクロールやランキングは制御しません。ただし、OAI-SearchBotやPerplexityBotなどのAI検索ボットをブロックすると、それらのAIによる回答からページが削除される可能性があります。

      すべてのボットはrobots.txtに従いますか?

      いいえ。robots.txtは任意の標準です。主要な検索エンジンやほとんどのAI企業はこれに従うとしていますが、スクレイパーは無視できます。非公開にしておく必要があるものには、ログイン、ファイアウォールルール、またはレート制限を使用してください。

      結果

      コピーするか、あなたのAIで実行

      あなたのAIで開く

      Claude

      AnthropicのAIチャット。Web、デスクトップ、スマホで使えます · 約3分

      Freeを含むすべてのClaudeプランで使えます。

      • TeamまたはEnterpriseプラン:ワークスペースのオーナーが Organization settings で1回追加すれば、あとは全員が Connect をクリックするだけです。
      • Connect をクリックしても何も起きない場合:claude.aiのポップアップを許可して、もう一度お試しください。

      スマホの場合:パソコンで1回設定すれば、Claudeのスマホアプリには自動で表示されます。 リンクをメールで送る

      ファイルを購入した方へ
      1. 注文メールまたはアカウントから .skill ファイルをダウンロードします。

      2. Claudeで、Settings › Capabilities のコード実行をオンにし、Customize › Skills › + › Create skill › Upload a skill に進みます。

      3. 新しいチャットを開き、専門家を名前で頼みます。

      詳しいガイドを開く

      All-in-one

      すべてが 月額$6.99

      このツールは無料のままです。All-in-oneなら、ほかのすべてのジェネレーターでダウンロード・印刷・共有ができ、AIで使えるすべてのスキルも利用できます。

      All-in-oneで使えるもの

      • すべてのジェネレーター制限なし:サイト内のどのツールでもダウンロード・印刷・共有ができます。
      • AIで使える2,500+個のスキルClaudeやChatGPTの中で、名前を呼ぶだけでどのエキスパートも使えます。
      • CRMボードAIが顧客とタスクを1つのボードで管理します。
      • 1つのリンクで、どのAIでもClaudeかChatGPTで一度設定すれば、あとは頼むだけ。
      登録する · 月額$6.99 カード登録で 7 日間無料 · いつでも解約可能
      Sergeだけが必要ですか?
      · 詳細

      All-in-oneアップグレードする理由

      このツールは無料です。
      All-in-oneなら成果を手元に残せて、さらに124個のツールも。

      ここで無料で作成できます。サブスクリプションなら書き出し・印刷・共有・保存ができ、ほかのすべてのジェネレーターと2,500+のスキルもAIで使えます。

      無料のrobots.txtジェネレーターで使えるようになる機能

      • TXT · JSONをダウンロード
      • 共有リンク
      • 保存と履歴
      All-in-one

      $6.99/ 月

      または$49/年(月あたり$4.08、42%お得)· カード登録で7日間無料

      7日間の無料トライアルを始める →

      いつでも解約できます。7日間は請求されません。

      • 125個のジェネレーターで全書き出し
      • ClaudeとChatGPTで2,500+のスキル
      • すべての結果を残すCRMボード
      • AIと接続:一度でどこでも使える

      スキルファイルが1つだけ必要ですか?$9(買い切り)

      125個のジェネレーターをすべて解放

      125個すべてを見る →
      2,500+のスキル

      財務、法務、マーケティング、人事などの専門スキルを、いつものAIの中で。

      CRMボード

      作った結果はすべてボードに。探して、再利用して、チームと共有。

      AIと接続

      ClaudeやChatGPTを一度接続すれば、チャットから全ジェネレーターとスキルを使えます。

      その他の無料開発者ツール

      すべての無料ツール →