robots.txtファイルとは?
robots.txtファイルは、サイトのルートに置くプレーンテキストファイルです。例: https://example.com/robots.txtが続き、クローラーが取得できるパスを指定します。これはグループで構成されます。各グループは1つ以上の User-agent クローラー名を指定する行の後に、 Allow と Disallow ルール。 サイトマップ 行はクローラーをXMLサイトマップへ誘導するもので、ファイル内のどこに置いてもかまいません。形式はRFC 9309のRobots Exclusion Protocolとして標準化されており、Google、Bing、その他ほとんどの大規模クローラーがこれに従います。
このrobots.txtジェネレーターは、プリセットとシンプルなグループエディターを使ってファイルを作成します。robots.txtバリデーターは、クローラーが無視したり誤って解釈したりする行を行番号付きで指摘します。robots.txtテスターは、特定のボットに対してURLが許可されているかブロックされているかを判定し、その結果を決めた正確な行を表示します。
robots.txtでできることとできないこと
-
クロールを制御しますが、インデックス登録は制御しません。ブロックされたURLでも、他のページからリンクされていれば、説明なしでGoogleの検索結果に表示されることがあります。ページを検索結果から除外するには、クローラーが取得できるようにし、
noindexrobotsメタタグまたはX-Robots-Tagヘッダーを追加してください。 - 任意の仕組みです。 適切に動作するクローラーはこれに従います。無視するスクレイパーは止められません。これはアクセス制御ではないため、非公開ページはログインで保護してください。
- 公開されています。 誰でもrobots.txtを開けるため、秘密のパスを記載しないでください。
-
ホストごとに機能します。
shop.example.comとexample.comには、それぞれ独自のルートに独自のファイルが必要です。
Googleによるルールの読み取り方
Googleは一致ロジックを文書化しており、「URLをテスト」タブも同じ手順に従います。
-
グループを選択します。 クローラーは、トークンに一致するユーザーエージェントのうち、最も具体的なもののグループを大文字と小文字を区別せずに使用します。Googlebot-Newsは、
googlebot-newsグループがあればそれを使用し、なければgooglebot、それもなければ*を使用します。同じクローラーに対する複数のグループは、1つに統合されます。 -
パスを一致させます。 パスでは大文字と小文字が区別され、クエリ文字列を含め、先頭から一致します。
*は任意の文字列に一致し、$はURLの末尾を示します。/fish*は/fishと同じ意味で、/*.php$は/index.phpには一致しますが、/index.php?id=1には一致しません。 - 最長のルールが優先されます。 一致するルールの中で、最もパスが長いものが判断を決めます。AllowとDisallowのルールが同じ長さの場合、Googleは制限の少ないほう、つまりAllowを使用します。
-
空のDisallowは何もブロックしません。 パスを指定しない
Disallow:は、そのグループがすべてをクロールできることを意味します。
User-agent: * Disallow: /account/ Allow: /account/login
ここでは /account/orders はブロックされますが、 /account/login Allowルールのほうが長く、より具体的であるため許可されます。
robots.txtでAIクローラーをブロックする
多くのAI企業は、ブロックできるユーザーエージェントトークンを公開しています。これらはすべて同じ種類のボットではなく、その違いが重要です。
- トレーニングクローラー。 GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl)、Meta-ExternalAgent、Bytespider(ByteDance)は、モデルのトレーニングに使用できるページを収集します。これらをブロックすると、今後のクロールを使用しないよう各社に求めることになります。
- 制御トークン。 Google-ExtendedとApplebot-Extendedは独立したクローラーではありません。Google-Extendedは、Geminiのトレーニングやグラウンディングにコンテンツを使用しないようGoogleに指示します。Google検索におけるGooglebotのクロール、インデックス登録、ランキングには影響しません。Applebot-ExtendedはAppleのモデルのトレーニングからオプトアウトする一方、ApplebotはSiriとSpotlightのためにクロールを続けます。
- AI検索とユーザーフェッチ。 OAI-SearchBot、Claude-SearchBot、PerplexityBotは、AIの回答でページを表示・引用できるようにページを取得します。ChatGPT-UserとClaude-Userは、ユーザーがアシスタントにページを読むよう依頼したときにページを取得します。これらをブロックすると、AIの回答や引用からページが除外される可能性があります。これは、多くの場合、望ましいトラフィックです。
AIプリセットはクローラーのトレーニングをブロックし、検索とユーザーエージェントは未チェックのままにして、あなたが判断できるようにします。robots.txtは今後のクロールにのみ適用されます。すでに収集されたコンテンツが削除されることはありません。
ShopifyとWordPressのrobots.txt
Shopifyはrobots.txtを自動生成するため、ファイルをアップロードすることはできません。変更するには、 robots.txt.liquid テンプレートをテーマに追加し(オンラインストア -> テーマ -> コードを編集 -> 新しいテンプレートを追加 -> robots)、そこにルールを追加します。このツールのShopifyスタイルのプリセットはShopifyのデフォルトに似ているため、テンプレートを編集する前にルールを確認してテストできます。WordPressは仮想robots.txtを提供し、次を拒否します /wp-admin/ ただし、次は許可します /wp-admin/admin-ajax.php。サイトのルートに実際のrobots.txtファイルがある場合はそれが優先され、多くのSEOプラグインではダッシュボードから編集できます。
バリデーターが検出するよくあるミス
-
Noindex行。Googleは2019年にrobots.txtでのサポートを終了し、無視しています。 - 次のような相対サイトマップURL
Sitemap: /sitemap.xmlより前に置かれたルール。URLは絶対URLでなければなりません。 - いずれかの
User-agent行はクローラーに無視されます。 - 先頭にスラッシュがないパス、ルール内の完全なURL、パーセントエンコードすべき非ASCIIパス。
-
Crawl-delay。Googleは無視しますが、BingとYandexは読み取ります。 - 500 KiBを超えるファイル。Googleはその制限を超えた部分をすべて無視します。
- 次のようなタイプミス
Dissallowおよび未知のディレクティブ。
クロールルールはテクニカルSEOの一部にすぎません。構造化データバリデーターで構造化データを確認し、メタディスクリプションジェネレーターで検索スニペットを作成し、AI SEOアナライザーでページを分析するか、無料のAIジェネレーターとツールをすべてご覧ください。
よくある質問
このrobots.txtジェネレーターは無料ですか?
はい。登録は不要で、制限もありません。すべてブラウザー内で実行されるため、作成、貼り付け、テストしたrobots.txtがサーバーに送信されることはありません。
robots.txtファイルはどこに置けばよいですか?
各ホストのルートに置くと、https://yourdomain.com/robots.txtで読み込まれます。サブフォルダー内のrobots.txtは無視されます。Shopifyでは、ファイルをアップロードする代わりにrobots.txt.liquidテーマテンプレートを編集します。
robots.txtはページのインデックス登録を阻止しますか?
いいえ。これはクロールを制御するもので、インデックス登録を制御するものではありません。ブロックされたページでも、コンテンツなしでリンクからインデックス登録されることがあります。ページをGoogleに登録させないようにするには、クロールを許可し、noindex robotsメタタグまたはX-Robots-Tagヘッダーを追加してください。
GPTBotまたはGoogle-Extendedをブロックすると、Googleでのランキングに悪影響がありますか?
いいえ。GPTBotはOpenAIのトレーニング用クローラーで、Google検索とは関係ありません。Google-Extendedは、GoogleがGeminiのトレーニングやグラウンディングにあなたのコンテンツを使用するかどうかだけを制御し、検索でのクロールやランキングは制御しません。ただし、OAI-SearchBotやPerplexityBotなどのAI検索ボットをブロックすると、それらのAIによる回答からページが削除される可能性があります。
すべてのボットはrobots.txtに従いますか?
いいえ。robots.txtは任意の標準です。主要な検索エンジンやほとんどのAI企業はこれに従うとしていますが、スクレイパーは無視できます。非公開にしておく必要があるものには、ログイン、ファイアウォールルール、またはレート制限を使用してください。