免費工具在瀏覽器中執行 · 免註冊

// 免費工具 - robots.txt 產生器

Robots.txt 產生器 也能驗證和測試

根據預設設定為 Shopify、WordPress 和 AI 爬蟲建立 robots.txt 檔案,逐行檢查錯誤,並使用 Google 的比對規則測試某個 URL 是否允許或遭 Googlebot、GPTBot 或任何其他 bot 存取。

  • 免費 - 不需註冊
  • 在你的瀏覽器中執行
  • AI 爬蟲預設設定
  • Google 比對規則

你的 robots.txt

不會將任何內容傳送到其他地方。輸出內容會在你輸入時更新。

從預設設定開始

User-agent 群組
要封鎖的 AI 爬蟲(0 已選取)

受檢查的 bot 會各自建立群組,包含 Disallow: /。robots.txt 是自願遵循的規範:守規矩的 bot 會遵循,但忽略規範的爬蟲不會因此停止。

    robots.txt 就緒
    檢查項目

      相同 URL,其他 bot

      User-agent 結果 判定依據
      超越檔案本身

      乾淨的 robots.txt 是起點。Technical SEO 才是其餘部分。

      抓取規則只是搜尋引擎和 AI 助理查看你網站方式的一部分。這些 AI 專家可整合至 Claude、ChatGPT 或任何 AI 聊天工具,協助處理其餘工作:稽核、索引問題、網站結構和內容。

      什麼是 robots.txt 檔案?

      robots.txt 檔案是位於網站根目錄的純文字檔案,例如 https://example.com/robots.txt,用來告訴爬蟲可以擷取哪些路徑。它由多個群組組成。每個群組都以一個或多個 User-agent 指定爬蟲的行,後面接著 Allow 和 Disallow 規則。 Sitemap 這些行會將爬蟲指向你的 XML sitemap,且可放在檔案中的任何位置。其格式已由 RFC 9309(Robots Exclusion Protocol)標準化,Google、Bing 和大多數大型爬蟲都會遵循。

      這個 robots.txt 產生器會根據預設設定和簡易群組編輯器替你建立檔案。robots.txt 驗證器會標示爬蟲將忽略或誤讀的行號。robots.txt 測試工具會告訴你,對指定的 bot 而言某個 URL 是否允許或遭封鎖,並顯示判定結果的確切行。

      robots.txt 能做與不能做的事

      • 它控制的是抓取,而不是索引。如果其他頁面連結到某個遭封鎖的 URL,該 URL 仍可能出現在 Google 搜尋結果中,但不會顯示說明。若要讓頁面不出現在搜尋結果中,請允許爬蟲擷取該頁面,並新增 noindex robots meta 標籤或 X-Robots-Tag 標頭。
      • 它是自願遵循的。守規範的爬蟲會遵循它。忽略它的爬蟲不會因此停止。它不是存取控制機制:請透過登入保護私人頁面。
      • 它是公開的。任何人都能開啟您的 robots.txt,因此不要在其中列出秘密路徑。
      • 每個主機各自運作。 shop.example.com 和 example.com 各自需要在自己的根目錄中放置檔案。

      Google 如何讀取規則

      Google 有記錄其比對邏輯,而「測試 URL」分頁會遵循相同步驟:

      1. 選擇群組。 爬蟲會使用與其權杖相符、且使用者代理程式最具體的群組,且比對不分大小寫。若存在 googlebot-news 群組,Googlebot-News 會使用該群組;否則使用 googlebot,再否則使用 *。同一爬蟲的多個群組會合併成一個群組。
      2. 比對路徑。 路徑區分大小寫,並從開頭開始比對,包括查詢字串。* 會比對任意長度的字元序列,而 $ 表示 URL 結尾。/fish* 表示與 /fish 相同,而 /*.php$ 會比對 /index.php,但不會比對 /index.php?id=1。
      3. 最長的規則優先。 在相符的規則中,由路徑最長的規則決定。如果 Allow 和 Disallow 規則長度相同,Google 會採用限制較少的規則,也就是 Allow。
      4. 空白的 Disallow 不會封鎖任何內容。 Disallow: 後沒有路徑,表示該群組可以爬取所有內容。
      User-agent: *
      Disallow: /account/
      Allow: /account/login

      此處 /account/orders 會遭到封鎖,而 /account/login 之所以允許,是因為 Allow 規則較長且更具體。

      使用 robots.txt 封鎖 AI 爬蟲

      許多 AI 公司會公布可供您封鎖的使用者代理程式權杖。它們並不全是同一類型的機器人,而這個差異很重要:

      • 訓練爬蟲。 GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl)、Meta-ExternalAgent 和 Bytespider(ByteDance)會收集可用於訓練模型的頁面。封鎖它們會要求這些公司不要使用未來的爬取內容。
      • 控制權杖。 Google-Extended 和 Applebot-Extended 並不是獨立的爬蟲。Google-Extended 會告知 Google 不要將您的內容用於 Gemini 訓練和接地。它不會改變 Googlebot 在 Google 搜尋中爬取、建立索引或為您的頁面排名的方式。Applebot-Extended 可讓您選擇退出 Apple 的模型訓練,同時 Applebot 仍會為 Siri 和 Spotlight 持續爬取。
      • AI 搜尋與使用者擷取。 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 會擷取頁面,讓它們能在 AI 回答中顯示並引用這些頁面。當有人要求助理讀取某個頁面時,ChatGPT-User 和 Claude-User 會擷取該頁面。封鎖這些爬蟲可能會讓您的頁面不再出現在 AI 回答和引用中,而這通常正是您希望獲得的流量。

      AI 預設設定會封鎖訓練爬蟲,並讓搜尋與使用者代理程式保持未勾選,方便您自行決定。robots.txt 僅適用於未來的爬取作業,不會移除已經收集的內容。

      Shopify 和 WordPress 上的 robots.txt

      Shopify 會替你產生 robots.txt,因此你無法上傳檔案。若要變更,請加入 robots.txt.liquid 範本加入你的主題中(Online Store -> Themes -> Edit code -> Add a new template -> robots),然後在其中加入規則。此工具中的 Shopify 風格預設值與 Shopify 的預設設定相似,因此你可以在編輯範本前先檢閱並測試規則。WordPress 會提供虛擬 robots.txt,禁止 /wp-admin/ 但允許 /wp-admin/admin-ajax.php。網站根目錄中的實際 robots.txt 檔案會取代它,許多 SEO 外掛也允許你從控制台編輯它。

      驗證器會抓出的常見錯誤

      • Noindex 行。Google 已於 2019 年停止在 robots.txt 中支援這類 URL,並會忽略它們。
      • 相對網站地圖 URL,例如 Sitemap: /sitemap.xml之前的規則。URL 必須是絕對 URL。
      • 放在任何 User-agent 這一行,爬蟲會忽略。
      • 沒有開頭斜線的路徑、規則中的完整 URL,以及應進行百分比編碼的非 ASCII 路徑。
      • Crawl-delay,Google 會忽略。Bing 和 Yandex 會讀取它。
      • 超過 500 KiB 的檔案。Google 會忽略超出此限制的所有內容。
      • 例如 Dissallow 以及未知指令。

      爬取規則只是技術 SEO 的一部分。使用 結構化資料標記驗證器 檢查結構化資料,使用 meta 描述產生器 撰寫搜尋摘要,使用 AI SEO 分析器分析頁面,或瀏覽所有免費 AI 產生器和工具。

      常見問題

      這個 robots.txt 產生器免費嗎?

      可以。無須註冊,也沒有使用限制。所有操作都在你的瀏覽器中執行,因此你建立、貼上或測試的 robots.txt 不會傳送到任何伺服器。

      我該把 robots.txt 檔案放在哪裡?

      放在每個主機的根目錄中,這樣會以 https://yourdomain.com/robots.txt 載入。子資料夾中的 robots.txt 會被忽略。在 Shopify 上,請編輯 robots.txt.liquid 主題範本,而不是上傳檔案。

      robots.txt 會阻止頁面建立索引嗎?

      不會。它控制的是爬取,而不是索引。即使頁面遭到封鎖,仍可能透過連結建立索引,只是沒有頁面內容。若要讓頁面不出現在 Google 中,請允許爬取,並加入 noindex robots meta 標籤或 X-Robots-Tag 標頭。

      封鎖 GPTBot 或 Google-Extended 會影響我的 Google 排名嗎?

      不會。GPTBot 是 OpenAI 的訓練爬蟲,與 Google 搜尋無關。Google-Extended 只控制 Google 是否將你的內容用於 Gemini 訓練和接地,不會控制搜尋中的爬取或排名。不過,封鎖 OAI-SearchBot 或 PerplexityBot 等 AI 搜尋機器人,可能會讓你的頁面不再出現在這些 AI 的回答中。

      所有機器人都會遵守 robots.txt 嗎?

      不。robots.txt 是一項自願遵循的標準。主要搜尋引擎和大多數 AI 公司都表示會遵守,但爬蟲可以忽略它。對於任何必須保持私密的內容,請使用登入驗證、防火牆規則或速率限制。

      更多免費開發者工具

      所有免費工具 →