什麼是 robots.txt 檔案?
robots.txt 檔案是位於網站根目錄的純文字檔案,例如 https://example.com/robots.txt,用來告訴爬蟲可以擷取哪些路徑。它由多個群組組成。每個群組都以一個或多個 User-agent 指定爬蟲的行,後面接著 Allow 和 Disallow 規則。 Sitemap 這些行會將爬蟲指向你的 XML sitemap,且可放在檔案中的任何位置。其格式已由 RFC 9309(Robots Exclusion Protocol)標準化,Google、Bing 和大多數大型爬蟲都會遵循。
這個 robots.txt 產生器會根據預設設定和簡易群組編輯器替你建立檔案。robots.txt 驗證器會標示爬蟲將忽略或誤讀的行號。robots.txt 測試工具會告訴你,對指定的 bot 而言某個 URL 是否允許或遭封鎖,並顯示判定結果的確切行。
robots.txt 能做與不能做的事
-
它控制的是抓取,而不是索引。如果其他頁面連結到某個遭封鎖的 URL,該 URL 仍可能出現在 Google 搜尋結果中,但不會顯示說明。若要讓頁面不出現在搜尋結果中,請允許爬蟲擷取該頁面,並新增
noindexrobots meta 標籤或X-Robots-Tag標頭。 - 它是自願遵循的。守規範的爬蟲會遵循它。忽略它的爬蟲不會因此停止。它不是存取控制機制:請透過登入保護私人頁面。
- 它是公開的。任何人都能開啟您的 robots.txt,因此不要在其中列出秘密路徑。
-
每個主機各自運作。
shop.example.com和example.com各自需要在自己的根目錄中放置檔案。
Google 如何讀取規則
Google 有記錄其比對邏輯,而「測試 URL」分頁會遵循相同步驟:
-
選擇群組。 爬蟲會使用與其權杖相符、且使用者代理程式最具體的群組,且比對不分大小寫。若存在
googlebot-news群組,Googlebot-News 會使用該群組;否則使用googlebot,再否則使用*。同一爬蟲的多個群組會合併成一個群組。 -
比對路徑。 路徑區分大小寫,並從開頭開始比對,包括查詢字串。
*會比對任意長度的字元序列,而$表示 URL 結尾。/fish*表示與/fish相同,而/*.php$會比對/index.php,但不會比對/index.php?id=1。 - 最長的規則優先。 在相符的規則中,由路徑最長的規則決定。如果 Allow 和 Disallow 規則長度相同,Google 會採用限制較少的規則,也就是 Allow。
-
空白的 Disallow 不會封鎖任何內容。
Disallow:後沒有路徑,表示該群組可以爬取所有內容。
User-agent: * Disallow: /account/ Allow: /account/login
此處 /account/orders 會遭到封鎖,而 /account/login 之所以允許,是因為 Allow 規則較長且更具體。
使用 robots.txt 封鎖 AI 爬蟲
許多 AI 公司會公布可供您封鎖的使用者代理程式權杖。它們並不全是同一類型的機器人,而這個差異很重要:
- 訓練爬蟲。 GPTBot(OpenAI)、ClaudeBot(Anthropic)、CCBot(Common Crawl)、Meta-ExternalAgent 和 Bytespider(ByteDance)會收集可用於訓練模型的頁面。封鎖它們會要求這些公司不要使用未來的爬取內容。
- 控制權杖。 Google-Extended 和 Applebot-Extended 並不是獨立的爬蟲。Google-Extended 會告知 Google 不要將您的內容用於 Gemini 訓練和接地。它不會改變 Googlebot 在 Google 搜尋中爬取、建立索引或為您的頁面排名的方式。Applebot-Extended 可讓您選擇退出 Apple 的模型訓練,同時 Applebot 仍會為 Siri 和 Spotlight 持續爬取。
- AI 搜尋與使用者擷取。 OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 會擷取頁面,讓它們能在 AI 回答中顯示並引用這些頁面。當有人要求助理讀取某個頁面時,ChatGPT-User 和 Claude-User 會擷取該頁面。封鎖這些爬蟲可能會讓您的頁面不再出現在 AI 回答和引用中,而這通常正是您希望獲得的流量。
AI 預設設定會封鎖訓練爬蟲,並讓搜尋與使用者代理程式保持未勾選,方便您自行決定。robots.txt 僅適用於未來的爬取作業,不會移除已經收集的內容。
Shopify 和 WordPress 上的 robots.txt
Shopify 會替你產生 robots.txt,因此你無法上傳檔案。若要變更,請加入 robots.txt.liquid 範本加入你的主題中(Online Store -> Themes -> Edit code -> Add a new template -> robots),然後在其中加入規則。此工具中的 Shopify 風格預設值與 Shopify 的預設設定相似,因此你可以在編輯範本前先檢閱並測試規則。WordPress 會提供虛擬 robots.txt,禁止 /wp-admin/ 但允許 /wp-admin/admin-ajax.php。網站根目錄中的實際 robots.txt 檔案會取代它,許多 SEO 外掛也允許你從控制台編輯它。
驗證器會抓出的常見錯誤
-
Noindex行。Google 已於 2019 年停止在 robots.txt 中支援這類 URL,並會忽略它們。 - 相對網站地圖 URL,例如
Sitemap: /sitemap.xml之前的規則。URL 必須是絕對 URL。 - 放在任何
User-agent這一行,爬蟲會忽略。 - 沒有開頭斜線的路徑、規則中的完整 URL,以及應進行百分比編碼的非 ASCII 路徑。
-
Crawl-delay,Google 會忽略。Bing 和 Yandex 會讀取它。 - 超過 500 KiB 的檔案。Google 會忽略超出此限制的所有內容。
- 例如
Dissallow以及未知指令。
爬取規則只是技術 SEO 的一部分。使用 結構化資料標記驗證器 檢查結構化資料,使用 meta 描述產生器 撰寫搜尋摘要,使用 AI SEO 分析器分析頁面,或瀏覽所有免費 AI 產生器和工具。
常見問題
這個 robots.txt 產生器免費嗎?
可以。無須註冊,也沒有使用限制。所有操作都在你的瀏覽器中執行,因此你建立、貼上或測試的 robots.txt 不會傳送到任何伺服器。
我該把 robots.txt 檔案放在哪裡?
放在每個主機的根目錄中,這樣會以 https://yourdomain.com/robots.txt 載入。子資料夾中的 robots.txt 會被忽略。在 Shopify 上,請編輯 robots.txt.liquid 主題範本,而不是上傳檔案。
robots.txt 會阻止頁面建立索引嗎?
不會。它控制的是爬取,而不是索引。即使頁面遭到封鎖,仍可能透過連結建立索引,只是沒有頁面內容。若要讓頁面不出現在 Google 中,請允許爬取,並加入 noindex robots meta 標籤或 X-Robots-Tag 標頭。
封鎖 GPTBot 或 Google-Extended 會影響我的 Google 排名嗎?
不會。GPTBot 是 OpenAI 的訓練爬蟲,與 Google 搜尋無關。Google-Extended 只控制 Google 是否將你的內容用於 Gemini 訓練和接地,不會控制搜尋中的爬取或排名。不過,封鎖 OAI-SearchBot 或 PerplexityBot 等 AI 搜尋機器人,可能會讓你的頁面不再出現在這些 AI 的回答中。
所有機器人都會遵守 robots.txt 嗎?
不。robots.txt 是一項自願遵循的標準。主要搜尋引擎和大多數 AI 公司都表示會遵守,但爬蟲可以忽略它。對於任何必須保持私密的內容,請使用登入驗證、防火牆規則或速率限制。
