AI 爬蟲要不要擋?GPTBot、OAI-SearchBot、Google-Extended 的差別與取捨
AI 爬蟲分三種身分:訓練用、搜尋收錄用、使用者觸發的即時抓取。想被 AI 引用的品牌,要開放搜尋型爬蟲(OAI-SearchBot、PerplexityBot、Googlebot);要不要讓內容拿去訓練(GPTBot、Google-Extended)是另一個獨立決定,兩者在各家官方文件裡都是分開的開關。
AI 爬蟲有哪三種身分?擋掉各會發生什麼?
結論:先分身分再決定擋不擋。很多網站為了不讓內容被拿去訓練,在 robots.txt 一口氣擋掉所有名字裡有 AI 的爬蟲,結果連搜尋型爬蟲一起擋了,品牌從 ChatGPT 的搜尋答案裡消失,還以為是 GEO 沒做好。下表依 OpenAI、Google、Perplexity 的官方文件整理:
| 身分 | 代表 | 做什麼 | robots.txt 擋掉會怎樣 |
|---|---|---|---|
| 訓練爬蟲 | GPTBot(OpenAI)、Google-Extended(Google,控制符號) | 抓內容供訓練模型;Google-Extended 另管 Gemini 應用程式與 Vertex AI 的生成時取用。 | 只影響訓練與上述取用,不影響 ChatGPT 搜尋結果、Google 搜尋收錄與排名。 |
| 搜尋型爬蟲 | OAI-SearchBot(OpenAI)、PerplexityBot(Perplexity)、Googlebot(Google) | 抓內容建立搜尋索引,AI 回答引用的網站從這裡來。 | 擋 OAI-SearchBot 會從 ChatGPT 搜尋答案消失;擋 Googlebot 連 Google 搜尋都沒了。 |
| 使用者觸發抓取 | ChatGPT-User(OpenAI)、Perplexity-User(Perplexity) | 使用者提問時即時去讀某一頁,回答裡附連結。 | 兩家文件都說這類抓取可能不適用或一般不遵守 robots.txt,擋了多半沒效。 |
擋 GPTBot 會發生什麼?
結論:只表示內容不要用於訓練 OpenAI 的基礎模型,不會把網站從 ChatGPT 搜尋答案拿掉。OpenAI 的文件把 GPTBot、OAI-SearchBot、ChatGPT-User 三個分開寫,並說明每個設定彼此獨立;ChatGPT 搜尋功能用來呈現網站的是 OAI-SearchBot。所以「擋訓練、留搜尋」在技術上做得到,就是分別寫兩條規則。
擋 OAI-SearchBot、PerplexityBot 會發生什麼?
結論:品牌會從該引擎的搜尋答案消失。OpenAI 的文件寫明,選擇退出 OAI-SearchBot 的網站不會出現在 ChatGPT 搜尋答案裡;Perplexity 的文件說 PerplexityBot 是用來在搜尋結果中呈現並連結網站、不用於訓練,想出現在 Perplexity 結果就建議放行。如果你的目標是被 AI 引用,這兩個是最不該擋的。
檢查方法很簡單:打開自家 robots.txt,搜尋這兩個名字,再看有沒有「User-agent: *」底下的 Disallow 把整站或重要目錄擋掉。品牌在 AI 答案裡消失的其他原因,見ChatGPT 為什麼不推薦我的品牌。
Google-Extended 到底管什麼?會影響 AI Overviews 嗎?
結論:Google-Extended 管的是內容能否用於訓練 Gemini 模型,以及 Gemini 應用程式與 Vertex AI 在生成時取用你的內容;Google 的文件寫明它不影響網站在 Google 搜尋的收錄,也不是排名訊號。它沒有自己的抓取身分,抓取仍由現有的 Google 爬蟲執行,robots.txt 裡的 Google-Extended 只是控制用的符號。
AI Overviews 與 AI Mode 是另一回事:Google 的 AI 功能文件說,要成為引用連結,頁面必須已被索引、且能在 Google 搜尋中以摘要顯示;管理這部分靠的是 Googlebot 的 robots.txt 規則與預覽控制(nosnippet、data-nosnippet、max-snippet、noindex)。想限制某段內容出現在 AI 摘要裡,用 data-nosnippet 圈住那一段,而不是擋 Google-Extended。文件也提醒設定後要等重新抓取,可能是幾天到幾個月。
為什麼擋了 robots.txt,AI 還是讀得到我的頁面?
結論:因為使用者觸發的抓取不走 robots.txt 的邏輯。使用者在 ChatGPT 貼一個網址、或問到需要即時查某一頁的問題時,OpenAI 用 ChatGPT-User 去讀;Perplexity 用 Perplexity-User。OpenAI 的文件說這類動作由使用者發起,robots.txt 規則可能不適用;Perplexity 的文件說它一般不遵守 robots.txt。這和瀏覽器開網頁是同一個性質:robots.txt 管的是爬蟲建索引,不是個人瀏覽。真的不想被讀的內容,只能用登入或不公開。
品牌端的建議設定是什麼?
結論:開放搜尋型爬蟲,訓練爬蟲依公司政策決定,不要用「User-agent: *」一刀切。一個常見的寫法是分開列:
# 搜尋型爬蟲:想被 AI 搜尋引用就放行
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# 訓練用:依公司政策決定;擋掉不影響上面的搜尋引用
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /- Googlebot 不要擋,擋了連 Google 搜尋都沒有,更不會有 AI Overviews。
- 不想出現在 Google AI 摘要裡的個別段落,用 data-nosnippet 圈住,而不是擋整個爬蟲。
- 改完後用伺服器記錄或搜尋引擎的網址檢查工具確認爬蟲真的抓得到;OpenAI 的文件提到搜尋相關的 robots.txt 變更需要一些時間生效。
- 每次改 robots.txt 都記錄日期,之後比對 AI 能見度的變化才有依據;檢測方法見AI 口碑能見度檢測標準題組。
要不要讓內容被拿去訓練,牽涉著作權與公司立場,沒有標準答案;這篇只處理「別為了擋訓練,把搜尋引用也擋掉」這個最常見的誤設。本站的 robots.txt 目前兩組都放行,但分成「搜尋引用型」與「訓練型」兩組列出、各自註明用途,之後若要關閉訓練,不會動到搜尋引用。llms.txt 與 robots.txt 的分工見llms.txt 是什麼。
AI 爬蟲設定會影響哪些名詞、服務與答案頁?
搜尋型爬蟲放行是 GEO 的前提;AI Overview 的引用資格看 Google 的索引規則。
先回答你的問題
- 口碑行銷公司提供哪些服務?:丞相帶風象的服務分五項:論壇口碑內容佈局、輿情監測、負評與危機處理、KOC 素人合作、AI 搜尋優化(GEO),可單獨採用或組成年度計畫,一律書面報價。
對應的服務
- AI 搜尋優化(GEO):robots.txt、noindex 與 AI 搜尋回答一併檢查。
本頁用到的名詞
- GEO:生成式引擎優化:讓品牌資訊在 ChatGPT、Gemini、Google AI Overview 等 AI 搜尋的回答中被正確理解與引用的方法。
- AI Overview:Google 搜尋結果頂部由 AI 生成的摘要回答(前身為 SGE)。
- SEO:搜尋引擎優化:讓網站內容在 Google 等搜尋引擎的結果頁取得更好排名的方法,包含內容品質、技術結構與外部連結三大面向。
- AI 口碑能見度檢測:以固定題組向 ChatGPT、Gemini、Google 與 AI Overview 提問,記錄品牌的提及、描述正確性與引用來源三項指標的檢測方法。
常見問題
擋了 GPTBot,品牌會從 ChatGPT 的搜尋答案消失嗎?
依 OpenAI 的官方文件,不會。GPTBot 管的是內容能不能用於訓練模型,ChatGPT 搜尋功能引用網站用的是 OAI-SearchBot,兩個設定彼此獨立。真正會讓網站從 ChatGPT 搜尋答案消失的是封鎖 OAI-SearchBot。
在 robots.txt 擋 Google-Extended,會影響 Google 搜尋排名或 AI Overviews 嗎?
Google 的文件寫明 Google-Extended 不影響網站在 Google 搜尋的收錄,也不是排名訊號;它控制的是內容是否用於訓練 Gemini 模型,以及 Gemini 應用程式與 Vertex AI 的生成時取用。AI Overviews 與 AI Mode 的出現條件是「頁面已被索引且可在搜尋中顯示摘要」,要限制那邊的呈現得用 nosnippet、data-nosnippet、max-snippet 這類預覽控制。
為什麼擋了 robots.txt,AI 還是讀得到我的頁面?
因為使用者觸發的抓取不一定遵守 robots.txt。OpenAI 的 ChatGPT-User 與 Perplexity 的 Perplexity-User 都是在使用者提問時即時去讀網頁,兩家文件都說這類抓取可能不適用或一般不遵守 robots.txt。robots.txt 管的是爬蟲建索引,不是即時瀏覽。
參考資料與資料來源
- OpenAI:Overview of OpenAI Crawlers(OAI-SearchBot、ChatGPT-User、GPTBot)|三個爬蟲的用途、彼此獨立的設定,以及退出 OAI-SearchBot 的後果
- Google Search Central:Google 的通用爬蟲(含 Google-Extended)|Google-Extended 控制 Gemini 訓練與生成時取用,不影響搜尋收錄與排名
- Google Search Central:AI 功能與你的網站|AI Overviews 與 AI Mode 的引用資格、預覽控制與重新抓取時間
- 本站 robots.txt|搜尋引用型與訓練型分組列出、目前全部放行的實例
- Perplexity:Perplexity Crawlers(PerplexityBot、Perplexity-User)|PerplexityBot 不用於訓練;Perplexity-User 一般不遵守 robots.txt
外部連結為內容撰寫時的公開資料來源,內容如有更新以各來源現行版本為準。
不確定 robots.txt 有沒有擋到搜尋型爬蟲?
丞相帶風象的免費品牌口碑健檢會一併檢查 robots.txt、noindex 與 AI 搜尋回答現況,列出哪些設定正在影響引用。
免費健檢我的品牌口碑