OpenAI 為何使用網絡爬蟲？
我們使用爬蟲，驗證提交為 ChatGPT 廣告的網頁是否安全。當你提交廣告時，OpenAI 可能會瀏覽其到達頁面，以確保該頁面符合我們的政策。我們亦可能使用到達頁面的內容，判斷何時向用戶展示該廣告最相關。
你應允許哪些 OpenAI 爬蟲？
你必須允許 OAI-AdsBot。我們建議同時允許 OAI-AdsBot 和 OAI-SearchBot。
OpenAI 爬蟲無法爬取我的網站。我應該怎樣做？
大多數網站都有多層保護，爬蟲需要通過後才能成功存取網頁。請與你的工程或安全團隊合作，確認 OpenAI 爬蟲可以通過以下各層。
1. robots.txt
robots.txt 檔案會告訴爬蟲是否獲准存取你網站的特定部分。OpenAI 爬蟲會遵守這些規則。如果 robots.txt 不允許存取，爬取會立即停止。
請檢視你的 robots.txt 設定，並確認已明確允許 OpenAI 爬蟲存取相關頁面和路徑。例如：User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. 網絡保護和機械人流量緩解
許多網站使用 Cloudflare、Akamai 或其他網絡保護供應商等服務，防禦 DDoS 攻擊、擷取內容和未經授權的流量。這些系統可能會誤封鎖合法爬蟲，通常會傳回 403 Forbidden 錯誤。由於 OpenAI 爬蟲可能類似自動化流量模式，如未特別加入允許清單，可能會被拒絕存取。
請檢視你的網絡保護或防火牆設定，並在可行情況下將 OpenAI 爬蟲流量加入允許清單，最好根據我們的爬蟲 user agent 進行設定。你的工程或基建團隊亦應檢查任何可能觸發誤報的自動化機械人流量緩解規則。
3. 真人驗證和反機械人邏輯
有些網站會在應用程式層面實施額外檢查，以驗證訪客是真人，例如 CAPTCHA、JavaScript 挑戰、行為分析或工作階段驗證。由於 OpenAI 爬蟲是自動化系統，即使爬蟲成功通過較前的層級，這些檢查仍可能封鎖存取。
請檢視應用程式內任何真人驗證或反自動化邏輯，並在適當情況下豁免 OpenAI 爬蟲，最好透過將我們的爬蟲 user agent 加入允許清單來實現。
關於穩定 IP 範圍的說明
有些安全系統要求爬蟲流量來自穩定且公開記錄的 IP 範圍，才能可靠地將流量加入允許清單。由於爬蟲基建可能會隨時間演變，你的工程團隊應避免只依賴記錄中短期觀察到的 IP。相反，請結合 user-agent 識別、支援情況下的已驗證機械人程式、防火牆允許清單、robots.txt 行為，以及供應商層面的機械人驗證系統來驗證流量。
如果你必須允許一份穩定的 IP 範圍清單，請參考 https://openai.com/searchbot.json 和 https://openai.com/adsbot.json。
關於速率限制的說明
大量批次上載或爬蟲流量突然急增，有時可能會觸發自動速率限制或機械人防護系統。
如果你懷疑出現速率限制，請要求工程團隊檢視爬蟲嘗試存取前後的 HTTP 回應碼，特別是 429 Too Many Requests、防火牆或 CDN 記錄、機械人流量緩解事件、請求節流規則，以及流量分析。這有助判斷請求是否被基建保護措施有意減慢或封鎖。
你亦可考慮在較長時間內以較小批次上載廣告。
關於 Cloudflare 的說明
OAI-AdsBot 已獲 Cloudflare 正式驗證並加入允許清單。
爬蟲和到達頁面常見問題
廣告審核需要哪個爬蟲？
ChatGPT Ads 到達頁面驗證和審核需要 OAI-AdsBot。建議使用 OAI-SearchBot，因為它可能有助 OpenAI 了解公開網絡內容；但為確保廣告可供審核，廣告商應優先處理 OAI-AdsBot。
支援團隊可以手動略過爬蟲驗證嗎？
不要依賴手動略過。請修正 robots.txt、WAF、CDN、機械人流量緩解、驗證和速率限制封鎖，讓 OAI-AdsBot 能夠爬取到達頁面。到達頁面可供存取後，廣告可能需要重新上載或重新提交審核。
我的工程團隊應先檢查甚麼？
請檢查到達頁面是否向 OAI-AdsBot 傳回成功的 HTTP 回應、robots.txt 是否允許相關路徑，以及 WAF、CDN、機械人流量緩解、JavaScript 挑戰、CAPTCHA、驗證或地區規則是否封鎖自動化存取。
應用程式商店連結、深層連結或非網頁目的地是否可用作到達頁面？
盡可能使用可直接到達的網頁到達頁面。應用程式商店連結、深層連結、文件，或需要應用程式、登入、特定地區存取或不受支援重新導向的目的地，可能無法提供足夠可爬取內容作驗證或審核。
我應在何時重新上載或再次要求審核？
修正爬蟲存取後，如狀態沒有自行更新，請重新上載或重新提交受影響的廣告。對於大量上載的廣告，在團隊驗證修正期間，較小批次可減少觸發速率限制或機械人防護的機會。