OpenAI 為什麼使用網路爬蟲？
我們會使用 網路爬蟲，驗證在 ChatGPT 上以廣告形式提交的網頁是否安全。當你提交廣告時，OpenAI 可能會造訪該登陸頁面，確保它符合我們的政策我們也可能會使用著陸頁面的內容，判斷何時最適合向使用者顯示廣告。
你應該允許哪些 OpenAI 爬蟲程式？
必須允許 OAI-AdsBot。建議同時允許 OAI-AdsBot 和 OAI-SearchBot。
OpenAI 爬蟲無法爬取我的網站。該怎麼辦？
大多數網站都有多層防護機制，網路爬蟲必須通過這些機制，才能成功存取網頁。與你的工程或資安團隊合作，以驗證 OpenAI 爬蟲是否能通過以下各層。
1. robots.txt
robots.txt 檔案會告知爬蟲是否允許存取你網站的特定部分。OpenAI 的爬蟲程式會遵守這些規則。如果 robots.txt 中禁止存取，爬取將立即停止。
檢閱你的 robots.txt 設定，並確認已明確允許 OpenAI 爬蟲程式存取相關頁面和路徑。例如：User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Web 防護和機器人防護
許多網站會使用 Cloudflare、Akamai 等服務，或其他網頁防護供應商，來防禦 DDoS 攻擊、資料擷取和未經授權的流量。這些系統可能會誤擋合法的爬蟲程式，並經常傳回 403 Forbidden 錯誤。由於 OpenAI 爬蟲程式可能呈現類似自動化流量的模式，除非特別加入允許清單，否則可能會遭到拒絕。
請檢閱你的網頁防護或防火牆設定，並在可能的情況下將 OpenAI 爬蟲流量加入允許清單，最好是根據我們的爬蟲使用者代理字串進行設定。你的工程或基礎架構團隊也應檢查任何可能觸發誤判的自動化機器人緩解規則。
3. 真人驗證與防機器人邏輯
有些網站會實作額外的應用程式層級檢查，以驗證訪客是真人 (例如 CAPTCHA 驗證碼、JavaScript 挑戰、行為分析或工作階段驗證)。由於 OpenAI 爬蟲程式屬於自動化系統，即使爬蟲程式已成功通過前面的層級，這些檢查仍可能會封鎖其存取。
檢閱應用程式中實作的任何真人驗證或反自動化邏輯，並確保在適當情況下豁免 OpenAI 爬蟲程式，最好是將我們的爬蟲使用者代理程式加入允許清單。
關於穩定 IP 範圍的注意事項
某些安全系統會要求爬蟲流量必須來自穩定且公開記載的 IP 範圍，才能可靠地將該流量加入允許清單。由於爬蟲基礎架構可能會隨著時間演進，你的工程團隊應避免僅依賴記錄檔中的短期 IP 觀察結果。相反地，請透過 User-Agent 識別、已驗證的機器人程式 (在支援的情況下)、防火牆允許清單、robots.txt 行為，以及供應商層級的機器人驗證系統等組合來驗證流量。
如果必須允許穩定的 IP 範圍清單，請參考 https://openai.com/searchbot.json 和 https://openai.com/adsbot.json。
關於速率限制的說明
大型大量上傳或爬蟲流量突然暴增，有時可能會觸發自動化的速率限制或機器人防護系統。
如果你懷疑發生速率限制，請要求工程團隊檢查 HTTP 回應碼，尤其是 429 Too Many Requests、防火牆或 CDN 記錄、機器人流量緩解事件、要求節流規則，以及爬蟲嘗試存取時間前後的流量分析。這可協助判斷要求是否遭到基礎架構保護機制刻意延緩或封鎖。
你也可以考慮將廣告分成較小的批次，並適時拉長上傳時間。
關於 Cloudflare 的說明
OAI-AdsBot 已由 Cloudflare 正式驗證並列入允許清單。
爬蟲與著陸頁面常見問題
廣告審查需要哪個爬蟲程式？
ChatGPT Ads 登陸頁面驗證與審查需要 OAI-AdsBot。建議使用 OAI-SearchBot，因為它可能有助於 OpenAI 理解公開網頁內容；但若要確保廣告就緒，廣告主應優先使用 OAI-AdsBot。
是否支援手動繞過爬蟲驗證？
請勿依賴手動繞過方式。透過修正 robots.txt，讓登陸頁面可供 OAI-AdsBot 檢索，WAF、CDN、Bot 緩解、身分驗證與速率限制封鎖。在登陸頁面可存取後，廣告可能需要重新上傳或重新提交審查。
我的工程團隊應該優先檢查什麼？
檢查登陸頁面是否會對 OAI-AdsBot 傳回成功的 HTTP 回應、robots.txt 是否允許相關路徑，以及 WAF、CDN、機器人流量緩解措施、JavaScript 驗證、CAPTCHAs、驗證機制或地理位置規則是否封鎖自動化存取。
是否支援將應用程式商店連結、深層連結或非網頁目的地作為登陸頁面？
請盡可能使用可直接存取的網頁登陸頁面。應用程式商店連結、深層連結、文件，或需要應用程式、登入、特定地區存取權限，或包含不支援重新導向的目的地，可能無法提供足夠可供檢索的內容來進行驗證或審查。
我應該什麼時候重新上傳或再次要求審核？
修正檢索器存取權限後，如果狀態未自動更新，請重新上傳或重新提交受影響的廣告。對於大量上傳的廣告，在你團隊驗證修正期間，使用較小的批次可減少觸發速率限制或機器人防護機制的機率。