OpenAI 為何使用網頁爬蟲？
我們使用爬蟲，驗證提交為 ChatGPT 廣告的網頁是否安全。當你提交廣告時，OpenAI 可能會瀏覽登陸頁面，以確保其符合我們的政策。我們亦可能使用登陸頁面的內容，判斷何時向用戶展示廣告最為相關。
你應允許哪些 OpenAI 爬蟲？
你必須允許 OAI-AdsBot。我們建議同時允許 OAI-AdsBot 和 OAI-SearchBot。
如使用產品資料來源，亦請允許 OAI-SearchBot 抓取產品圖片 URL。請檢查圖片主機的防火牆、CDN 及機械人防護規則；403 回應可能會阻礙資料來源處理。
OpenAI 爬蟲無法抓取我的網站。我該怎麼辦？
大多數網站都設有多重防護，爬蟲必須通過這些防護才能成功存取網頁。請與工程或保安團隊合作，確認 OpenAI 爬蟲能通過以下各層防護。
1. robots.txt
robots.txt 檔案會告知爬蟲是否獲准存取網站的特定部分。OpenAI 爬蟲會遵守這些規則。如果 robots.txt 不允許存取，抓取作業會立即停止。
請檢查 robots.txt 設定，並確認當中明確允許 OpenAI 爬蟲存取相關頁面及路徑。例如：User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. 網頁防護及機械人流量緩解措施
許多網站使用 Cloudflare、Akamai 或其他網頁防護供應商的服務，抵禦 DDoS 攻擊、資料擷取及未經授權的流量。這些系統可能誤擋合法爬蟲，並經常傳回 403 Forbidden 錯誤。由於 OpenAI 爬蟲的流量模式可能與自動化流量相似，除非明確加入允許清單，否則可能會遭拒絕存取。
請檢查網頁防護或防火牆設定，並盡可能將 OpenAI 爬蟲流量加入允許清單，最好以我們的爬蟲使用者代理程式為依據。工程或基礎架構團隊亦應檢查任何可能誤判的自動機械人流量緩解規則。
3. 真人驗證及反機械人邏輯
部分網站會在應用程式層面實施額外檢查，以驗證訪客是真人，例如 CAPTCHA、JavaScript 挑戰、行為分析或工作階段驗證。由於 OpenAI 爬蟲是自動化系統，即使爬蟲成功通過前面的防護層，這些檢查仍可能阻止其存取。
請檢查應用程式內實施的真人驗證或反自動化邏輯，並在適當情況下豁免 OpenAI 爬蟲，最好將我們的爬蟲使用者代理程式加入允許清單。
關於穩定 IP 範圍的說明
部分保安系統要求爬蟲流量來自穩定且有公開記錄的 IP 範圍，才能可靠地將流量加入允許清單。由於爬蟲基礎架構可能隨時間演變，工程團隊不應只依賴記錄中的短期 IP 觀察結果。請改為結合使用者代理程式識別、支援情況下的已驗證機械人計劃、防火牆允許清單、robots.txt 行為及供應商層級的機械人驗證系統來驗證流量。
如必須允許一份穩定的 IP 範圍清單，請參考 https://openai.com/searchbot.json 及 https://openai.com/adsbot.json。
關於速率限制的說明
大批量上載或爬蟲流量突然急增，有時可能會觸發自動速率限制或機械人防護系統。
如果你懷疑出現速率限制，請工程團隊檢查 HTTP 回應代碼（尤其是 429 Too Many Requests）、防火牆或 CDN 記錄、機械人流量緩解事件、要求限流規則，以及爬蟲嘗試存取時段的流量分析。這有助判斷要求是否被基礎架構防護措施刻意減慢或封鎖。
你亦可考慮延長上載廣告的時間，並分成較小批次上載。
關於 Cloudflare 的說明
OAI-AdsBot 已獲 Cloudflare 正式驗證並加入允許清單。
爬蟲及登陸頁面常見問題
廣告審核需要哪個爬蟲？
ChatGPT Ads 登陸頁面的驗證及審核需要 OAI-AdsBot。我們建議允許 OAI-SearchBot，因為它可能有助 OpenAI 理解公開網頁內容；但為廣告作準備時，廣告客戶應優先允許 OAI-AdsBot。
支援團隊能否手動略過爬蟲驗證？
請勿依賴手動略過驗證。請修正 robots.txt、WAF、CDN、機械人流量緩解措施、驗證及速率限制造成的封鎖，讓 OAI-AdsBot 能抓取登陸頁面。登陸頁面可供存取後，可能需要重新上載廣告或再次提交審核。
工程團隊應先檢查甚麼？
請檢查登陸頁面是否向 OAI-AdsBot 傳回成功的 HTTP 回應、robots.txt 是否允許相關路徑，以及 WAF、CDN、機械人流量緩解措施、JavaScript 挑戰、CAPTCHA、驗證或地區規則有否封鎖自動存取。
應用程式商店連結、深層連結或非網頁目的地可否用作登陸頁面？
請盡可能使用可直接存取的網頁登陸頁面。應用程式商店連結、深層連結、文件，或需要應用程式、登入、特定地區存取權限或不支援重新導向的目的地，可能無法提供足夠的可抓取內容以供驗證或審核。
我應在何時重新上載或再次要求審核？
修正爬蟲存取問題後，如果狀態沒有自行更新，請重新上載受影響的廣告或再次提交審核。對於大量上載的廣告，團隊驗證修正成效期間，可採用較小批次，減少觸發速率限制或機械人防護的機會。