なぜ OpenAI はウェブクローラーを使用するのですか？
ChatGPT に広告として送信されたウェブページの安全性を検証するために、クローラーを使用しています。広告を送信すると、OpenAI はランディングページにアクセスし、当社のポリシーに準拠していることを確認する場合があります。また、ユーザーにその広告を表示する最も適切なタイミングを判断するために、ランディングページのコンテンツを利用する場合があります。
どの OpenAI クローラーを許可すべきですか？
OAI-AdsBot は許可する必要があります。OAI-AdsBot と OAI-SearchBot の両方を許可することをおすすめします。
OpenAI のクローラーが私のウェブサイトをクロールできません。どうすればよいですか？
ほとんどのウェブサイトには、クローラーがウェブページに正常にアクセスできるようになるまでに、複数の保護層があります。OpenAI のクローラーが以下の各層を通過できることを、エンジニアリングチームまたはセキュリティチームと協力して検証してください。
1. robots.txt
robots.txt ファイルは、クローラーがウェブサイトの特定の部分にアクセスしてよいかどうかを示します。OpenAI のクローラーはこれらのルールに従います。robots.txt でアクセスが許可されていない場合、クロールは直ちに停止します。
robots.txt の設定を確認し、OpenAI クローラーが該当するページとパスにアクセスすることが明示的に許可されていることを確認してください。例: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ウェブ保護とボット対策
多くのウェブサイトでは、DDoS攻撃、スクレイピング、不正なトラフィックなどからサイトを保護するために、CloudflareやAkamaiなどのウェブ保護プロバイダーのサービスを利用しています。これらのシステムは正規のクローラーを誤ってブロックしてしまい、その結果 403 Forbidden エラーが返されることがよくあります。OpenAI のクローラーは自動化されたトラフィックと似た挙動を示すことがあるため、明示的に許可リストに登録していない場合、アクセスが拒否される可能性があります。
ウェブ保護またはファイアウォールの設定を確認し、可能な場合は OpenAI クローラーのトラフィックを許可リストに追加してください。許可設定は、当社のクローラーのユーザーエージェントを基準に行うことをお勧めします。また、エンジニアリングチームやインフラチームは、誤検知を引き起こしている可能性のある自動ボット対策ルールについても確認してください。
3. 人間による確認とボット対策ロジック
一部のウェブサイトでは、訪問者が人間であることを確認するために、CAPTCHA、JavaScript チャレンジ、行動分析、セッション検証など、アプリケーションレベルで追加チェックを実施しています。OpenAI クローラーは自動化されたシステムであるため、クローラーが前段階のレイヤーを正常に通過した場合でも、これらの追加チェックによってアクセスがブロックされることがあります。
アプリケーション内に実装されている人間による検証や自動化対策のロジックを見直し、必要に応じて OpenAI クローラーを対象外に設定してください。特に、当社のクローラーのユーザーエージェントを許可リストに追加する方法を推奨します。
固定 IP アドレス範囲に関する注意事項
一部のセキュリティシステムでは、クローラーのトラフィックを確実に許可リストへ登録するために、そのトラフィックが公開済みの固定 IP アドレス範囲から発信されることを要件としています。クローラーのインフラストラクチャは将来的に変更される可能性があるため、エンジニアリングチームはログから短期間に確認された IP アドレス情報情報のみに依存しないようにしてください。代わりに、ユーザーエージェントの識別、対応している場合の認証済みボットプログラム、ファイアウォールの許可リスト、robots.txt の挙動、プロバイダーによるボット検証システムを組み合わせてトラフィックを検証してください。
固定 IP アドレス範囲のリストを許可する必要がある場合は、https://openai.com/searchbot.json と https://openai.com/adsbot.json を参照してください。
レート制限に関する注意
大規模な一括アップロードやクローラートラフィックの急増により、自動レート制限やボット保護システムが作動することがあります。
レート制限が発生している疑いがある場合は、HTTP レスポンスコード（特に 429 Too Many Requests エラー）、ファイアウォールまたは CDN ログ、ボット対策イベント、リクエストスロットルルール、クローラーがアクセスを試みた時間帯のトラフィック分析の確認をエンジニアリングチームに依頼してください。これにより、リクエストがインフラストラクチャ保護機能によって意図的に遅延またはブロックされているかどうかを特定するのに役立ちます。
広告を小さなバッチに分けて、より長い期間にわたってアップロードすることも検討してください。
Cloudflare に関する注意
OAI-AdsBot は Cloudflare によって正式に検証済みボットとして認定され、許可リストに登録されています。
クローラーとランディングページに関する FAQ
広告審査にはどのクローラーが必要ですか？
ChatGPT Ads のランディングページの検証と審査には、OAI-AdsBot が必要です。OAI-SearchBot は、OpenAI が公開ウェブコンテンツを理解する上で役立つ可能性があるという点で推奨されますが、広告の準備において広告主が優先すべきクローラーは OAI-AdsBot になります。
クローラー検証を手動でバイパスできますか？
手動バイパスに頼らず、robots.txt、WAF、CDN、ボット対策、認証、レート制限によるブロックを修正して、OAI-AdsBot によるクロールが可能なランディングページにしてください。ランディングページがアクセス可能になったら、広告を再アップロードするか再提出して、審査を受ける必要があります。
当方のエンジニアリングチームは、まず何を確認すべきでしょうか？
ランディングページが OAI-AdsBot に正しく HTTP レスポンスを返すこと、robots.txt が該当するパスを許可していること、WAF、CDN、ボット対策、JavaScript チャレンジ、CAPTCHA、認証、または地域ルールによって自動アクセスがブロックされていないことを確認してください。
アプリストアリンク、ディープリンク、または Web 以外の遷移先をランディングページにできますか？
可能な限り、直接アクセスできる Web ランディングページを使用してください。アプリストアリンク、ディープリンク、ドキュメント、またはアプリ、ログイン、地域を限定したアクセス権、サポートされていないリダイレクトを必要とするリンク先では、検証や審査に対応できるクロール可能なコンテンツが十分に提供されない場合があります。
再アップロードや再レビューリクエストはいつ実施すべきですか？
クローラーのアクセスに関する修正を実施した後、ステータスが自動的に更新されない場合は、対象の広告を再アップロードするか、再送信してください。一括アップロードされた広告については、御社で修正内容を検証している間、バッチサイズを小さくすることでレート制限やボット保護のトリガーを減らせます。