なぜ OpenAI はウェブクローラーを使用するのですか？
ChatGPT に広告として送信されたウェブページの安全性を検証するために、クローラーを使用しています。広告を送信すると、OpenAI はランディングページにアクセスし、当社のポリシーに準拠していることを確認する場合があります。また、ユーザーにその広告を表示する最も適切なタイミングを判断するために、ランディングページのコンテンツを利用する場合があります。
どの OpenAI クローラーを許可すべきですか？
OAI-AdsBot は許可する必要があります。OAI-AdsBot と OAI-SearchBot の両方を許可することをおすすめします。
商品フィードでは、OAI-SearchBot による商品画像 URL のクロールも許可してください。画像ホストのファイアウォール、CDN、ボット対策のルールを確認してください。403レスポンスにより、フィード処理がブロックされる可能性があります。
OpenAI が広告のランディングページにアクセスできることを確認してください
広告を送信する前、またはウェブサイトを変更した後に、以下の項目を確認すると、一般的なクローラー関連の問題を防ぐのに役立ちます。ウェブサイトを他の人が管理している場合は、このチェックリストをウェブ開発者、ホスティングプロバイダー、またはセキュリティチームと共有してください。
1. 広告で使用した正確なリンクを確認してください。
広告 URL 全体を、トラッキングパラメーターも含めて開いてください。リダイレクト先をたどり、最終ページに広告で紹介している商品またはサービスが表示されることを確認してください。
トラッキングリンクを使用している場合は、デバイスや地域によって訪問者の誘導先が異なるか確認してください。ホームページが正常に表示されても、広告内のリンクが機能しているとは限りません。
2. 該当する OpenAI クローラーを許可してください
広告ランディングページの検証に必要な OAI-AdsBot を許可してください。また、 OAI-SearchBot を許可することもおすすめします。
ウェブサイトチームに、ランディングページと必要なアセットに適用される robots.txt のルールを確認してもらってください。リダイレクトに関与する各ホストを、サブドメインやサードパーティの遷移先も含めて確認してください。
アクセスを設定する際は、現行の OpenAI crawler documentation を参照し、公開されている OAI-AdsBot および OAI-SearchBot の IP アドレス範囲を使用してください。
3. Web サイトのセキュリティ設定を確認してください
robots.txt のルールだけでは不十分な場合があります。ファイアウォール、コンテンツ配信ネットワーク（CDN）、またはボット保護サービスによって、別個の制限が適用されることがあります。
ウェブサイト担当チームまたはセキュリティチームに依頼し、検証済みの OpenAI クローラーからのリクエストが、ログインしたり、CAPTCHA を完了したり、ブラウザーチャレンジに対応したりすることなく、ランディングページと必要なコンテンツにアクセスできることを確認してください。開始ドメインとあわせて、接続先のホストも確認してください。
アクセスが拒否された場合は、可能であれば、失敗したリクエストの時刻とリクエスト ID を使って、ウェブサイトまたはセキュリティのログから該当するイベントを特定してください。
4. クローラーが受け取るページを確認してください
ブラウザーでページが開くからといって、クローラーが同じコンテンツを受け取るとは限りません。ウェブサイトの担当チームに、クローラーからのリクエストに対する応答を確認するよう依頼してください。
| リクエストが返す内容 | 確認または更新すべき項目 |
|---|---|
| 403 / アクセス拒否 | リクエストを拒否したホストのセキュリティルールを確認してください。元のウェブサイトではなく、リダイレクト先のサブドメインである可能性があります。 |
| 404 / ページが見つかりません | 見つからないページまたはリダイレクト先を修正してください。トラッキングリンクについては、デバイスや地域ごとに選択される遷移先を確認してください。 |
| 429 / リクエストが多すぎます | レート制限とボット保護に関するイベントを確認してください。広告を大量にアップロードする場合は、提出を少量ずつ複数回に分けて行うと役立つ場合があります。 |
| 空白ページ、未完成のページ、ログインページ、またはチャレンジページ | 対象ページのコンテンツと必要なアセットに、クローラーがアクセスできることを確認してください。HTTP の応答が成功しただけでは、コンテンツが読み込まれたことは確認できません。 |
5. 変更を加えた後、もう一度確認してください
変更内容と変更日時を記録し、その後、実際の広告 URL とそのリダイレクトをもう一度テストしてください。広告が多数ある場合は、修正を広く適用する前に、代表的な URL をいくつか使ってテストを始めてください。
アクセスが復旧したら、広告マネージャーで該当する広告を確認してください。ステータスが更新されない場合は、利用可能な再提出または審査の手順に従ってください。広告は引き続き審査に通過する必要があります。クローラーのアクセスを修正しても、承認が保証されるわけではありません。
ランディングページ、トラッキングリンク、リダイレクト、ホスティング、またはセキュリティ設定を変更した後に、これらの確認を再度行ってください。
まだ問題がある場合
サポートへのお問い合わせ：
影響を受けている広告アカウントと広告 ID（確認できる場合）。
広告で使用された正確な URL と、その最終的な遷移先。
エラーメッセージまたはスクリーンショット。
失敗が発生した時刻（タイムゾーンを含む）。
ウェブサイトチームが確認または変更した内容と、その日時。
サポートからチェックに失敗した時刻またはリクエスト ID が共有された場合は、該当するリクエストを特定できるよう、ウェブサイト担当チームに伝えてください。
固定 IP アドレス範囲に関する注意事項
一部のセキュリティシステムでは、クローラーのトラフィックを確実に許可リストへ登録するために、そのトラフィックが公開済みの固定 IP アドレス範囲から発信されることを要件としています。クローラーのインフラストラクチャは将来的に変更される可能性があるため、エンジニアリングチームはログから短期間に確認された IP アドレス情報情報のみに依存しないようにしてください。代わりに、ユーザーエージェントの識別、対応している場合の認証済みボットプログラム、ファイアウォールの許可リスト、robots.txt の挙動、プロバイダーによるボット検証システムを組み合わせてトラフィックを検証してください。
固定 IP アドレス範囲のリストを許可する必要がある場合は、https://openai.com/searchbot.json と https://openai.com/adsbot.json を参照してください。
レート制限に関する注意
大規模な一括アップロードやクローラートラフィックの急増により、自動レート制限やボット保護システムが作動することがあります。
レート制限が発生している疑いがある場合は、HTTP レスポンスコード（特に 429 Too Many Requests エラー）、ファイアウォールまたは CDN ログ、ボット対策イベント、リクエストスロットルルール、クローラーがアクセスを試みた時間帯のトラフィック分析の確認をエンジニアリングチームに依頼してください。これにより、リクエストがインフラストラクチャ保護機能によって意図的に遅延またはブロックされているかどうかを特定するのに役立ちます。
広告を小さなバッチに分けて、より長い期間にわたってアップロードすることも検討してください。
Cloudflare に関する注意
OAI-AdsBot は Cloudflare によって正式に検証済みボットとして認定され、許可リストに登録されています。
クローラーとランディングページに関する FAQ
広告審査にはどのクローラーが必要ですか？
ChatGPT 広告のランディングページの検証と審査には、OAI-AdsBot が必要です。OAI-SearchBot は、OpenAI が公開ウェブコンテンツを理解する上で役立つ可能性があるという点で推奨されますが、広告の準備において広告主が優先すべきクローラーは OAI-AdsBot になります。
クローラー検証を手動でバイパスできますか？
手動バイパスに頼らず、robots.txt、WAF、CDN、ボット対策、認証、レート制限によるブロックを修正して、OAI-AdsBot によるクロールが可能なランディングページにしてください。ランディングページがアクセス可能になったら、広告を再アップロードするか再提出して、審査を受ける必要があります。
当方のエンジニアリングチームは、まず何を確認すべきでしょうか？
ランディングページが OAI-AdsBot に正しく HTTP レスポンスを返すこと、robots.txt が該当するパスを許可していること、WAF、CDN、ボット対策、JavaScript チャレンジ、CAPTCHA、認証、または地域ルールによって自動アクセスがブロックされていないことを確認してください。
アプリストアリンク、ディープリンク、または Web 以外の遷移先をランディングページにできますか？
可能な限り、直接アクセスできる Web ランディングページを使用してください。アプリストアリンク、ディープリンク、ドキュメント、またはアプリ、ログイン、地域を限定したアクセス権、サポートされていないリダイレクトを必要とするリンク先では、検証や審査に対応できるクロール可能なコンテンツが十分に提供されない場合があります。
再アップロードや再レビューリクエストはいつ実施すべきですか？
クローラーのアクセスに関する修正を実施した後、ステータスが自動的に更新されない場合は、対象の広告を再アップロードするか、再送信してください。一括アップロードされた広告については、御社で修正内容を検証している間、バッチサイズを小さくすることでレート制限やボット保護のトリガーを減らせます。