Pourquoi OpenAI utilise-t-elle des robots d’exploration Web?
Nous utilisons des robots d’exploration pour valider la sécurité des pages Web soumises comme annonces sur ChatGPT. Lorsque vous soumettez une annonce, OpenAI peut visiter la page de destination pour s’assurer qu’elle respecte nos politiques. Nous pouvons aussi utiliser le contenu de la page de destination pour déterminer le moment le plus pertinent pour présenter l’annonce aux utilisateurs.
Quels robots d’exploration d’OpenAI devriez-vous autoriser?
Vous devez autoriser OAI-AdsBot. Nous recommandons d’autoriser à la fois OAI-AdsBot et OAI-SearchBot.
Pour les flux de produits, autorisez aussi OAI-SearchBot à explorer les URL des images de produits. Vérifiez les règles du pare-feu, du CDN et de protection contre les robots sur l’hôte des images; une réponse 403 peut bloquer le traitement du flux.
Les robots d’exploration d’OpenAI n’arrivent pas à explorer mon site Web. Que dois-je faire?
La plupart des sites Web comportent plusieurs couches de protection qu’un robot d’exploration doit franchir avant de pouvoir accéder à une page Web. Travaillez avec votre équipe d’ingénierie ou de sécurité pour vérifier que les robots d’exploration d’OpenAI peuvent franchir chacune des couches suivantes.
1. robots.txt
Le fichier robots.txt indique aux robots d’exploration s’ils sont autorisés à accéder à certaines parties de votre site Web. Les robots d’exploration d’OpenAI respectent ces règles. Si l’accès est interdit dans robots.txt, l’exploration s’arrête immédiatement.
Examinez votre configuration de robots.txt et confirmez que les robots d’exploration d’OpenAI sont explicitement autorisés à accéder aux pages et aux chemins concernés. Par exemple : User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protection Web et protection contre les robots
De nombreux sites Web utilisent des services comme Cloudflare, Akamai ou d’autres fournisseurs de protection Web pour se défendre contre les attaques DDoS, l’extraction automatisée de données et le trafic non autorisé. Ces systèmes peuvent bloquer par erreur des robots d’exploration légitimes, renvoyant souvent des erreurs 403 Forbidden. Comme le trafic des robots d’exploration d’OpenAI peut ressembler à du trafic automatisé, leur accès peut être refusé s’ils ne sont pas expressément inscrits sur une liste d’autorisation.
Examinez la configuration de votre protection Web ou de votre pare-feu et autorisez le trafic des robots d’exploration d’OpenAI lorsque possible, idéalement en fonction de leurs agents utilisateurs. Votre équipe d’ingénierie ou d’infrastructure devrait aussi examiner les règles automatiques de protection contre les robots qui pourraient générer des faux positifs.
3. Vérification humaine et logique antirobots
Certains sites Web effectuent des vérifications supplémentaires au niveau de l’application pour confirmer qu’un visiteur est humain, comme des CAPTCHA, des défis JavaScript, une analyse comportementale ou une validation de session. Puisque les robots d’exploration d’OpenAI sont des systèmes automatisés, ces vérifications peuvent bloquer l’accès même si le robot a réussi à franchir les couches précédentes.
Examinez toute logique de vérification humaine ou de lutte contre l’automatisation mise en œuvre dans votre application et assurez-vous d’en exempter les robots d’exploration d’OpenAI lorsque cela convient, idéalement en inscrivant leurs agents utilisateurs sur une liste d’autorisation.
Remarque sur les plages d’adresses IP stables
Certains systèmes de sécurité exigent que le trafic des robots d’exploration provienne de plages d’adresses IP stables et documentées publiquement avant de pouvoir l’autoriser de façon fiable. Comme l’infrastructure des robots d’exploration peut évoluer au fil du temps, votre équipe d’ingénierie devrait éviter de se fier uniquement aux observations à court terme des adresses IP dans les journaux. Validez plutôt le trafic en combinant l’identification des agents utilisateurs, les programmes de robots vérifiés lorsqu’ils sont pris en charge, les listes d’autorisation des pare-feu, le comportement relatif à robots.txt et les systèmes de vérification des robots des fournisseurs.
Si vous devez autoriser une liste stable de plages d’adresses IP, consultez https://openai.com/searchbot.json et https://openai.com/adsbot.json.
Remarque sur la limitation du débit
Les téléversements de lots volumineux ou les hausses soudaines du trafic des robots d’exploration peuvent parfois déclencher les systèmes automatiques de limitation du débit ou de protection contre les robots.
Si vous soupçonnez une limitation du débit, demandez à votre équipe d’ingénierie d’examiner les codes de réponse HTTP, en particulier 429 Too Many Requests, les journaux du pare-feu ou du CDN, les événements de protection contre les robots, les règles de limitation des requêtes et les analyses du trafic au moment où le robot d’exploration a tenté d’accéder au site. Cela peut aider à déterminer si les requêtes sont intentionnellement ralenties ou bloquées par les protections de l’infrastructure.
Vous pouvez aussi envisager de téléverser les annonces en plus petits lots sur une plus longue période.
Remarque sur Cloudflare
OAI-AdsBot est officiellement vérifié et inscrit sur la liste d’autorisation de Cloudflare.
FAQ sur les robots d’exploration et les pages de destination
Quel robot d’exploration est requis pour l’examen des annonces?
OAI-AdsBot est requis pour la validation et l’examen des pages de destination de Publicités ChatGPT. OAI-SearchBot est recommandé, car il peut aider OpenAI à comprendre le contenu Web public, mais les annonceurs devraient prioriser OAI-AdsBot pour préparer la diffusion de leurs annonces.
L’équipe de soutien peut-elle contourner manuellement la validation par le robot d’exploration?
Ne comptez pas sur un contournement manuel. Rendez la page de destination explorable par OAI-AdsBot en corrigeant les blocages liés à robots.txt, au WAF, au CDN, à la protection contre les robots, à l’authentification et à la limitation du débit. Il pourrait être nécessaire de téléverser à nouveau les annonces ou de les soumettre de nouveau à un examen une fois la page de destination accessible.
Que doit vérifier mon équipe d’ingénierie en premier?
Vérifiez si la page de destination renvoie une réponse HTTP de réussite à OAI-AdsBot, si robots.txt autorise le chemin concerné et si le WAF, le CDN, la protection contre les robots, les défis JavaScript, les CAPTCHA, l’authentification ou les règles géographiques bloquent l’accès automatisé.
Les liens vers des boutiques d’applications, les liens profonds ou les destinations non Web sont-ils pris en charge comme pages de destination?
Utilisez une page de destination Web directement accessible lorsque possible. Les liens vers des boutiques d’applications, les liens profonds, les documents ou les destinations nécessitant une application, une connexion, un accès propre à une région ou des redirections non prises en charge peuvent ne pas fournir suffisamment de contenu explorable pour la validation ou l’examen.
Quand dois-je téléverser à nouveau les annonces ou demander un nouvel examen?
Après avoir rétabli l’accès du robot d’exploration, téléversez ou soumettez de nouveau les annonces concernées si leur statut ne se met pas à jour automatiquement. Pour les annonces téléversées en masse, de plus petits lots peuvent réduire le déclenchement des systèmes de limitation du débit ou de protection contre les robots pendant que votre équipe valide le correctif.