Waarom gebruikt OpenAI webcrawlers?
We gebruiken crawlers om te controleren of webpagina’s die als advertenties op ChatGPT worden ingediend veilig zijn. Wanneer je een advertentie indient, kan OpenAI de landingspagina bezoeken om te controleren of deze aan ons beleid voldoet. We kunnen ook inhoud van de landingspagina gebruiken om te bepalen wanneer de advertentie het meest relevant is om aan gebruikers te tonen.
Welke OpenAI-crawlers moet je toestaan?
Je moet OAI-AdsBot toestaan. We raden aan zowel OAI-AdsBot als OAI-SearchBot toe te staan.
OpenAI-crawlers kunnen mijn website niet crawlen. Wat moet ik doen?
De meeste websites hebben meerdere beveiligingslagen voordat een crawler een webpagina met succes kan openen. Werk samen met je engineering- of beveiligingsteam om te controleren of OpenAI-crawlers door elk van de volgende lagen heen kunnen.
1. robots.txt
Het robots.txt-bestand vertelt crawlers of ze bepaalde delen van je website mogen openen. OpenAI-crawlers respecteren deze regels. Als toegang in robots.txt niet is toegestaan, stopt het crawlen onmiddellijk.
Controleer je robots.txt-configuratie en bevestig dat OpenAI-crawlers expliciet toegang hebben tot de relevante pagina’s en paden. Bijvoorbeeld: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbeveiliging en botmitigatie
Veel websites gebruiken diensten zoals Cloudflare, Akamai of andere aanbieders van webbeveiliging om zich te beschermen tegen DDoS-aanvallen, scraping en ongeautoriseerd verkeer. Deze systemen kunnen legitieme crawlers per ongeluk blokkeren, vaak met 403 Forbidden-fouten als resultaat. Omdat OpenAI-crawlers kunnen lijken op patronen van geautomatiseerd verkeer, kan toegang worden geweigerd tenzij ze specifiek op de allowlist staan.
Controleer je webbeveiligings- of firewallconfiguratie en zet OpenAI-crawlerverkeer waar mogelijk op de allowlist, bij voorkeur op basis van onze crawler-user-agents. Je engineering- of infrastructuurteam moet ook alle geautomatiseerde regels voor botmitigatie controleren die fout-positieven kunnen veroorzaken.
3. Menselijke verificatie en anti-botlogica
Sommige websites gebruiken aanvullende controles op applicatieniveau om te verifiëren dat een bezoeker menselijk is, zoals CAPTCHA’s, JavaScript-challenges, gedragsanalyse of sessievalidering. Omdat OpenAI-crawlers geautomatiseerde systemen zijn, kunnen deze controles toegang blokkeren, zelfs als de crawler eerdere lagen succesvol passeert.
Controleer alle logica voor menselijke verificatie of anti-automatisering die in je applicatie is geïmplementeerd en zorg dat OpenAI-crawlers waar passend worden uitgezonderd, bij voorkeur door onze crawler-user-agents op de allowlist te zetten.
Opmerking over stabiele IP-reeksen
Sommige beveiligingssystemen vereisen dat crawlerverkeer afkomstig is uit stabiele, openbaar gedocumenteerde IP-reeksen voordat verkeer betrouwbaar op de allowlist kan worden gezet. Omdat crawlerinfrastructuur in de loop van de tijd kan veranderen, moet je engineeringsteam niet uitsluitend vertrouwen op kortetermijnwaarnemingen van IP-adressen uit logs. Valideer verkeer in plaats daarvan via een combinatie van user-agent-identificatie, geverifieerde botprogramma’s waar ondersteund, firewall-allowlists, robots.txt-gedrag en botverificatiesystemen op providerniveau.
Als je een stabiele lijst met IP-reeksen moet toestaan, raadpleeg dan https://openai.com/searchbot.json en https://openai.com/adsbot.json.
Opmerking over volumelimieten
Grote batchuploads of plotselinge pieken in crawlerverkeer kunnen soms geautomatiseerde volumelimieten of botbeveiligingssystemen activeren.
Als je vermoedt dat er volumelimieten worden toegepast, vraag je engineeringsteam dan om HTTP-responscodes te controleren, vooral 429 Too Many Requests, evenals firewall- of CDN-logs, botmitigatie-events, regels voor request-throttling en verkeersanalyses rond het moment waarop de crawler toegang probeerde te krijgen. Dit kan helpen vaststellen of aanvragen opzettelijk worden vertraagd of geblokkeerd door infrastructuurbeveiligingen.
Je kunt ook overwegen advertenties over een langere periode in kleinere batches te uploaden.
Opmerking over Cloudflare
OAI-AdsBot is officieel geverifieerd en op de allowlist gezet door Cloudflare.
Veelgestelde vragen over crawlers en landingspagina’s
Welke crawler is vereist voor advertentiebeoordeling?
OAI-AdsBot is vereist voor de validatie en beoordeling van landingspagina’s voor ChatGPT Ads. OAI-SearchBot wordt aanbevolen omdat deze OpenAI kan helpen openbare webinhoud te begrijpen, maar OAI-AdsBot is de crawler die adverteerders prioriteit moeten geven voor advertentiegereedheid.
Kan support crawlervalidatie handmatig omzeilen?
Vertrouw niet op een handmatige omzeiling. Maak de landingspagina crawlbaar voor OAI-AdsBot door blokkades in robots.txt, WAF, CDN, botmitigatie, authenticatie en volumelimieten op te lossen. Advertenties moeten mogelijk opnieuw worden geüpload of opnieuw ter beoordeling worden ingediend nadat de landingspagina toegankelijk is geworden.
Wat moet mijn engineeringsteam als eerste controleren?
Controleer of de landingspagina een succesvolle HTTP-respons teruggeeft aan OAI-AdsBot, of robots.txt het relevante pad toestaat en of WAF, CDN, botmitigatie, JavaScript-challenges, CAPTCHA’s, authenticatie of georegels geautomatiseerde toegang blokkeren.
Worden appstorelinks, deeplinks of niet-webbestemmingen ondersteund als landingspagina’s?
Gebruik waar mogelijk een rechtstreeks bereikbare web-landingspagina. Appstorelinks, deeplinks, documenten of bestemmingen waarvoor een app, login, regiospecifieke toegang of niet-ondersteunde omleidingen nodig zijn, bieden mogelijk niet genoeg crawlbare inhoud voor validatie of beoordeling.
Wanneer moet ik opnieuw uploaden of opnieuw een beoordeling aanvragen?
Upload de betrokken advertenties na het oplossen van crawlertoegang opnieuw of dien ze opnieuw in als de status niet vanzelf wordt bijgewerkt. Voor advertenties die in bulk zijn geüpload, kunnen kleinere batches triggers voor volumelimieten of botbeveiliging verminderen terwijl je team de oplossing valideert.