Waarom gebruikt OpenAI webcrawlers?
We gebruiken crawlers om te controleren of webpagina's die als advertenties op ChatGPT worden ingediend, veilig zijn. Wanneer u een advertentie indient, kan OpenAI de landingspagina bezoeken om te controleren of deze aan ons beleid voldoet. We kunnen ook content van de landingspagina gebruiken om te bepalen wanneer de advertentie het meest relevant is om aan gebruikers te tonen.
Welke OpenAI-crawlers moet u toestaan?
U moet OAI-AdsBot toestaan. We raden aan om zowel OAI-AdsBot als OAI-SearchBot toe te staan.
Sta voor productfeeds ook toe dat OAI-SearchBot de URL's van productafbeeldingen crawlt. Controleer de firewall-, CDN- en botbeveiligingsregels van de afbeeldingshost. Een 403-respons kan de verwerking van de feed blokkeren.
OpenAI-crawlers kunnen mijn website niet crawlen. Wat moet ik doen?
De meeste websites hebben meerdere beveiligingslagen die een crawler moet passeren voordat deze een webpagina kan openen. Werk samen met uw engineering- of beveiligingsteam om te controleren of OpenAI-crawlers elk van de volgende lagen kunnen passeren.
1. robots.txt
Het robots.txt-bestand geeft crawlers aan of ze bepaalde delen van uw website mogen openen. OpenAI-crawlers houden zich aan deze regels. Als toegang in robots.txt wordt geweigerd, stopt het crawlen onmiddellijk.
Controleer uw robots.txt-configuratie en bevestig dat OpenAI-crawlers expliciet toegang hebben tot de relevante pagina's en paden. Bijvoorbeeld: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbeveiliging en botbeperking
Veel websites gebruiken diensten zoals Cloudflare, Akamai of andere aanbieders van webbeveiliging om zich te beschermen tegen DDoS-aanvallen, scraping en ongeautoriseerd verkeer. Deze systemen kunnen legitieme crawlers ten onrechte blokkeren en geven daarbij vaak de foutmelding 403 Forbidden. Omdat OpenAI-crawlers op geautomatiseerd verkeer kunnen lijken, kan hun toegang worden geweigerd tenzij ze specifiek op de toelatingslijst staan.
Controleer de configuratie van uw webbeveiliging of firewall en zet OpenAI-crawlerverkeer waar mogelijk op de toelatingslijst, bij voorkeur op basis van onze crawler-user-agents. Laat uw engineering- of infrastructuurteam ook geautomatiseerde regels voor botbeperking controleren die mogelijk fout-positieve resultaten veroorzaken.
3. Menselijke verificatie en antibotlogica
Sommige websites gebruiken aanvullende controles op applicatieniveau om te verifiëren dat een bezoeker een mens is, zoals CAPTCHA's, JavaScript-challenges, gedragsanalyse of sessievalidatie. Omdat OpenAI-crawlers geautomatiseerde systemen zijn, kunnen deze controles de toegang blokkeren, zelfs als de crawler eerdere lagen met succes heeft gepasseerd.
Controleer alle logica voor menselijke verificatie of het tegengaan van automatisering in uw applicatie en zorg dat OpenAI-crawlers waar nodig worden vrijgesteld, bij voorkeur door onze crawler-user-agents op de toelatingslijst te zetten.
Opmerking over stabiele IP-bereiken
Sommige beveiligingssystemen vereisen dat crawlerverkeer afkomstig is uit stabiele, openbaar gedocumenteerde IP-bereiken voordat het betrouwbaar op de toelatingslijst kan worden gezet. Omdat de crawlerinfrastructuur in de loop van de tijd kan veranderen, moet uw engineeringteam niet uitsluitend vertrouwen op kortstondige IP-waarnemingen uit logboeken. Valideer het verkeer in plaats daarvan met een combinatie van user-agent-identificatie, geverifieerde botprogramma's indien ondersteund, firewalltoelatingslijsten, robots.txt-gedrag en botverificatiesystemen van providers.
Als u een stabiele lijst met IP-bereiken moet toestaan, raadpleeg dan https://openai.com/searchbot.json en https://openai.com/adsbot.json.
Opmerking over snelheidsbeperking
Grote batchuploads of plotselinge pieken in crawlerverkeer kunnen soms geautomatiseerde snelheidsbeperkingen of botbeveiligingssystemen activeren.
Als u vermoedt dat er snelheidsbeperking optreedt, vraag uw engineeringteam dan om de HTTP-responscodes te controleren, met name 429 Too Many Requests, evenals firewall- of CDN-logboeken, botbeperkingsgebeurtenissen, regels voor het afknijpen van verzoeken en verkeersanalyses rond het moment waarop de crawler toegang probeerde te krijgen. Zo kunt u vaststellen of verzoeken opzettelijk worden vertraagd of door infrastructuurbeveiliging worden geblokkeerd.
U kunt ook overwegen advertenties gedurende een langere periode in kleinere batches te uploaden.
Opmerking over Cloudflare
OAI-AdsBot is officieel door Cloudflare geverifieerd en op de toelatingslijst gezet.
Veelgestelde vragen over crawlers en landingspagina's
Welke crawler is vereist voor de beoordeling van advertenties?
OAI-AdsBot is vereist voor de validatie en beoordeling van landingspagina's voor ChatGPT-advertenties. OAI-SearchBot wordt aanbevolen omdat deze OpenAI kan helpen openbare webcontent te begrijpen, maar adverteerders moeten voor advertentiegereedheid prioriteit geven aan OAI-AdsBot.
Kan support de crawlervalidatie handmatig omzeilen?
Vertrouw niet op een handmatige omzeiling. Maak de landingspagina crawlbaar voor OAI-AdsBot door blokkades in robots.txt, WAF, CDN, botbeperking, authenticatie en snelheidsbeperking op te lossen. Nadat de landingspagina toegankelijk is geworden, moeten advertenties mogelijk opnieuw worden geüpload of ter beoordeling worden ingediend.
Wat moet mijn engineeringteam als eerste controleren?
Controleer of de landingspagina een geslaagde HTTP-respons retourneert aan OAI-AdsBot, of robots.txt het relevante pad toestaat en of WAF, CDN, botbeperking, JavaScript-challenges, CAPTCHA's, authenticatie of geografische regels geautomatiseerde toegang blokkeren.
Worden appstorelinks, deeplinks of andere bestemmingen dan webpagina's ondersteund als landingspagina?
Gebruik waar mogelijk een rechtstreeks bereikbare landingspagina op het web. Appstorelinks, deeplinks, documenten of bestemmingen waarvoor een app, aanmelding, regiospecifieke toegang of niet-ondersteunde omleiding nodig is, bieden mogelijk onvoldoende crawlbare content voor validatie of beoordeling.
Wanneer moet ik opnieuw uploaden of nogmaals een beoordeling aanvragen?
Upload of dien de betreffende advertenties opnieuw in nadat u de crawlertoegang hebt hersteld, als de status niet automatisch wordt bijgewerkt. Bij advertenties die in bulk zijn geüpload, kunnen kleinere batches het activeren van snelheidsbeperkingen of botbeveiliging verminderen terwijl uw team de oplossing valideert.