Hvorfor bruker OpenAI webroboter?
Vi bruker webroboter til å kontrollere sikkerheten på nettsider som sendes inn som annonser på ChatGPT. Når du sender inn en annonse, kan OpenAI besøke landingssiden for å kontrollere at den overholder retningslinjene våre. Vi kan også bruke innhold fra landingssiden til å avgjøre når det er mest relevant å vise annonsen til brukerne.
Hvilke webroboter fra OpenAI bør du tillate?
Du må tillate OAI-AdsBot. Vi anbefaler å tillate både OAI-AdsBot og OAI-SearchBot.
For produktfeeder må du også tillate at OAI-SearchBot gjennomsøker nettadressene til produktbildene. Kontroller brannmur-, CDN- og robotbeskyttelsesreglene på bildeverten. Et 403-svar kan hindre behandling av feeden.
OpenAIs webroboter klarer ikke å gjennomsøke nettstedet mitt. Hva bør jeg gjøre?
De fleste nettsteder har flere beskyttelseslag som en webrobot må passere før den får tilgang til en nettside. Samarbeid med utviklings- eller sikkerhetsteamet for å kontrollere at OpenAIs webroboter kan passere alle lagene nedenfor.
1. robots.txt
Filen robots.txt angir om webroboter har tilgang til bestemte deler av nettstedet ditt. OpenAIs webroboter følger disse reglene. Hvis robots.txt nekter tilgang, stopper gjennomsøkingen umiddelbart.
Se gjennom robots.txt-konfigurasjonen, og bekreft at OpenAIs webroboter uttrykkelig har tilgang til de aktuelle sidene og banene. Eksempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Nettbeskyttelse og robotfiltrering
Mange nettsteder bruker tjenester som Cloudflare, Akamai eller andre leverandører av nettbeskyttelse for å beskytte seg mot DDoS-angrep, datainnhenting og uautorisert trafikk. Disse systemene kan feilaktig blokkere legitime webroboter og returnerer ofte feilen 403 Forbidden. Fordi trafikken fra OpenAIs webroboter kan ligne annen automatisert trafikk, kan den bli avvist med mindre den uttrykkelig står på en tillatelsesliste.
Se gjennom konfigurasjonen av nettbeskyttelsen eller brannmuren, og tillat trafikk fra OpenAIs webroboter der det er mulig, helst basert på webrobotenes brukeragenter. Utviklings- eller infrastrukturteamet bør også undersøke eventuelle automatiske regler for robotfiltrering som kan gi falske positiver.
3. Menneskeverifisering og antirobotlogikk
Noen nettsteder bruker ekstra kontroller på applikasjonsnivå for å bekrefte at en besøkende er et menneske, for eksempel CAPTCHA-er, JavaScript-utfordringer, atferdsanalyse eller øktvalidering. Siden OpenAIs webroboter er automatiserte systemer, kan disse kontrollene blokkere tilgangen selv om webroboten har passert de foregående lagene.
Se gjennom eventuell logikk for menneskeverifisering eller beskyttelse mot automatisering i applikasjonen. Sørg for at OpenAIs webroboter unntas der det er aktuelt, helst ved å føre brukeragentene deres opp på en tillatelsesliste.
Merknad om stabile IP-områder
Enkelte sikkerhetssystemer krever at trafikk fra webroboter kommer fra stabile, offentlig dokumenterte IP-områder før den kan føres opp på en pålitelig tillatelsesliste. Siden infrastrukturen til webrobotene kan endres over tid, bør utviklingsteamet ikke basere seg utelukkende på kortsiktige IP-observasjoner i logger. Kontroller i stedet trafikken gjennom en kombinasjon av identifisering av brukeragent, verifiserte robotprogrammer der dette støttes, tillatelseslister i brannmuren, robots.txt-regler og leverandørens systemer for robotverifisering.
Hvis du må tillate en stabil liste over IP-områder, kan du se https://openai.com/searchbot.json og https://openai.com/adsbot.json.
Merknad om hastighetsbegrensning
Store masseopplastinger eller plutselige trafikktopper fra webroboter kan noen ganger utløse automatiske systemer for hastighetsbegrensning eller robotbeskyttelse.
Hvis du mistenker at trafikken hastighetsbegrenses, bør du be utviklingsteamet kontrollere HTTP-svarkoder, særlig 429 Too Many Requests, brannmur- eller CDN-logger, hendelser knyttet til robotfiltrering, regler for begrensning av forespørsler og trafikkanalyser fra tidspunktet da webroboten forsøkte å få tilgang. Dette kan avdekke om forespørsler med vilje forsinkes eller blokkeres av beskyttelsen i infrastrukturen.
Du kan også vurdere å laste opp annonsene i mindre grupper over et lengre tidsrom.
Merknad om Cloudflare
OAI-AdsBot er offisielt verifisert og står på Cloudflares tillatelsesliste.
Vanlige spørsmål om webroboter og landingssider
Hvilken webrobot kreves for annonsekontroll?
OAI-AdsBot kreves for validering og kontroll av landingssider for ChatGPT Ads. OAI-SearchBot anbefales fordi den kan hjelpe OpenAI med å forstå offentlig tilgjengelig nettinnhold, men annonsører bør prioritere OAI-AdsBot for å klargjøre annonser.
Kan kundestøtten omgå valideringen av webroboten manuelt?
Ikke baser deg på en manuell omgåelse. Gjør landingssiden tilgjengelig for OAI-AdsBot ved å rette blokkeringer i robots.txt, WAF, CDN, robotfiltrering, autentisering og hastighetsbegrensning. Annonsene må kanskje lastes opp på nytt eller sendes inn til ny kontroll etter at landingssiden blir tilgjengelig.
Hva bør utviklingsteamet kontrollere først?
Kontroller om landingssiden returnerer et vellykket HTTP-svar til OAI-AdsBot, om robots.txt tillater den aktuelle banen, og om WAF, CDN, robotfiltrering, JavaScript-utfordringer, CAPTCHA-er, autentisering eller geografiske regler blokkerer automatisk tilgang.
Støttes lenker til appbutikker, dyplenker eller mål som ikke er nettsider, som landingssider?
Bruk en direkte tilgjengelig landingsside på nettet når det er mulig. Lenker til appbutikker, dyplenker, dokumenter eller mål som krever en app, innlogging, regionspesifikk tilgang eller omdirigeringer som ikke støttes, gir kanskje ikke nok innhold som kan gjennomsøkes for validering eller kontroll.
Når bør jeg laste opp på nytt eller be om en ny kontroll?
Når tilgangen for webroboten er rettet, laster du opp eller sender inn de berørte annonsene på nytt hvis statusen ikke oppdateres automatisk. For masseopplastede annonser kan mindre grupper redusere risikoen for å utløse hastighetsbegrensning eller robotbeskyttelse mens teamet kontrollerer at rettelsen fungerer.