Hvorfor bruker OpenAI webcrawlere?
Vi bruker crawlere til å validere sikkerheten til nettsider som sendes inn som annonser på ChatGPT. Når du sender inn en annonse, kan OpenAI besøke landingssiden for å kontrollere at den overholder retningslinjene våre. Vi kan også bruke innhold fra landingssiden til å avgjøre når det er mest relevant å vise annonsen til brukere.
Hvilke OpenAI-crawlere bør du tillate?
Du må tillate OAI-AdsBot. Vi anbefaler å tillate både OAI-AdsBot og OAI-SearchBot.
OpenAI-crawlere klarer ikke å crawle nettstedet mitt. Hva bør jeg gjøre?
De fleste nettsteder har flere beskyttelseslag før en crawler kan få tilgang til en nettside. Samarbeid med teknisk team eller sikkerhetsteamet for å kontrollere at OpenAI-crawlere kommer gjennom hvert av lagene nedenfor.
1. robots.txt
robots.txt-filen forteller crawlere om de har tillatelse til å få tilgang til bestemte deler av nettstedet ditt. OpenAI-crawlere respekterer disse reglene. Hvis tilgang er blokkert i robots.txt, stopper crawlingen umiddelbart.
Gå gjennom robots.txt-konfigurasjonen og bekreft at OpenAI-crawlere uttrykkelig har tilgang til de relevante sidene og banene. For eksempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbeskyttelse og bot-beskyttelse
Mange nettsteder bruker tjenester som Cloudflare, Akamai eller andre leverandører av webbeskyttelse for å beskytte seg mot DDoS-angrep, scraping og uautorisert trafikk. Disse systemene kan feilaktig blokkere legitime crawlere, ofte med 403 Forbidden-feil som resultat. Fordi OpenAI-crawlere kan ligne automatiserte trafikkmønstre, kan de bli avvist med mindre de er uttrykkelig tillatt.
Gå gjennom webbeskyttelses- eller brannmurkonfigurasjonen og tillat trafikk fra OpenAI-crawlere der det er mulig, helst basert på crawlernes user agents. Teknisk team eller infrastrukturteamet bør også undersøke automatiske bot-beskyttelsesregler som kan gi falske positiver.
3. Menneskeverifisering og anti-bot-logikk
Noen nettsteder har ekstra kontroller på applikasjonsnivå for å bekrefte at en besøkende er et menneske, for eksempel CAPTCHA-er, JavaScript-utfordringer, atferdsanalyse eller øktvalidering. Siden OpenAI-crawlere er automatiserte systemer, kan slike kontroller blokkere tilgang selv om crawleren kommer gjennom tidligere lag.
Gå gjennom all menneskeverifisering eller anti-automatiseringslogikk i applikasjonen, og sørg for at OpenAI-crawlere unntas der det passer, helst ved å tillate crawlernes user agents.
Merknad om stabile IP-områder
Noen sikkerhetssystemer krever at crawlertrafikk kommer fra stabile, offentlig dokumenterte IP-områder før trafikken kan tillates pålitelig. Fordi crawlerinfrastrukturen kan endre seg over tid, bør teknisk team unngå å basere seg bare på kortsiktige IP-observasjoner fra logger. Valider i stedet trafikk med en kombinasjon av user-agent-identifisering, verifiserte bot-programmer der det støttes, brannmurens tillatelseslister, robots.txt-atferd og bot-verifiseringssystemer på leverandørnivå.
Hvis du må tillate en stabil liste over IP-områder, kan du se https://openai.com/searchbot.json og https://openai.com/adsbot.json.
Merknad om bruksgrenser
Store masseopplastinger eller plutselige økninger i crawlertrafikk kan noen ganger utløse automatiske bruksgrenser eller bot-beskyttelsessystemer.
Hvis du mistenker at bruksgrenser utløses, kan du be teknisk team gå gjennom HTTP-svarkoder, særlig 429 Too Many Requests, brannmur- eller CDN-logger, bot-beskyttelseshendelser, regler for begrensning av forespørsler og trafikkanalyse rundt tidspunktet da crawleren forsøkte å få tilgang. Dette kan bidra til å avklare om forespørsler bevisst blir forsinket eller blokkert av infrastrukturbeskyttelse.
Du kan også vurdere å laste opp annonser i mindre puljer over en lengre tidsperiode.
Merknad om Cloudflare
OAI-AdsBot er offisielt verifisert og tillatt av Cloudflare.
Vanlige spørsmål om crawlere og landingssider
Hvilken crawler kreves for annonsegjennomgang?
OAI-AdsBot kreves for validering og gjennomgang av landingssider for ChatGPT Ads. OAI-SearchBot anbefales fordi den kan hjelpe OpenAI med å forstå offentlig webinnhold, men OAI-AdsBot er crawleren annonsører bør prioritere for å gjøre annonser klare.
Kan kundestøtte omgå crawlervalidering manuelt?
Ikke baser deg på en manuell omgåelse. Gjør landingssiden crawlbar for OAI-AdsBot ved å rette blokkeringer i robots.txt, WAF, CDN, bot-beskyttelse, autentisering og bruksgrenser. Annonser må kanskje lastes opp på nytt eller sendes inn til gjennomgang på nytt etter at landingssiden blir tilgjengelig.
Hva bør teknisk team sjekke først?
Sjekk om landingssiden returnerer et vellykket HTTP-svar til OAI-AdsBot, om robots.txt tillater den relevante banen, og om WAF, CDN, bot-beskyttelse, JavaScript-utfordringer, CAPTCHA-er, autentisering eller georegler blokkerer automatisert tilgang.
Støttes appbutikklenker, dyplenker eller mål som ikke er nettsider, som landingssider?
Bruk en landingsside på nettet som kan nås direkte, når det er mulig. Appbutikklenker, dyplenker, dokumenter eller mål som krever en app, innlogging, regionspesifikk tilgang eller videresendinger som ikke støttes, gir kanskje ikke nok crawlbart innhold for validering eller gjennomgang.
Når bør jeg laste opp på nytt eller be om gjennomgang igjen?
Etter at crawlertilgangen er rettet, kan du laste opp eller sende inn berørte annonser på nytt hvis statusen ikke oppdateres av seg selv. For masseopplastede annonser kan mindre puljer redusere utløsere for bruksgrenser eller bot-beskyttelse mens teamet ditt validerer rettingen.