Hvorfor bruger OpenAI webcrawlere?
Vi bruger crawlere til at kontrollere sikkerheden på websider, der indsendes som annoncer på ChatGPT. Når du indsender en annonce, kan OpenAI besøge landingssiden for at sikre, at den overholder vores politikker. Vi kan også bruge indhold fra landingssiden til at afgøre, hvornår det er mest relevant at vise annoncen til brugerne.
Hvilke OpenAI-crawlere skal du tillade?
Du skal tillade OAI-AdsBot. Vi anbefaler, at du tillader både OAI-AdsBot og OAI-SearchBot.
For produktfeeds skal du også tillade OAI-SearchBot at crawle webadresserne til produktbillederne. Kontrollér reglerne for firewall, CDN og botbeskyttelse på billedhosten. Et 403-svar kan blokere behandlingen af feedet.
OpenAI-crawlere kan ikke crawle mit website. Hvad skal jeg gøre?
De fleste websites har flere beskyttelseslag, som en crawler skal igennem for at få adgang til en webside. Samarbejd med dit teknik- eller sikkerhedsteam om at kontrollere, at OpenAI-crawlere kan passere hvert af følgende lag.
1. robots.txt
Filen robots.txt fortæller crawlere, om de har adgang til bestemte dele af dit website. OpenAI-crawlere respekterer disse regler. Hvis adgang nægtes i robots.txt, stopper crawlningen med det samme.
Gennemgå konfigurationen af robots.txt, og bekræft, at OpenAI-crawlere udtrykkeligt har adgang til de relevante sider og stier. Eksempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbeskyttelse og botafværgelse
Mange websites bruger tjenester som Cloudflare, Akamai eller andre udbydere af webbeskyttelse til at beskytte mod DDoS-angreb, scraping og uautoriseret trafik. Disse systemer kan fejlagtigt blokere legitime crawlere og returnerer ofte fejlen 403 Forbidden. Da trafik fra OpenAI-crawlere kan ligne automatiseret trafik, kan den blive afvist, medmindre den specifikt er føjet til en tilladelsesliste.
Gennemgå konfigurationen af din webbeskyttelse eller firewall, og føj så vidt muligt trafik fra OpenAI-crawlere til en tilladelsesliste, helst ud fra vores crawleres brugeragenter. Dit teknik- eller infrastrukturteam bør også undersøge eventuelle automatiske regler for botafværgelse, der kan udløse falske positiver.
3. Verificering af mennesker og anti-botlogik
Nogle websites anvender yderligere kontrol på applikationsniveau for at bekræfte, at en besøgende er et menneske, f.eks. CAPTCHA'er, JavaScript-udfordringer, adfærdsanalyse eller sessionsvalidering. Da OpenAI-crawlere er automatiserede systemer, kan denne kontrol blokere adgangen, selvom crawleren er kommet igennem de tidligere lag.
Gennemgå al logik til menneskeverificering eller beskyttelse mod automatisering i din applikation, og sørg for, at OpenAI-crawlere undtages, hvor det er relevant – helst ved at føje deres brugeragenter til en tilladelsesliste.
Bemærkning om stabile IP-intervaller
Nogle sikkerhedssystemer kræver, at crawlertrafik kommer fra stabile, offentligt dokumenterede IP-intervaller, før den pålideligt kan føjes til en tilladelsesliste. Da crawlerinfrastrukturen kan ændre sig over tid, bør dit teknikteam undgå udelukkende at basere sig på kortvarige observationer af IP-adresser i logfiler. Validér i stedet trafikken ved at kombinere identifikation af brugeragenter, verificerede botprogrammer, hvor de understøttes, tilladelseslister i firewallen, adfærd for robots.txt og udbyderens systemer til botverificering.
Hvis du skal tillade en fast liste over IP-intervaller, skal du se https://openai.com/searchbot.json og https://openai.com/adsbot.json.
Bemærkning om hastighedsbegrænsning
Store batchuploads eller pludselige stigninger i crawlertrafikken kan nogle gange udløse automatiske systemer til hastighedsbegrænsning eller botbeskyttelse.
Hvis du har mistanke om hastighedsbegrænsning, skal du bede dit teknikteam gennemgå HTTP-svarkoder – især 429 Too Many Requests – firewall- eller CDN-logfiler, hændelser vedrørende botafværgelse, regler for begrænsning af anmodninger samt trafikanalyser fra det tidspunkt, hvor crawleren forsøgte at få adgang. Det kan afdække, om anmodninger bevidst forsinkes eller blokeres af infrastrukturens beskyttelsesmekanismer.
Du kan også overveje at uploade annoncerne i mindre batches over en længere periode.
Bemærkning om Cloudflare
OAI-AdsBot er officielt verificeret og føjet til Cloudflares tilladelsesliste.
Ofte stillede spørgsmål om crawlere og landingssider
Hvilken crawler kræves til gennemgang af annoncer?
OAI-AdsBot kræves til validering og gennemgang af landingssider til ChatGPT Ads. OAI-SearchBot anbefales, fordi den kan hjælpe OpenAI med at forstå offentligt webindhold, men annoncører bør prioritere OAI-AdsBot for at gøre annoncer klar.
Kan support manuelt omgå crawlervalideringen?
Stol ikke på en manuel omgåelse. Gør landingssiden tilgængelig for OAI-AdsBot ved at fjerne blokeringer i robots.txt, WAF, CDN, botafværgelse, godkendelse og hastighedsbegrænsning. Annoncer skal muligvis uploades igen eller genindsendes til gennemgang, når landingssiden er blevet tilgængelig.
Hvad skal mit teknikteam kontrollere først?
Kontrollér, om landingssiden returnerer et vellykket HTTP-svar til OAI-AdsBot, om robots.txt tillader den relevante sti, og om WAF, CDN, botafværgelse, JavaScript-udfordringer, CAPTCHA'er, godkendelse eller geografiske regler blokerer automatiseret adgang.
Understøttes links til appbutikker, dybe links eller destinationer, der ikke er websider, som landingssider?
Brug så vidt muligt en landingsside, der kan tilgås direkte på nettet. Links til appbutikker, dybe links, dokumenter eller destinationer, der kræver en app, login, regionsspecifik adgang eller ikke-understøttede omdirigeringer, indeholder muligvis ikke tilstrækkeligt indhold, der kan crawles med henblik på validering eller gennemgang.
Hvornår skal jeg uploade igen eller anmode om en ny gennemgang?
Når crawleradgangen er rettet, skal du uploade eller genindsende de berørte annoncer, hvis statussen ikke opdateres automatisk. For masseuploadede annoncer kan mindre batches mindske risikoen for, at hastighedsbegrænsning eller botbeskyttelse udløses, mens dit team kontrollerer rettelsen.