Hvorfor bruger OpenAI webcrawlere?
Vi bruger crawlere til at validere sikkerheden på websider, der indsendes som annoncer på ChatGPT. Når du indsender en annonce, kan OpenAI besøge landingssiden for at sikre, at den overholder vores politikker. Vi kan også bruge indhold fra landingssiden til at afgøre, hvornår det er mest relevant at vise annoncen til brugere.
Hvilke OpenAI-crawlere bør du tillade?
Du skal tillade OAI-AdsBot. Vi anbefaler at tillade både OAI-AdsBot og OAI-SearchBot.
OpenAI-crawlere kan ikke crawle mit website. Hvad skal jeg gøre?
De fleste websites har flere beskyttelseslag, før en crawler kan få adgang til en webside. Samarbejd med dit teknik- eller sikkerhedsteam om at validere, at OpenAI-crawlere kan passere hvert af følgende lag.
1. robots.txt
Filen robots.txt fortæller crawlere, om de har tilladelse til at få adgang til bestemte dele af dit website. OpenAI-crawlere respekterer disse regler. Hvis adgang ikke er tilladt i robots.txt, stopper crawling med det samme.
Gennemgå din robots.txt-konfiguration, og bekræft, at OpenAI-crawlere udtrykkeligt har adgang til de relevante sider og stier. For eksempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbeskyttelse og bot-afværgning
Mange websites bruger tjenester som Cloudflare, Akamai eller andre udbydere af webbeskyttelse til at forsvare sig mod DDoS-angreb, scraping og uautoriseret trafik. Disse systemer kan fejlagtigt blokere legitime crawlere og returnerer ofte 403 Forbidden-fejl. Fordi OpenAI-crawlere kan ligne automatiserede trafikmønstre, kan de blive afvist, medmindre de specifikt føjes til tilladelseslisten.
Gennemgå din webbeskyttelses- eller firewallkonfiguration, og tillad OpenAI-crawlertrafik, hvor det er muligt, helst baseret på vores crawler-user agents. Dit teknik- eller infrastrukturteam bør også undersøge eventuelle automatiserede regler for bot-afværgning, der kan udløse falske positiver.
3. Menneskeverificering og antibot-logik
Nogle websites implementerer ekstra kontroller på applikationsniveau for at verificere, at en besøgende er et menneske, f.eks. CAPTCHA'er, JavaScript-udfordringer, adfærdsanalyse eller sessionsvalidering. Da OpenAI-crawlere er automatiserede systemer, kan disse kontroller blokere adgangen, selv om crawleren passerer de tidligere lag.
Gennemgå al menneskeverificering eller anti-automatiseringslogik, der er implementeret i din applikation, og sørg for, at OpenAI-crawlere undtages, hvor det er relevant, helst ved at føje vores crawler-user agents til tilladelseslisten.
Bemærkning om stabile IP-intervaller
Nogle sikkerhedssystemer kræver, at crawlertrafik kommer fra stabile, offentligt dokumenterede IP-intervaller, før trafikken kan føjes pålideligt til tilladelseslisten. Da crawlerinfrastruktur kan udvikle sig over tid, bør dit teknikteam undgå udelukkende at basere sig på kortsigtede IP-observationer fra logfiler. Validér i stedet trafik via en kombination af user-agent-identifikation, verificerede botprogrammer hvor det understøttes, firewall-tilladelseslister, robots.txt-adfærd og udbyderes systemer til botverificering.
Hvis du skal tillade en stabil liste over IP-intervaller, skal du bruge https://openai.com/searchbot.json og https://openai.com/adsbot.json som reference.
Bemærkning om brugsgrænser
Store batchuploads eller pludselige stigninger i crawlertrafik kan nogle gange udløse automatiske brugsgrænser eller botbeskyttelsessystemer.
Hvis du har mistanke om brugsgrænser, skal du bede dit teknikteam om at gennemgå HTTP-svarkoder, især 429 Too Many Requests, firewall- eller CDN-logfiler, hændelser for bot-afværgning, regler for begrænsning af anmodninger og trafikanalyser omkring det tidspunkt, hvor crawleren forsøgte at få adgang. Det kan hjælpe med at afgøre, om anmodninger bevidst forsinkes eller blokeres af infrastrukturens beskyttelser.
Du kan også overveje at uploade annoncer i mindre batches over en længere periode.
Bemærkning om Cloudflare
OAI-AdsBot er officielt verificeret og føjet til tilladelseslisten af Cloudflare.
Ofte stillede spørgsmål om crawlere og landingssider
Hvilken crawler kræves til annoncegennemgang?
OAI-AdsBot kræves til validering og gennemgang af landingssider for ChatGPT-annoncer. OAI-SearchBot anbefales, fordi den kan hjælpe OpenAI med at forstå offentligt webindhold, men OAI-AdsBot er den crawler, annoncører bør prioritere for at gøre annoncer klar.
Kan support manuelt omgå crawlervalidering?
Regn ikke med en manuel omgåelse. Gør landingssiden crawlbar for OAI-AdsBot ved at rette blokeringer i robots.txt, WAF, CDN, bot-afværgning, godkendelse og brugsgrænser. Annoncer skal muligvis uploades igen eller indsendes til gennemgang igen, når landingssiden er blevet tilgængelig.
Hvad bør mit teknikteam tjekke først?
Tjek, om landingssiden returnerer et vellykket HTTP-svar til OAI-AdsBot, om robots.txt tillader den relevante sti, og om WAF, CDN, bot-afværgning, JavaScript-udfordringer, CAPTCHA'er, godkendelse eller geografiske regler blokerer automatiseret adgang.
Understøttes appbutiklinks, dybe links eller ikke-webbaserede destinationer som landingssider?
Brug en webbaseret landingsside, der kan tilgås direkte, når det er muligt. Appbutiklinks, dybe links, dokumenter eller destinationer, der kræver en app, login, regionsspecifik adgang eller ikke-understøttede omdirigeringer, giver muligvis ikke nok crawlbar indhold til validering eller gennemgang.
Hvornår skal jeg uploade igen eller anmode om gennemgang igen?
Når du har løst crawleradgangen, skal du uploade berørte annoncer igen eller indsende dem igen, hvis status ikke opdateres af sig selv. For annoncer uploadet i bulk kan mindre batches reducere udløsning af brugsgrænser eller botbeskyttelse, mens dit team validerer rettelsen.