Hvorfor bruger OpenAI webcrawlere?
Vi bruger crawlere til at kontrollere, at websider, der indsendes som annoncer på ChatGPT, er sikre. Når du indsender en annonce, kan OpenAI besøge landingssiden for at sikre, at den overholder vores politikker. Vi kan også bruge indhold fra landingssiden til at afgøre, hvornår det er mest relevant at vise annoncen til brugerne.
Hvilke OpenAI-crawlere bør du tillade?
Du skal tillade OAI-AdsBot. Vi anbefaler, at du tillader både OAI-AdsBot og OAI-SearchBot.
For produktfeeds skal du også tillade OAI-SearchBot at crawle produktbilledernes URL'er. Kontrollér reglerne for firewall, CDN og botbeskyttelse på billedserveren. Et 403-svar kan blokere behandlingen af feedet.
OpenAI-crawlere kan ikke crawle mit website. Hvad skal jeg gøre?
De fleste websites har flere beskyttelseslag, som en crawler skal passere for at få adgang til en webside. Samarbejd med dit tekniske team eller sikkerhedsteam om at kontrollere, at OpenAI-crawlere kan passere hvert af følgende lag.
1. robots.txt
Filen robots.txt fortæller crawlere, om de har tilladelse til at tilgå bestemte dele af dit website. OpenAI-crawlere respekterer disse regler. Hvis robots.txt ikke tillader adgang, stopper crawlingen med det samme.
Gennemgå din robots.txt-konfiguration, og bekræft, at OpenAI-crawlere har udtrykkelig tilladelse til at tilgå de relevante sider og stier. For eksempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Web- og botbeskyttelse
Mange websites bruger tjenester som Cloudflare, Akamai eller andre udbydere af webbeskyttelse til at beskytte sig mod DDoS-angreb, scraping og uautoriseret trafik. Disse systemer kan ved en fejl blokere legitime crawlere og returnerer ofte fejlen 403 Forbidden. Da trafikken fra OpenAI-crawlere kan ligne automatiserede trafikmønstre, kan de blive nægtet adgang, medmindre de specifikt er føjet til tilladelseslisten.
Gennemgå konfigurationen af din webbeskyttelse eller firewall, og føj trafik fra OpenAI-crawlere til tilladelseslisten, hvor det er muligt, helst ud fra vores crawleres user-agent-strenge. Dit tekniske team eller infrastrukturteam bør også undersøge alle automatiske regler for botbeskyttelse, der kan udløse falske positiver.
3. Kontrol af menneskelige brugere og antibotlogik
Nogle websites anvender yderligere kontroller på applikationsniveau for at bekræfte, at en besøgende er et menneske, f.eks. CAPTCHA'er, JavaScript-udfordringer, adfærdsanalyse eller sessionsvalidering. Da OpenAI-crawlere er automatiserede systemer, kan disse kontroller blokere adgangen, selvom crawleren har passeret de tidligere lag.
Gennemgå al logik i din applikation, der kontrollerer, om brugeren er et menneske, eller forhindrer automatiseret adgang. Sørg for, at OpenAI-crawlere undtages, hvor det er relevant, helst ved at føje vores crawleres user-agent-strenge til tilladelseslisten.
Bemærkning om stabile IP-intervaller
Nogle sikkerhedssystemer kræver, at crawlertrafik kommer fra stabile, offentligt dokumenterede IP-intervaller, før trafikken pålideligt kan tillades via en tilladelsesliste. Da crawlerinfrastrukturen kan ændre sig over tid, bør dit tekniske team undgå udelukkende at basere sig på IP-adresser observeret i logfiler over en kort periode. Validér i stedet trafikken gennem en kombination af identifikation via user-agent, programmer for verificerede bots, hvor de understøttes, firewallens tilladelseslister, adfærd i forhold til robots.txt og udbydernes systemer til botverificering.
Hvis du har brug for at tillade en stabil liste over IP-intervaller, kan du bruge https://openai.com/searchbot.json og https://openai.com/adsbot.json.
Bemærkning om ratebegrænsning
Upload af store mængder data ad gangen eller pludselige stigninger i crawlertrafikken kan nogle gange udløse automatisk ratebegrænsning eller systemer til botbeskyttelse.
Hvis du har mistanke om ratebegrænsning, så bed dit tekniske team om at gennemgå HTTP-statuskoder, især 429 Too Many Requests, firewall- eller CDN-logfiler, hændelser knyttet til botbeskyttelse, regler for begrænsning af anmodninger og trafikanalyser omkring det tidspunkt, hvor crawleren forsøgte at få adgang. Det kan hjælpe med at afklare, om infrastrukturens sikkerhedsforanstaltninger bevidst forsinker eller blokerer anmodninger.
Du kan også overveje at uploade annoncer i mindre portioner over længere tid.
Bemærkning om Cloudflare
OAI-AdsBot er officielt verificeret og føjet til tilladelseslisten hos Cloudflare.
Ofte stillede spørgsmål om crawlere og landingssider
Hvilken crawler kræves til annoncegennemgang?
OAI-AdsBot kræves til validering og gennemgang af landingssider i ChatGPT Ads. OAI-SearchBot anbefales, fordi den kan hjælpe OpenAI med at forstå offentligt tilgængeligt webindhold, men annoncører bør prioritere OAI-AdsBot for at blive klar til annoncering.
Kan support manuelt omgå crawlervalideringen?
Regn ikke med, at valideringen kan omgås manuelt. Gør landingssiden tilgængelig for OAI-AdsBot ved at fjerne blokeringer i robots.txt, WAF, CDN, botbeskyttelse, godkendelse og ratebegrænsning. Det kan være nødvendigt at uploade annoncerne igen eller indsende dem til en ny gennemgang, når landingssiden er blevet tilgængelig.
Hvad bør mit tekniske team kontrollere først?
Kontrollér, om landingssiden returnerer et HTTP-svar med en successtatus til OAI-AdsBot, om robots.txt tillader den relevante sti, og om WAF, CDN, botbeskyttelse, JavaScript-udfordringer, CAPTCHA'er, godkendelse eller geografiske regler blokerer automatiseret adgang.
Understøttes links til appbutikker, dybe links eller destinationer uden for nettet som landingssider?
Brug så vidt muligt en landingsside på nettet, der kan tilgås direkte. Links til appbutikker, dybe links, dokumenter eller destinationer, der kræver en app, login, regionsspecifik adgang eller ikke-understøttede omdirigeringer, giver muligvis ikke adgang til nok indhold, der kan crawles, til validering eller gennemgang.
Hvornår skal jeg uploade igen eller anmode om en ny gennemgang?
Når du har rettet crawlerens adgang, skal du uploade eller indsende de berørte annoncer igen, hvis status ikke opdateres af sig selv. Hvis du uploader mange annoncer, kan mindre portioner mindske risikoen for at udløse ratebegrænsning eller botbeskyttelse, mens dit team kontrollerer, at rettelsen virker.