Varför använder OpenAI webbcrawlers?
Vi använder crawlers för att kontrollera säkerheten på webbsidor som skickas in som annonser på ChatGPT. När du skickar in en annons kan OpenAI besöka landningssidan för att säkerställa att den följer våra policyer. Vi kan även använda innehåll från landningssidan för att avgöra när det är som mest relevant att visa annonsen för användare.
Vilka OpenAI-crawlers bör du tillåta?
Du måste tillåta OAI-AdsBot. Vi rekommenderar att du tillåter både OAI-AdsBot och OAI-SearchBot.
OpenAI-crawlers kan inte genomsöka min webbplats. Vad ska jag göra?
De flesta webbplatser har flera skyddslager innan en crawler kan komma åt en webbsida. Arbeta med ditt teknik- eller säkerhetsteam för att kontrollera att OpenAI-crawlers kan ta sig igenom vart och ett av följande lager.
1. robots.txt
Filen robots.txt talar om för crawlers om de får komma åt vissa delar av din webbplats. OpenAI-crawlers respekterar dessa regler. Om åtkomst inte tillåts i robots.txt stoppas genomsökningen omedelbart.
Granska din robots.txt-konfiguration och bekräfta att OpenAI-crawlers uttryckligen tillåts komma åt relevanta sidor och sökvägar. Till exempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbskydd och botbegränsning
Många webbplatser använder tjänster som Cloudflare, Akamai eller andra leverantörer av webbskydd för att skydda sig mot DDoS-attacker, scraping och obehörig trafik. Dessa system kan av misstag blockera legitima crawlers, ofta med 403 Forbidden-fel som svar. Eftersom OpenAI-crawlers kan likna automatiserade trafikmönster kan de nekas åtkomst om de inte uttryckligen finns på en tillåtelselista.
Granska konfigurationen för ditt webbskydd eller din brandvägg och tillåt OpenAI-crawlertrafik där det är möjligt, helst baserat på våra crawler-user agents. Ditt teknik- eller infrastrukturteam bör också granska eventuella automatiserade regler för botbegränsning som kan utlösa falska positiva resultat.
3. Mänsklig verifiering och anti-bot-logik
Vissa webbplatser använder ytterligare kontroller på applikationsnivå för att verifiera att en besökare är människa, till exempel CAPTCHA, JavaScript-utmaningar, beteendeanalys eller sessionsvalidering. Eftersom OpenAI-crawlers är automatiserade system kan dessa kontroller blockera åtkomst även om crawlern tar sig igenom tidigare lager.
Granska all logik för mänsklig verifiering eller anti-automatisering som har implementerats i din applikation och se till att OpenAI-crawlers undantas där det är lämpligt, helst genom att lägga till våra crawler-user agents i en tillåtelselista.
En kommentar om stabila IP-intervall
Vissa säkerhetssystem kräver att crawlertrafik kommer från stabila, offentligt dokumenterade IP-intervall innan trafiken kan tillåtas på ett tillförlitligt sätt. Eftersom crawlerinfrastrukturen kan utvecklas över tid bör ditt teknikteam undvika att enbart förlita sig på kortsiktiga IP-observationer från loggar. Validera i stället trafiken genom en kombination av user agent-identifiering, verifierade botprogram där det stöds, brandväggars tillåtelselistor, robots.txt-beteende och verifieringssystem för bottar på leverantörsnivå.
Om du måste tillåta en stabil lista över IP-intervall, använd https://openai.com/searchbot.json och https://openai.com/adsbot.json som referens.
En kommentar om frekvensbegränsning
Stora massuppladdningar eller plötsliga toppar i crawlertrafik kan ibland utlösa automatiserad frekvensbegränsning eller botskyddssystem.
Om du misstänker att frekvensbegränsning förekommer bör du be ditt teknikteam att granska HTTP-svarskoder, särskilt 429 Too Many Requests, brandväggs- eller CDN-loggar, botbegränsningshändelser, regler för strypning av begäranden och trafikanalys kring den tidpunkt då crawlern försökte få åtkomst. Detta kan hjälpa till att avgöra om begäranden avsiktligt saktas ned eller blockeras av infrastrukturskydd.
Du kan också överväga att ladda upp annonser i mindre omgångar under en längre tidsperiod.
En kommentar om Cloudflare
OAI-AdsBot är officiellt verifierad och tillåts av Cloudflare.
Vanliga frågor om crawlers och landningssidor
Vilken crawler krävs för annonsgranskning?
OAI-AdsBot krävs för validering och granskning av landningssidor för ChatGPT Ads. OAI-SearchBot rekommenderas eftersom den kan hjälpa OpenAI att förstå offentligt webbinnehåll, men OAI-AdsBot är den crawler som annonsörer bör prioritera för annonsberedskap.
Kan supporten kringgå crawlervalidering manuellt?
Förlita dig inte på en manuell kringgång. Gör landningssidan sökbar för OAI-AdsBot genom att åtgärda blockeringar i robots.txt, WAF, CDN, botbegränsning, autentisering och frekvensbegränsning. Annonser kan behöva laddas upp igen eller skickas in på nytt för granskning när landningssidan har blivit tillgänglig.
Vad bör mitt teknikteam kontrollera först?
Kontrollera om landningssidan returnerar ett lyckat HTTP-svar till OAI-AdsBot, om robots.txt tillåter den relevanta sökvägen och om WAF, CDN, botbegränsning, JavaScript-utmaningar, CAPTCHA, autentisering eller geografiska regler blockerar automatiserad åtkomst.
Stöds länkar till appbutiker, djuplänkar eller destinationer utanför webben som landningssidor?
Använd en direkt nåbar webblandningssida när det är möjligt. Länkar till appbutiker, djuplänkar, dokument eller destinationer som kräver en app, inloggning, regionsspecifik åtkomst eller omdirigeringar som inte stöds kanske inte tillhandahåller tillräckligt med genomsökningsbart innehåll för validering eller granskning.
När bör jag ladda upp igen eller begära granskning på nytt?
När du har åtgärdat crawleråtkomsten ska du ladda upp eller skicka in berörda annonser på nytt om statusen inte uppdateras av sig själv. För massuppladdade annonser kan mindre omgångar minska risken att frekvensgränser eller botskydd utlöses medan ditt team validerar åtgärden.