Varför använder OpenAI sökrobotar?
Vi använder sökrobotar för att kontrollera säkerheten på webbsidor som skickas in som annonser på ChatGPT. När du skickar in en annons kan OpenAI besöka målsidan för att kontrollera att den följer våra policyer. Vi kan också använda innehåll från målsidan för att avgöra när annonsen är som mest relevant att visa för användare.
Vilka av OpenAI:s sökrobotar bör du tillåta?
Du måste tillåta OAI-AdsBot. Vi rekommenderar att du tillåter både OAI-AdsBot och OAI-SearchBot.
För produktflöden ska du även tillåta OAI-SearchBot att genomsöka webbadresserna till produktbilderna. Kontrollera reglerna för brandvägg, CDN och botskydd hos bildvärden. Ett 403-svar kan blockera bearbetningen av flödet.
OpenAI:s sökrobotar kan inte genomsöka min webbplats. Vad ska jag göra?
De flesta webbplatser har flera skyddslager som en sökrobot måste ta sig igenom för att kunna komma åt en webbsida. Samarbeta med teknik- eller säkerhetsteamet för att kontrollera att OpenAI:s sökrobotar kan passera vart och ett av följande lager.
1. robots.txt
Filen robots.txt anger om sökrobotar får komma åt vissa delar av din webbplats. OpenAI:s sökrobotar följer dessa regler. Om åtkomst nekas i robots.txt avbryts genomsökningen omedelbart.
Granska konfigurationen av robots.txt och kontrollera att OpenAI:s sökrobotar uttryckligen tillåts komma åt relevanta sidor och sökvägar. Till exempel: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webbskydd och botskydd
Många webbplatser använder tjänster som Cloudflare, Akamai eller andra leverantörer av webbskydd för att skydda sig mot DDoS-attacker, datainsamling och obehörig trafik. Dessa system kan av misstag blockera legitima sökrobotar och returnerar då ofta felet 403 Forbidden. Eftersom trafiken från OpenAI:s sökrobotar kan likna automatiserad trafik kan den nekas om den inte uttryckligen har lagts till i en lista över tillåten trafik.
Granska konfigurationen av webbskyddet eller brandväggen och tillåt trafik från OpenAI:s sökrobotar där det är möjligt, helst utifrån våra sökrobotars användaragentsträngar. Teknik- eller infrastrukturteamet bör också granska automatiska botskyddsregler som kan ge falska positiva resultat.
3. Verifiering av människor och antibotlogik
Vissa webbplatser använder ytterligare kontroller på programnivå för att verifiera att besökaren är en människa, till exempel CAPTCHA-test, JavaScript-utmaningar, beteendeanalys eller sessionsverifiering. Eftersom OpenAI:s sökrobotar är automatiserade system kan dessa kontroller blockera åtkomsten även om sökroboten har passerat tidigare lager.
Granska all logik för verifiering av människor eller skydd mot automatisering i programmet och undanta OpenAI:s sökrobotar där det är lämpligt, helst genom att tillåta deras användaragentsträngar.
Information om stabila IP-intervall
Vissa säkerhetssystem kräver att sökrobottrafik kommer från stabila, offentligt dokumenterade IP-intervall för att den på ett tillförlitligt sätt ska kunna läggas till i en lista över tillåten trafik. Eftersom infrastrukturen för sökrobotar kan förändras över tid bör teknikteamet inte enbart förlita sig på kortsiktiga observationer av IP-adresser i loggar. Verifiera i stället trafiken med en kombination av identifiering via användaragent, program för verifierade botar där sådana stöds, brandväggens listor över tillåten trafik, robots.txt-beteende och leverantörens system för botverifiering.
Om du måste tillåta en fast lista över IP-intervall kan du använda https://openai.com/searchbot.json och https://openai.com/adsbot.json som referens.
Information om hastighetsbegränsning
Stora batchuppladdningar eller plötsliga toppar i sökrobottrafiken kan ibland utlösa automatisk hastighetsbegränsning eller botskydd.
Om du misstänker att trafiken hastighetsbegränsas ber du teknikteamet att granska HTTP-svarskoder, särskilt 429 Too Many Requests, loggar från brandvägg eller CDN, botskyddshändelser, regler för begränsning av förfrågningar samt trafikanalys från tidpunkten då sökroboten försökte få åtkomst. Det kan hjälpa er att avgöra om förfrågningar avsiktligt fördröjs eller blockeras av infrastrukturens skydd.
Du kan också överväga att ladda upp annonser i mindre batcher under en längre period.
Information om Cloudflare
OAI-AdsBot är officiellt verifierad och tillåten av Cloudflare.
Vanliga frågor om sökrobotar och målsidor
Vilken sökrobot krävs för annonsgranskning?
OAI-AdsBot krävs för validering och granskning av målsidor för ChatGPT Ads. OAI-SearchBot rekommenderas eftersom den kan hjälpa OpenAI att förstå offentligt webbinnehåll, men annonsörer bör prioritera OAI-AdsBot för att annonserna ska vara redo att användas.
Kan supporten kringgå sökrobotens validering manuellt?
Förlita dig inte på att valideringen kan kringgås manuellt. Gör målsidan tillgänglig för genomsökning av OAI-AdsBot genom att åtgärda blockeringar i robots.txt, WAF, CDN, botskydd, autentisering och hastighetsbegränsning. När målsidan har blivit tillgänglig kan annonserna behöva laddas upp igen eller skickas in på nytt för granskning.
Vad bör mitt teknikteam kontrollera först?
Kontrollera om målsidan returnerar ett lyckat HTTP-svar till OAI-AdsBot, om robots.txt tillåter den relevanta sökvägen och om WAF, CDN, botskydd, JavaScript-utmaningar, CAPTCHA-test, autentisering eller geografiska regler blockerar automatiserad åtkomst.
Stöds länkar till appbutiker, djuplänkar eller andra mål än webbsidor som målsidor?
Använd om möjligt en webbaserad målsida som kan nås direkt. Länkar till appbutiker, djuplänkar, dokument eller mål som kräver en app, inloggning, regionsspecifik åtkomst eller omdirigeringar som inte stöds kanske inte ger tillräckligt med genomsökningsbart innehåll för validering eller granskning.
När bör jag ladda upp annonsen igen eller begära en ny granskning?
När åtkomsten för sökroboten har åtgärdats laddar du upp eller skickar in berörda annonser på nytt om statusen inte uppdateras automatiskt. För massuppladdade annonser kan mindre batcher minska risken för att utlösa hastighetsbegränsningar eller botskydd medan teamet verifierar åtgärden.