Kodėl OpenAI naudoja žiniatinklio tikrinimo programas?
Naudojame tikrinimo programas, kad patikrintume kaip reklamos ChatGPT pateiktų tinklalapių saugumą. Kai pateikiate reklamą, OpenAI gali apsilankyti nukreipimo puslapyje ir įsitikinti, kad jis atitinka mūsų politiką. Nukreipimo puslapio turinį taip pat galime naudoti nustatydami, kada reklamą aktualiausia rodyti naudotojams.
Kurias OpenAI tikrinimo programas reikėtų leisti?
Privalote leisti OAI-AdsBot. Rekomenduojame leisti ir OAI-AdsBot, ir OAI-SearchBot.
Produktų sklaidos kanalams taip pat leiskite OAI-SearchBot tikrinti produktų vaizdų URL. Patikrinkite vaizdų prieglobos užkardos, CDN ir apsaugos nuo robotų taisykles; 403 atsakas gali sustabdyti sklaidos kanalo apdorojimą.
OpenAI tikrinimo programoms nepavyksta patikrinti mano svetainės. Ką turėčiau daryti?
Dauguma svetainių turi kelis apsaugos lygmenis, kuriuos tikrinimo programa turi įveikti, kad sėkmingai pasiektų tinklalapį. Kartu su inžinerijos ar saugos komanda patikrinkite, ar OpenAI tikrinimo programos gali įveikti kiekvieną iš toliau nurodytų lygmenų.
1. robots.txt
Failas robots.txt nurodo tikrinimo programoms, ar joms leidžiama pasiekti tam tikras jūsų svetainės dalis. OpenAI tikrinimo programos laikosi šių taisyklių. Jei robots.txt neleidžia pasiekti svetainės, tikrinimas bus nedelsiant nutrauktas.
Peržiūrėkite robots.txt konfigūraciją ir įsitikinkite, kad OpenAI tikrinimo programoms aiškiai leidžiama pasiekti reikiamus puslapius ir kelius. Pavyzdžiui: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Žiniatinklio apsauga ir robotų veiklos ribojimas
Daugelis svetainių naudoja tokias paslaugas kaip Cloudflare, Akamai ar kitų žiniatinklio apsaugos teikėjų sprendimus, kad apsisaugotų nuo DDoS atakų, duomenų rinkimo ir neleistino srauto. Šios sistemos gali per klaidą blokuoti teisėtas tikrinimo programas ir dažnai grąžina klaidą 403 Forbidden. Kadangi OpenAI tikrinimo programų veikla gali priminti automatizuotą srautą, jos gali būti neįleidžiamos, nebent būtų aiškiai įtrauktos į leidžiamųjų sąrašą.
Peržiūrėkite žiniatinklio apsaugos arba užkardos konfigūraciją ir, jei įmanoma, įtraukite OpenAI tikrinimo programų srautą į leidžiamųjų sąrašą, geriausia pagal mūsų tikrinimo programų naudotojo agentus. Jūsų inžinerijos ar infrastruktūros komanda taip pat turėtų patikrinti automatines robotų veiklos ribojimo taisykles, kurios gali sukelti klaidingus teigiamus rezultatus.
3. Žmogaus patvirtinimas ir apsauga nuo robotų
Kai kuriose svetainėse programos lygmeniu atliekamos papildomos patikros, ar lankytojas yra žmogus, pavyzdžiui, naudojamos CAPTCHA, JavaScript užduotys, elgsenos analizė ar seanso patvirtinimas. Kadangi OpenAI tikrinimo programos yra automatizuotos sistemos, šios patikros gali užblokuoti prieigą, net jei tikrinimo programa sėkmingai įveikė ankstesnius lygmenis.
Peržiūrėkite programoje įdiegtą žmogaus patvirtinimo ar apsaugos nuo automatizavimo logiką ir užtikrinkite, kad reikiamais atvejais ji nebūtų taikoma OpenAI tikrinimo programoms, geriausia įtraukiant mūsų tikrinimo programų naudotojo agentus į leidžiamųjų sąrašą.
Pastaba apie stabilius IP diapazonus
Kai kurios saugos sistemos leidžia patikimai įtraukti tikrinimo programų srautą į leidžiamųjų sąrašą tik tada, kai jis gaunamas iš stabilių ir viešai dokumentuotų IP diapazonų. Kadangi tikrinimo programų infrastruktūra laikui bėgant gali keistis, jūsų inžinerijos komanda neturėtų pasikliauti vien trumpalaikiais žurnaluose užfiksuotais IP stebėjimais. Srautą tikrinkite derindami naudotojo agento identifikavimą, patvirtintų robotų programas, jei jos palaikomos, užkardos leidžiamųjų sąrašus, robots.txt veikimą ir teikėjo lygmens robotų tikrinimo sistemas.
Jei būtina leisti stabilų IP diapazonų sąrašą, vadovaukitės https://openai.com/searchbot.json ir https://openai.com/adsbot.json.
Pastaba apie užklausų dažnio ribojimą
Įkeliant didelius paketus arba staiga padidėjus tikrinimo programų srautui, kartais gali būti suaktyvintas automatinis užklausų dažnio ribojimas arba apsaugos nuo robotų sistemos.
Jei įtariate, kad ribojamas užklausų dažnis, paprašykite inžinerijos komandos peržiūrėti HTTP atsakymo kodus, ypač 429 Too Many Requests, užkardos ar CDN žurnalus, robotų veiklos ribojimo įvykius, užklausų dažnio mažinimo taisykles ir srauto analizę tuo metu, kai tikrinimo programa bandė gauti prieigą. Tai gali padėti nustatyti, ar infrastruktūros apsaugos priemonės tyčia lėtina arba blokuoja užklausas.
Taip pat galite pabandyti įkelti reklamas mažesniais paketais per ilgesnį laiką.
Pastaba apie Cloudflare
Cloudflare yra oficialiai patvirtinusi ir įtraukusi OAI-AdsBot į leidžiamųjų sąrašą.
DUK apie tikrinimo programas ir nukreipimo puslapius
Kuri tikrinimo programa reikalinga reklamoms peržiūrėti?
OAI-AdsBot būtina „ChatGPT“ reklamų nukreipimo puslapiams patvirtinti ir peržiūrėti. Rekomenduojama leisti OAI-SearchBot, nes ji gali padėti OpenAI suprasti viešą žiniatinklio turinį, tačiau rengiant reklamas pirmenybę reikėtų teikti OAI-AdsBot.
Ar pagalbos tarnyba gali rankiniu būdu apeiti tikrinimo programos patvirtinimą?
Nepasikliaukite rankiniu apėjimu. Padarykite nukreipimo puslapį pasiekiamą OAI-AdsBot: pašalinkite robots.txt, WAF, CDN, robotų veiklos ribojimo, autentifikavimo ir užklausų dažnio ribojimo blokus. Kai nukreipimo puslapis taps pasiekiamas, reklamas gali tekti įkelti iš naujo arba pakartotinai pateikti peržiūrai.
Ką mano inžinerijos komanda turėtų patikrinti pirmiausia?
Patikrinkite, ar nukreipimo puslapis grąžina sėkmingą HTTP atsaką OAI-AdsBot, ar robots.txt leidžia pasiekti reikiamą kelią ir ar WAF, CDN, robotų veiklos ribojimas, JavaScript užduotys, CAPTCHA, autentifikavimas arba geografinės taisyklės neblokuoja automatizuotos prieigos.
Ar kaip nukreipimo puslapiai palaikomos programėlių parduotuvių nuorodos, giliosios nuorodos ar ne žiniatinklio paskirties vietos?
Kai tik įmanoma, naudokite tiesiogiai pasiekiamą žiniatinklio nukreipimo puslapį. Programėlių parduotuvių nuorodose, giliosiose nuorodose, dokumentuose ar paskirties vietose, kurioms pasiekti reikia programėlės, prisijungti, būti tam tikrame regione arba naudoti nepalaikomus peradresavimus, gali nepakakti patikrinti ar peržiūrėti tinkamo turinio.
Kada turėčiau įkelti iš naujo arba vėl prašyti peržiūros?
Sutvarkę tikrinimo programos prieigą, iš naujo įkelkite arba pakartotinai pateikite paveiktas reklamas, jei būsena neatsinaujina savaime. Jei reklamos įkeliamos masiškai, mažesni paketai gali rečiau suaktyvinti užklausų dažnio ribojimą ar apsaugą nuo robotų, kol jūsų komanda tikrina pataisymą.