Kodėl OpenAI naudoja žiniatinklio tikrintuvus?
Naudojame tikrintuvus, kad patikrintume žiniatinklio puslapių, pateiktų kaip skelbimai ChatGPT, saugą. Kai pateikiate skelbimą, OpenAI gali apsilankyti nukreipimo puslapyje ir įsitikinti, kad jis atitinka mūsų politiką. Taip pat galime naudoti nukreipimo puslapio turinį, kad nustatytume, kada skelbimą naudotojams rodyti aktualiausia.
Kuriuos OpenAI tikrintuvus turėtumėte leisti?
Privalote leisti OAI-AdsBot. Rekomenduojame leisti ir OAI-AdsBot, ir OAI-SearchBot.
OpenAI tikrintuvams nepavyksta nuskaityti mano svetainės. Ką turėčiau daryti?
Daugumoje svetainių yra keli apsaugos sluoksniai, kuriuos tikrintuvas turi įveikti, kad sėkmingai pasiektų tinklalapį. Dirbkite su savo inžinerijos arba saugos komanda ir patikrinkite, ar OpenAI tikrintuvai gali pereiti kiekvieną iš toliau nurodytų sluoksnių.
1. robots.txt
Failas robots.txt nurodo tikrintuvams, ar jiems leidžiama pasiekti tam tikras jūsų svetainės dalis. OpenAI tikrintuvai laikosi šių taisyklių. Jei prieiga robots.txt faile neleidžiama, nuskaitymas iškart sustos.
Peržiūrėkite robots.txt konfigūraciją ir įsitikinkite, kad OpenAI tikrintuvams aiškiai leidžiama pasiekti susijusius puslapius ir kelius. Pavyzdžiui: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Žiniatinklio apsauga ir robotų blokavimo priemonės
Daug svetainių naudoja tokias paslaugas kaip Cloudflare, Akamai ar kitus žiniatinklio apsaugos teikėjus, kad apsisaugotų nuo DDoS atakų, duomenų rinkimo ir neleistino srauto. Šios sistemos gali per klaidą blokuoti teisėtus tikrintuvus, dažnai grąžindamos klaidas 403 Forbidden. Kadangi OpenAI tikrintuvai gali būti panašūs į automatizuoto srauto modelius, jiems gali būti atsisakyta suteikti prieigą, nebent jie būtų aiškiai įtraukti į leidžiamųjų sąrašą.
Peržiūrėkite žiniatinklio apsaugos arba užkardos konfigūraciją ir, kur įmanoma, įtraukite OpenAI tikrintuvų srautą į leidžiamųjų sąrašą, geriausia pagal mūsų tikrintuvų naudotojo agentus. Jūsų inžinerijos arba infrastruktūros komanda taip pat turėtų patikrinti visas automatizuotas robotų blokavimo taisykles, kurios galėtų klaidingai suveikti.
3. Žmogaus patvirtinimas ir apsauga nuo robotų
Kai kuriose svetainėse taikomos papildomos programos lygmens patikros, skirtos įsitikinti, kad lankytojas yra žmogus, pvz., CAPTCHA, JavaScript iššūkiai, elgsenos analizė arba seanso patvirtinimas. Kadangi OpenAI tikrintuvai yra automatizuotos sistemos, šios patikros gali blokuoti prieigą net tada, kai tikrintuvas sėkmingai pereina ankstesnius sluoksnius.
Peržiūrėkite bet kokią jūsų programoje įdiegtą žmogaus patvirtinimo ar apsaugos nuo automatizavimo logiką ir užtikrinkite, kad OpenAI tikrintuvams būtų taikomos išimtys, kur tinkama, geriausia įtraukiant mūsų tikrintuvų naudotojo agentus į leidžiamųjų sąrašą.
Pastaba apie stabilius IP diapazonus
Kai kurios saugos sistemos reikalauja, kad tikrintuvų srautas būtų gaunamas iš stabilių, viešai dokumentuotų IP diapazonų, kad srautą būtų galima patikimai įtraukti į leidžiamųjų sąrašą. Kadangi tikrintuvų infrastruktūra laikui bėgant gali keistis, jūsų inžinerijos komanda neturėtų pasikliauti vien trumpalaikiais IP stebėjimais iš žurnalų. Vietoj to tikrinkite srautą derindami naudotojo agento identifikavimą, patvirtintų robotų programas, jei jos palaikomos, užkardos leidžiamųjų sąrašus, robots.txt elgseną ir teikėjo lygmens robotų patvirtinimo sistemas.
Jei turite leisti stabilų IP diapazonų sąrašą, remkitės https://openai.com/searchbot.json ir https://openai.com/adsbot.json.
Pastaba apie užklausų dažnio ribojimą
Dideli paketiniai įkėlimai arba staigūs tikrintuvų srauto šuoliai kartais gali suaktyvinti automatinį užklausų dažnio ribojimą arba robotų apsaugos sistemas.
Jei įtariate, kad taikomas užklausų dažnio ribojimas, paprašykite inžinerijos komandos peržiūrėti HTTP atsakymų kodus, ypač 429 Too Many Requests, užkardos arba CDN žurnalus, robotų blokavimo įvykius, užklausų ribojimo taisykles ir srauto analizę tuo metu, kai tikrintuvas bandė gauti prieigą. Tai gali padėti nustatyti, ar infrastruktūros apsaugos priemonės tyčia lėtina arba blokuoja užklausas.
Taip pat galite apsvarstyti galimybę įkelti skelbimus mažesniais paketais per ilgesnį laikotarpį.
Pastaba apie Cloudflare
OAI-AdsBot yra oficialiai patvirtintas ir Cloudflare įtrauktas į leidžiamųjų sąrašą.
Tikrintuvų ir nukreipimo puslapių DUK
Kuris tikrintuvas būtinas skelbimų peržiūrai?
OAI-AdsBot būtinas ChatGPT skelbimų nukreipimo puslapių patvirtinimui ir peržiūrai. OAI-SearchBot rekomenduojamas, nes jis gali padėti OpenAI suprasti viešą žiniatinklio turinį, tačiau reklamuotojai, ruošdami skelbimus, pirmiausia turėtų pasirūpinti OAI-AdsBot tikrintuvu.
Ar pagalbos komanda gali rankiniu būdu apeiti tikrintuvo patikrą?
Nepasikliaukite rankiniu apėjimu. Padarykite nukreipimo puslapį pasiekiamą OAI-AdsBot tikrintuvui pašalindami robots.txt, WAF, CDN, robotų blokavimo, autentifikavimo ir užklausų dažnio ribojimo kliūtis. Kai nukreipimo puslapis taps pasiekiamas, skelbimus gali reikėti įkelti iš naujo arba dar kartą pateikti peržiūrai.
Ką mano inžinerijos komanda turėtų patikrinti pirmiausia?
Patikrinkite, ar nukreipimo puslapis grąžina sėkmingą HTTP atsakymą OAI-AdsBot tikrintuvui, ar robots.txt leidžia atitinkamą kelią ir ar WAF, CDN, robotų blokavimas, JavaScript iššūkiai, CAPTCHA, autentifikavimas arba geografinės taisyklės neblokuoja automatizuotos prieigos.
Ar programėlių parduotuvių nuorodos, giliosios nuorodos arba ne žiniatinklio paskirties vietos palaikomos kaip nukreipimo puslapiai?
Kai tik įmanoma, naudokite tiesiogiai pasiekiamą žiniatinklio nukreipimo puslapį. Programėlių parduotuvių nuorodos, giliosios nuorodos, dokumentai arba paskirties vietos, kurioms reikia programėlės, prisijungimo, regionui būdingos prieigos ar nepalaikomų peradresavimų, gali nepateikti pakankamai nuskaitomo turinio patvirtinimui ar peržiūrai.
Kada turėčiau įkelti iš naujo arba vėl prašyti peržiūros?
Sutvarkę tikrintuvo prieigą, iš naujo įkelkite arba dar kartą pateikite paveiktus skelbimus, jei būsena neatsinaujina savaime. Masiniu būdu įkeltiems skelbimams mažesni paketai gali sumažinti užklausų dažnio ribojimo arba robotų apsaugos suveikimų tikimybę, kol jūsų komanda tikrina pataisą.