Ինչո՞ւ է OpenAI-ն օգտագործում վեբ սողարկիչներ։
Մենք օգտագործում ենք սողարկիչներ՝ ChatGPT-ում որպես գովազդ ներկայացված վեբ էջերի անվտանգությունը ստուգելու համար։ Երբ գովազդ եք ներկայացնում, OpenAI-ն կարող է այցելել նպատակային էջ՝ համոզվելու, որ այն համապատասխանում է մեր կանոններին։ Մենք կարող ենք նաև օգտագործել նպատակային էջի բովանդակությունը՝ որոշելու, թե երբ է գովազդն առավել նպատակահարմար ցուցադրել օգտատերերին։
OpenAI-ի ո՞ր սողարկիչները պետք է թույլատրեք։
Դուք պետք է թույլատրեք OAI-AdsBot-ը։ Խորհուրդ ենք տալիս թույլատրել թե՛ OAI-AdsBot-ը, թե՛ OAI-SearchBot-ը։
Ապրանքների հոսքերի դեպքում թույլատրեք նաև, որ OAI-SearchBot-ը սողարկի ապրանքների պատկերների URL-ները։ Ստուգեք պատկերների հոսթում գործող firewall-ի, CDN-ի և բոտերից պաշտպանության կանոնները․ 403 պատասխանը կարող է արգելափակել հոսքի մշակումը։
OpenAI-ի սողարկիչներին չի հաջողվում սողարկել իմ կայքը։ Ի՞նչ պետք է անեմ։
Կայքերի մեծ մասն ունի պաշտպանության մի քանի շերտ, որոնք սողարկիչը պետք է անցնի՝ վեբ էջը հաջողությամբ հասանելի դարձնելու համար։ Ձեր ինժեներական կամ անվտանգության թիմի հետ ստուգեք, որ OpenAI-ի սողարկիչները կարող են անցնել ստորև նշված բոլոր շերտերով։
1. robots.txt
robots.txt ֆայլը սողարկիչներին հայտնում է՝ արդյոք նրանց թույլատրված է մուտք գործել ձեր կայքի որոշակի բաժիններ։ OpenAI-ի սողարկիչները պահպանում են այս կանոնները։ Եթե robots.txt-ում մուտքն արգելված է, սողարկումն անմիջապես կդադարեցվի։
Վերանայեք ձեր robots.txt-ի կազմաձևումը և համոզվեք, որ OpenAI-ի սողարկիչներին հստակ թույլատրված է մուտք գործել համապատասխան էջեր ու ուղիներ։ Օրինակ՝ User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Վեբ պաշտպանություն և բոտերի գործունեության սահմանափակում
Շատ կայքեր DDoS հարձակումներից, տվյալների քերումից և չարտոնված տրաֆիկից պաշտպանվելու համար օգտագործում են Cloudflare, Akamai կամ վեբ պաշտպանության այլ մատակարարների ծառայությունները։ Այս համակարգերը կարող են սխալմամբ արգելափակել օրինական սողարկիչները՝ հաճախ վերադարձնելով 403 Forbidden սխալ։ Քանի որ OpenAI-ի սողարկիչները կարող են նմանվել ավտոմատացված տրաֆիկի, դրանց մուտքը կարող է մերժվել, եթե դրանք հատուկ ներառված չեն թույլատրվածների ցանկում։
Վերանայեք վեբ պաշտպանության կամ firewall-ի կազմաձևումը և հնարավորության դեպքում OpenAI-ի սողարկիչների տրաֆիկը ներառեք թույլատրվածների ցանկում՝ ցանկալի է՝ ըստ մեր սողարկիչների user agent-ների։ Ձեր ինժեներական կամ ենթակառուցվածքների թիմը պետք է նաև ստուգի բոտերի գործունեությունը սահմանափակող ավտոմատացված կանոնները, որոնք կարող են կեղծ դրական արդյունքներ առաջացնել։
3. Մարդու հաստատում և բոտերի դեմ տրամաբանություն
Որոշ կայքեր հավելվածի մակարդակում կիրառում են լրացուցիչ ստուգումներ՝ հաստատելու, որ այցելուն մարդ է, օրինակ՝ CAPTCHA-ներ, JavaScript առաջադրանքներ, վարքագծի վերլուծություն կամ աշխատաշրջանի վավերացում։ Քանի որ OpenAI-ի սողարկիչներն ավտոմատացված համակարգեր են, այս ստուգումները կարող են արգելափակել մուտքը, նույնիսկ եթե սողարկիչը հաջողությամբ անցել է նախորդ շերտերը։
Վերանայեք ձեր հավելվածում ներդրված՝ մարդու հաստատման կամ ավտոմատացման դեմ տրամաբանությունը և անհրաժեշտության դեպքում OpenAI-ի սողարկիչների համար բացառություն սահմանեք՝ ցանկալի է՝ մեր սողարկիչների user agent-ները թույլատրվածների ցանկում ներառելով։
Նշում կայուն IP տիրույթների մասին
Անվտանգության որոշ համակարգեր պահանջում են, որ սողարկիչների տրաֆիկը գա կայուն, հրապարակայնորեն փաստաթղթավորված IP տիրույթներից, որպեսզի այն հնարավոր լինի հուսալիորեն ներառել թույլատրվածների ցանկում։ Քանի որ սողարկիչների ենթակառուցվածքը ժամանակի ընթացքում կարող է զարգանալ, ձեր ինժեներական թիմը չպետք է հիմնվի միայն մատյաններում գրանցված կարճաժամկետ IP դիտարկումների վրա։ Փոխարենը տրաֆիկը ստուգեք՝ համատեղելով user agent-ի նույնականացումը, աջակցվող դեպքերում՝ հաստատված բոտերի ծրագրերը, firewall-ի թույլատրվածների ցանկերը, robots.txt-ի վարքագիծը և մատակարարի մակարդակով բոտերի ստուգման համակարգերը։
Եթե պարտադիր պետք է թույլատրեք IP տիրույթների կայուն ցանկ, օգտվեք https://openai.com/searchbot.json և https://openai.com/adsbot.json հղումներից։
Նշում հարցումների հաճախականության սահմանափակման մասին
Մեծ խմբաքանակների վերբեռնումը կամ սողարկիչների տրաֆիկի կտրուկ աճը երբեմն կարող է գործարկել հարցումների հաճախականության ավտոմատ սահմանափակում կամ բոտերից պաշտպանության համակարգեր։
Եթե կասկածում եք, որ հարցումների հաճախականությունը սահմանափակվում է, խնդրեք ձեր ինժեներական թիմին ստուգել HTTP պատասխանի կոդերը, հատկապես՝ 429 Too Many Requests-ը, firewall-ի կամ CDN-ի մատյանները, բոտերի սահմանափակման իրադարձությունները, հարցումների հաճախականության սահմանափակման կանոնները և տրաֆիկի վերլուծական տվյալները սողարկիչի մուտքի փորձի ժամանակահատվածում։ Դա կարող է օգնել պարզել՝ արդյոք հարցումները ենթակառուցվածքային պաշտպանության միջոցներով միտումնավոր դանդաղեցվում կամ արգելափակվում են։
Կարող եք նաև գովազդները վերբեռնել ավելի փոքր խմբաքանակներով և ավելի երկար ժամանակահատվածում։
Նշում Cloudflare-ի մասին
OAI-AdsBot-ը պաշտոնապես հաստատված և Cloudflare-ի թույլատրվածների ցանկում ներառված է։
Հաճախ տրվող հարցեր սողարկիչների և նպատակային էջերի մասին
Ո՞ր սողարկիչն է անհրաժեշտ գովազդների ստուգման համար։
OAI-AdsBot-ն անհրաժեշտ է ChatGPT-ի գովազդների նպատակային էջերը վավերացնելու և ստուգելու համար։ OAI-SearchBot-ը խորհուրդ է տրվում, քանի որ այն կարող է օգնել OpenAI-ին հասկանալ հանրային վեբ բովանդակությունը, սակայն գովազդի պատրաստությունն ապահովելու համար գովազդատուները պետք է առաջնահերթություն տան OAI-AdsBot-ին։
Կարո՞ղ է աջակցման թիմը ձեռքով շրջանցել սողարկիչի վավերացումը։
Մի՛ ապավինեք ձեռքով շրջանցմանը։ Նպատակային էջը հասանելի դարձրեք OAI-AdsBot-ի սողարկման համար՝ շտկելով robots.txt-ի, WAF-ի, CDN-ի, բոտերի սահմանափակման, նույնականացման և հարցումների հաճախականության սահմանափակման արգելափակումները։ Երբ նպատակային էջը հասանելի դառնա, գովազդները կարող է անհրաժեշտ լինել կրկին վերբեռնել կամ ստուգման ներկայացնել։
Ի՞նչ պետք է առաջինը ստուգի իմ ինժեներական թիմը։
Ստուգեք՝ արդյոք նպատակային էջը OAI-AdsBot-ին վերադարձնում է հաջող HTTP պատասխան, robots.txt-ը թույլատրում է համապատասխան ուղին, և WAF-ը, CDN-ը, բոտերի սահմանափակումը, JavaScript առաջադրանքները, CAPTCHA-ները, նույնականացումը կամ աշխարհագրական կանոններն արգելափակում են ավտոմատացված մուտքը։
Հավելվածների խանութների հղումները, խորքային հղումները կամ ոչ վեբ նպատակակետերն աջակցվո՞ւմ են որպես նպատակային էջեր։
Հնարավորության դեպքում օգտագործեք անմիջապես հասանելի վեբ նպատակային էջ։ Հավելվածների խանութների հղումները, խորքային հղումները, փաստաթղթերը կամ այն նպատակակետերը, որոնք պահանջում են հավելված, մուտք, տարածաշրջանային հասանելիություն կամ չաջակցվող վերահղումներ, կարող են վավերացման կամ ստուգման համար բավարար սողարկվող բովանդակություն չտրամադրել։
Ե՞րբ պետք է կրկին վերբեռնեմ կամ նորից ստուգում պահանջեմ։
Սողարկիչի հասանելիությունը շտկելուց հետո կրկին վերբեռնեք կամ ներկայացրեք խնդրահարույց գովազդները, եթե կարգավիճակն ինքնուրույն չի թարմացվում։ Զանգվածաբար վերբեռնվող գովազդների դեպքում փոքր խմբաքանակները կարող են նվազեցնել հարցումների հաճախականության սահմանափակման կամ բոտերից պաշտպանության գործարկման հավանականությունը, մինչ ձեր թիմը ստուգում է շտկումը։