Ինչո՞ւ է OpenAI-ն օգտագործում վեբ քրոլերներ։
Մենք օգտագործում ենք քրոլերներ՝ ստուգելու ChatGPT-ում որպես գովազդ ներկայացված վեբ էջերի անվտանգությունը։ Երբ գովազդ եք ներկայացնում, OpenAI-ն կարող է այցելել նպատակային էջը՝ համոզվելու, որ այն համապատասխանում է մեր քաղաքականություններին։ Մենք կարող ենք նաև օգտագործել նպատակային էջի բովանդակությունը՝ որոշելու համար, թե երբ է գովազդը օգտատերերին ցուցադրելը առավել տեղին։
OpenAI-ի ո՞ր քրոլերները պետք է թույլատրեք։
Պետք է թույլատրեք OAI-AdsBot-ը։ Խորհուրդ ենք տալիս թույլատրել և՛ OAI-AdsBot-ը, և՛ OAI-SearchBot-ը։
OpenAI-ի քրոլերներին չի հաջողվում սքանավորել իմ կայքը։ Ի՞նչ պետք է անեմ։
Կայքերի մեծ մասն ունի պաշտպանության մի քանի շերտ, որոնք պետք է անցնի քրոլերը՝ վեբ էջին հաջողությամբ հասանելիություն ստանալու համար։ Աշխատեք ձեր ինժեներական կամ անվտանգության թիմի հետ՝ ստուգելու, որ OpenAI-ի քրոլերները կարող են անցնել ստորև նշված յուրաքանչյուր շերտով։
1. robots.txt
robots.txt ֆայլը քրոլերներին տեղեկացնում է՝ արդյոք նրանց թույլատրված է մուտք գործել ձեր կայքի որոշակի մասեր։ OpenAI-ի քրոլերները պահպանում են այս կանոնները։ Եթե robots.txt-ում մուտքն արգելված է, սքանավորումը անմիջապես կդադարեցվի։
Վերանայեք ձեր robots.txt կարգավորումները և հաստատեք, որ OpenAI-ի քրոլերներին հստակ թույլատրված է մուտք գործել համապատասխան էջեր ու ուղիներ։ Օրինակ՝ User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Վեբ պաշտպանություն և բոտերի զսպում
Շատ կայքեր օգտագործում են Cloudflare, Akamai կամ վեբ պաշտպանության այլ մատակարարների ծառայություններ՝ DDoS հարձակումներից, սքրեյփինգից և չարտոնված թրաֆիկից պաշտպանվելու համար։ Այս համակարգերը կարող են սխալմամբ արգելափակել օրինական քրոլերներին՝ հաճախ վերադարձնելով 403 Forbidden սխալներ։ Քանի որ OpenAI-ի քրոլերները կարող են նմանվել ավտոմատացված թրաֆիկի ձևաչափերին, դրանք կարող են մերժվել, եթե հատուկ չավելացվեն թույլատրվածների ցանկում։
Վերանայեք ձեր վեբ պաշտպանության կամ firewall-ի կարգավորումները և հնարավորության դեպքում OpenAI-ի քրոլերների թրաֆիկը ավելացրեք թույլատրվածների ցանկում՝ ցանկալի է մեր քրոլերների user agent-ների հիման վրա։ Ձեր ինժեներական կամ ենթակառուցվածքների թիմը պետք է նաև ստուգի բոտերի ավտոմատ զսպման այն կանոնները, որոնք կարող են կեղծ դրական արդյունքներ առաջացնել։
3. Մարդու հաստատում և հակաբոտ տրամաբանություն
Որոշ կայքեր կիրառում են հավելվածի մակարդակի լրացուցիչ ստուգումներ՝ հաստատելու, որ այցելուն մարդ է, օրինակ՝ CAPTCHA-ներ, JavaScript մարտահրավերներ, վարքագծային վերլուծություն կամ սեսիայի վավերացում։ Քանի որ OpenAI-ի քրոլերները ավտոմատացված համակարգեր են, այս ստուգումները կարող են արգելափակել մուտքը նույնիսկ այն դեպքում, երբ քրոլերը հաջողությամբ անցել է նախորդ շերտերը։
Վերանայեք ձեր հավելվածում իրականացված մարդու հաստատման կամ հակաավտոմատացման տրամաբանությունը և համոզվեք, որ անհրաժեշտ դեպքերում OpenAI-ի քրոլերների համար բացառություն է արված՝ ցանկալի է մեր քրոլերների user agent-ները թույլատրվածների ցանկում ավելացնելով։
Նշում կայուն IP միջակայքերի մասին
Որոշ անվտանգության համակարգեր պահանջում են, որ քրոլերների թրաֆիկը գա կայուն, հրապարակայնորեն փաստաթղթավորված IP միջակայքերից, որպեսզի այն հնարավոր լինի հուսալիորեն ավելացնել թույլատրվածների ցանկում։ Քանի որ քրոլերների ենթակառուցվածքը ժամանակի ընթացքում կարող է զարգանալ, ձեր ինժեներական թիմը չպետք է հենվի միայն լոգերից ստացված կարճաժամկետ IP դիտարկումների վրա։ Փոխարենը՝ վավերացրեք թրաֆիկը user-agent նույնականացման, հաստատված բոտ ծրագրերի (եթե աջակցվում են), firewall-ի թույլատրված ցանկերի, robots.txt-ի վարքագծի և մատակարարի մակարդակի բոտերի վավերացման համակարգերի համադրությամբ։
Եթե պետք է թույլատրեք IP միջակայքերի կայուն ցանկ, օգտվեք https://openai.com/searchbot.json և https://openai.com/adsbot.json հղումներից։
Նշում սահմանաչափերի մասին
Մեծածավալ խմբաքանակային վերբեռնումները կամ քրոլերների թրաֆիկի հանկարծակի աճերը երբեմն կարող են գործարկել ավտոմատ սահմանաչափեր կամ բոտերից պաշտպանության համակարգեր։
Եթե կասկածում եք, որ սահմանաչափեր են կիրառվում, խնդրեք ձեր ինժեներական թիմին վերանայել HTTP պատասխանի կոդերը, հատկապես 429 Too Many Requests-ը, firewall-ի կամ CDN-ի լոգերը, բոտերի զսպման իրադարձությունները, հարցումների սահմանափակման կանոնները և թրաֆիկի վերլուծությունը այն ժամանակահատվածում, երբ քրոլերը փորձել է մուտք գործել։ Սա կարող է օգնել պարզել՝ արդյոք հարցումները միտումնավոր դանդաղեցվում կամ արգելափակվում են ենթակառուցվածքային պաշտպանությունների կողմից։
Կարող եք նաև դիտարկել գովազդները ավելի երկար ժամանակահատվածում՝ փոքր խմբաքանակներով վերբեռնելու տարբերակը։
Նշում Cloudflare-ի մասին
OAI-AdsBot-ը պաշտոնապես վավերացված և թույլատրվածների ցանկում ներառված է Cloudflare-ի կողմից։
Քրոլերների և նպատակային էջերի ՀՏՀ
Ո՞ր քրոլերն է պահանջվում գովազդի ստուգման համար։
OAI-AdsBot-ը պահանջվում է ChatGPT Ads-ի նպատակային էջի վավերացման և ստուգման համար։ OAI-SearchBot-ը խորհուրդ է տրվում, քանի որ այն կարող է օգնել OpenAI-ին հասկանալ հանրային վեբ բովանդակությունը, սակայն գովազդատուները գովազդների պատրաստության համար պետք է առաջնահերթություն տան OAI-AdsBot քրոլերին։
Կարո՞ղ է աջակցման թիմը ձեռքով շրջանցել քրոլերի վավերացումը։
Մի ապավինեք ձեռքով շրջանցմանը։ Նպատակային էջը հասանելի դարձրեք OAI-AdsBot-ի համար՝ ուղղելով robots.txt-ի, WAF-ի, CDN-ի, բոտերի զսպման, նույնականացման և սահմանաչափերի արգելափակումները։ Նպատակային էջը հասանելի դառնալուց հետո գովազդները կարող է անհրաժեշտ լինել կրկին վերբեռնել կամ նորից ներկայացնել ստուգման։
Ի՞նչը պետք է իմ ինժեներական թիմը նախ ստուգի։
Ստուգեք՝ արդյոք նպատակային էջը հաջող HTTP պատասխան է վերադարձնում OAI-AdsBot-ին, արդյոք robots.txt-ը թույլատրում է համապատասխան ուղին, և արդյոք WAF-ը, CDN-ը, բոտերի զսպումը, JavaScript մարտահրավերները, CAPTCHA-ները, նույնականացումը կամ աշխարհագրական կանոնները չեն արգելափակում ավտոմատացված մուտքը։
Արդյո՞ք app store-ի հղումները, deep link-երը կամ ոչ վեբ ուղղությունները աջակցվում են որպես նպատակային էջեր։
Հնարավորության դեպքում օգտագործեք ուղղակիորեն հասանելի վեբ նպատակային էջ։ App store-ի հղումները, deep link-երը, փաստաթղթերը կամ այն ուղղությունները, որոնք պահանջում են հավելված, մուտք, տարածաշրջանային հասանելիություն կամ չաջակցվող վերահղումներ, կարող են բավարար՝ քրոլերի համար հասանելի բովանդակություն չտրամադրել վավերացման կամ ստուգման համար։
Ե՞րբ պետք է կրկին վերբեռնեմ կամ նորից ստուգում խնդրեմ։
Քրոլերի մուտքի խնդիրները շտկելուց հետո կրկին վերբեռնեք կամ նորից ներկայացրեք ազդված գովազդները, եթե կարգավիճակն ինքնուրույն չի թարմացվում։ Զանգվածաբար վերբեռնված գովազդների դեպքում փոքր խմբաքանակները կարող են նվազեցնել սահմանաչափի կամ բոտերից պաշտպանության գործարկումները, մինչ ձեր թիմը վավերացնում է շտկումը։