OpenAI သည် ဝဘ်ခရော်လာများကို ဘာကြောင့် အသုံးပြုသလဲ။
ChatGPT ပေါ်တွင် ကြော်ငြာအဖြစ် တင်သွင်းထားသော ဝဘ်စာမျက်နှာများ၏ ဘေးကင်းလုံခြုံမှုကို စစ်ဆေးရန် ခရော်လာများကို ကျွန်ုပ်တို့ အသုံးပြုပါသည်။ သင် ကြော်ငြာတစ်ခု တင်သွင်းသည့်အခါ ၎င်းသည် ကျွန်ုပ်တို့၏ မူဝါဒများနှင့် ကိုက်ညီကြောင်း သေချာစေရန် OpenAI က landing page သို့ ဝင်ရောက်ကြည့်ရှုနိုင်ပါသည်။ ကြော်ငြာကို သုံးစွဲသူများထံ ပြသရန် အကိုက်ညီဆုံးအချိန်ကို သတ်မှတ်ရာတွင်လည်း landing page မှ အကြောင်းအရာကို ကျွန်ုပ်တို့ အသုံးပြုနိုင်ပါသည်။
မည်သည့် OpenAI ခရော်လာများကို ခွင့်ပြုသင့်သလဲ။
OAI-AdsBot ကို မဖြစ်မနေ ခွင့်ပြုရမည်။ OAI-AdsBot နှင့် OAI-SearchBot နှစ်ခုစလုံးကို ခွင့်ပြုရန် ကျွန်ုပ်တို့ အကြံပြုပါသည်။
OpenAI ခရော်လာများသည် ကျွန်ုပ်၏ ဝဘ်ဆိုက်ကို ခရော်လ်လုပ်၍ မရပါ။ ကျွန်ုပ် ဘာလုပ်သင့်သလဲ။
ဝဘ်ဆိုက်အများစုတွင် ခရော်လာတစ်ခုက ဝဘ်စာမျက်နှာကို အောင်မြင်စွာ ဝင်ရောက်မရယူနိုင်မီ ကာကွယ်ရေးအဆင့်များစွာ ရှိတတ်သည်။ အောက်ပါ အဆင့်တစ်ခုစီကို OpenAI ခရော်လာများ ဖြတ်ကျော်နိုင်ကြောင်း အတည်ပြုရန် သင်၏ အင်ဂျင်နီယာ သို့မဟုတ် လုံခြုံရေးအဖွဲ့နှင့် ပူးပေါင်းလုပ်ဆောင်ပါ။
1. robots.txt
robots.txt ဖိုင်သည် သင့်ဝဘ်ဆိုက်၏ အချို့အစိတ်အပိုင်းများကို ခရော်လာများ ဝင်ရောက်ခွင့်ရှိမရှိကို ပြောပြသည်။ OpenAI ခရော်လာများသည် ဤစည်းမျဉ်းများကို လိုက်နာပါသည်။ robots.txt တွင် ဝင်ရောက်ခွင့်ကို တားမြစ်ထားပါက ခရော်လ်လုပ်ခြင်းသည် ချက်ချင်း ရပ်တန့်သွားမည်။
သင်၏ robots.txt ဖွဲ့စည်းပုံကို ပြန်လည်စစ်ဆေးပြီး OpenAI ခရော်လာများကို သက်ဆိုင်ရာ စာမျက်နှာများနှင့် path များ ဝင်ရောက်ခွင့်ပြုထားကြောင်း အတည်ပြုပါ။ ဥပမာ- User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ဝဘ်ကာကွယ်ရေးနှင့် bot ကာကွယ်ထိန်းချုပ်မှု
ဝဘ်ဆိုက်များစွာသည် DDoS တိုက်ခိုက်မှုများ၊ scraping နှင့် ခွင့်ပြုချက်မရှိသော traffic ကို ကာကွယ်ရန် Cloudflare၊ Akamai သို့မဟုတ် အခြား ဝဘ်ကာကွယ်ရေးပေးသူများကဲ့သို့သော ဝန်ဆောင်မှုများကို အသုံးပြုကြသည်။ ဤစနစ်များသည် တရားဝင်ခရော်လာများကို မှားယွင်းစွာ ပိတ်ဆို့နိုင်ပြီး မကြာခဏ 403 Forbidden အမှားများကို ပြန်ပို့တတ်သည်။ OpenAI ခရော်လာများသည် အလိုအလျောက် traffic ပုံစံများနှင့် ဆင်တူနိုင်သောကြောင့် သီးခြား allowlist မထည့်ထားပါက ဝင်ရောက်ခွင့် ငြင်းပယ်ခံရနိုင်သည်။
သင်၏ ဝဘ်ကာကွယ်ရေး သို့မဟုတ် firewall ဖွဲ့စည်းပုံကို ပြန်လည်စစ်ဆေးပြီး ဖြစ်နိုင်ပါက OpenAI ခရော်လာ traffic ကို allowlist ထည့်ပါ။ အကောင်းဆုံးမှာ ကျွန်ုပ်တို့၏ crawler user agent များကို အခြေခံရန်ဖြစ်သည်။ သင်၏ အင်ဂျင်နီယာ သို့မဟုတ် အခြေခံအဆောက်အအုံအဖွဲ့သည် false positive ဖြစ်စေနိုင်သည့် အလိုအလျောက် bot ကာကွယ်ထိန်းချုပ်မှု စည်းမျဉ်းများကိုလည်း စစ်ဆေးသင့်သည်။
3. လူဖြစ်ကြောင်း အတည်ပြုခြင်းနှင့် anti-bot logic
အချို့ဝဘ်ဆိုက်များသည် လာရောက်သူသည် လူဖြစ်ကြောင်း အတည်ပြုရန် application အဆင့် စစ်ဆေးမှုများ ထပ်မံအသုံးပြုကြသည်။ ဥပမာ CAPTCHAs၊ JavaScript challenges၊ အပြုအမူ ခွဲခြမ်းစိတ်ဖြာမှု သို့မဟုတ် session အတည်ပြုခြင်းတို့ ဖြစ်သည်။ OpenAI ခရော်လာများသည် အလိုအလျောက်စနစ်များ ဖြစ်သောကြောင့် ခရော်လာသည် အစောပိုင်းအဆင့်များကို အောင်မြင်စွာ ဖြတ်ကျော်ပြီးလျှင်ပင် ဤစစ်ဆေးမှုများက ဝင်ရောက်ခွင့်ကို ပိတ်ဆို့နိုင်သည်။
သင်၏ application အတွင်း အသုံးပြုထားသော လူဖြစ်ကြောင်းအတည်ပြုမှု သို့မဟုတ် အလိုအလျောက်စနစ်ကာကွယ်ရေး logic များကို ပြန်လည်စစ်ဆေးပြီး သင့်လျော်သည့်နေရာတွင် OpenAI ခရော်လာများကို ကင်းလွတ်ခွင့်ပေးထားကြောင်း သေချာစေပါ။ အကောင်းဆုံးမှာ ကျွန်ုပ်တို့၏ crawler user agent များကို allowlist ထည့်ခြင်းဖြစ်သည်။
တည်ငြိမ်သော IP range များနှင့်ပတ်သက်သည့် မှတ်ချက်
အချို့သော လုံခြုံရေးစနစ်များတွင် traffic ကို ယုံကြည်စိတ်ချစွာ allowlist ထည့်နိုင်ရန် ခရော်လာ traffic သည် တည်ငြိမ်ပြီး အများပြည်သူအတွက် မှတ်တမ်းတင်ဖော်ပြထားသော IP range များမှ လာရောက်ရန် လိုအပ်သည်။ ခရော်လာ အခြေခံအဆောက်အအုံသည် အချိန်ကြာလာသည်နှင့်အမျှ ပြောင်းလဲနိုင်သောကြောင့် သင်၏ အင်ဂျင်နီယာအဖွဲ့သည် logs မှ ကာလတို IP တွေ့ရှိချက်များကိုသာ အားမကိုးသင့်ပါ။ အစား traffic ကို user-agent ခွဲခြားသတ်မှတ်မှု၊ ပံ့ပိုးထားပါက verified bot ပရိုဂရမ်များ၊ firewall allowlist များ၊ robots.txt အပြုအမူနှင့် provider အဆင့် bot အတည်ပြုရေးစနစ်များ ပေါင်းစပ်၍ အတည်ပြုပါ။
တည်ငြိမ်သော IP range စာရင်းကို မဖြစ်မနေ ခွင့်ပြုရမည်ဆိုပါက https://openai.com/searchbot.json နှင့် https://openai.com/adsbot.json ကို ကိုးကားပါ။
နှုန်းထားကန့်သတ်ချက်နှင့်ပတ်သက်သည့် မှတ်ချက်
အကြီးစား batch upload များ သို့မဟုတ် ခရော်လာ traffic ရုတ်တရက် မြင့်တက်မှုများသည် တစ်ခါတစ်ရံ အလိုအလျောက် နှုန်းထားကန့်သတ်ချက် သို့မဟုတ် bot ကာကွယ်ရေးစနစ်များကို ဖြစ်ပေါ်စေနိုင်သည်။
နှုန်းထားကန့်သတ်ချက် ဖြစ်နေသည်ဟု သင် သံသယရှိပါက ခရော်လာက ဝင်ရောက်ရန် ကြိုးစားခဲ့သည့် အချိန်အနီးတစ်ဝိုက်ရှိ HTTP response code များ၊ အထူးသဖြင့် 429 Too Many Requests၊ firewall သို့မဟုတ် CDN logs၊ bot mitigation event များ၊ request throttling rule များနှင့် traffic analytics များကို ပြန်လည်စစ်ဆေးရန် သင်၏ အင်ဂျင်နီယာအဖွဲ့ကို တောင်းဆိုပါ။ ဤအရာက requests များကို အခြေခံအဆောက်အအုံကာကွယ်ရေးများက ရည်ရွယ်ချက်ရှိရှိ နှေးကွေးစေခြင်း သို့မဟုတ် ပိတ်ဆို့ခြင်း ရှိမရှိ ဖော်ထုတ်ရာတွင် ကူညီနိုင်သည်။
ကြော်ငြာများကို ပိုမိုကြာရှည်သော အချိန်ကာလအတွင်း batch အသေးများဖြင့် upload လုပ်ရန်လည်း စဉ်းစားနိုင်ပါသည်။
Cloudflare နှင့်ပတ်သက်သည့် မှတ်ချက်
OAI-AdsBot ကို Cloudflare က တရားဝင် အတည်ပြုထားပြီး allowlist ထည့်ထားပါသည်။
ခရော်လာနှင့် landing page FAQ
ကြော်ငြာစိစစ်မှုအတွက် မည်သည့်ခရော်လာ လိုအပ်သလဲ။
ChatGPT Ads landing page အတည်ပြုခြင်းနှင့် စိစစ်ခြင်းအတွက် OAI-AdsBot လိုအပ်သည်။ OAI-SearchBot သည် OpenAI အနေဖြင့် အများပြည်သူဆိုင်ရာ ဝဘ်အကြောင်းအရာကို နားလည်ရာတွင် ကူညီနိုင်သောကြောင့် အကြံပြုထားသော်လည်း ကြော်ငြာရှင်များက ကြော်ငြာအဆင်သင့်ဖြစ်မှုအတွက် ဦးစားပေးသင့်သော ခရော်လာမှာ OAI-AdsBot ဖြစ်သည်။
support အဖွဲ့သည် ခရော်လာအတည်ပြုမှုကို လက်ဖြင့် ကျော်ဖြတ်ပေးနိုင်သလား။
လက်ဖြင့် ကျော်ဖြတ်ပေးမှုကို အားမကိုးပါနှင့်။ robots.txt၊ WAF၊ CDN၊ bot mitigation၊ authentication နှင့် နှုန်းထားကန့်သတ်ချက်ဆိုင်ရာ ပိတ်ဆို့မှုများကို ပြင်ဆင်ခြင်းဖြင့် landing page ကို OAI-AdsBot က ခရော်လ်လုပ်နိုင်အောင် ပြုလုပ်ပါ။ landing page ကို ဝင်ရောက်နိုင်လာပြီးနောက် ကြော်ငြာများကို စိစစ်ရန် ပြန်လည် upload လုပ်ရန် သို့မဟုတ် ပြန်လည်တင်သွင်းရန် လိုအပ်နိုင်သည်။
ကျွန်ုပ်၏ အင်ဂျင်နီယာအဖွဲ့က ပထမဆုံး ဘာကို စစ်ဆေးသင့်သလဲ။
landing page သည် OAI-AdsBot ထံသို့ အောင်မြင်သော HTTP response ပြန်ပို့မပို့၊ robots.txt က သက်ဆိုင်ရာ path ကို ခွင့်ပြုမပြု၊ WAF၊ CDN၊ bot mitigation၊ JavaScript challenges၊ CAPTCHAs၊ authentication သို့မဟုတ် geo rules များက အလိုအလျောက် ဝင်ရောက်မှုကို ပိတ်ဆို့မပိတ်ဆို့ စစ်ဆေးပါ။
app-store link များ၊ deep link များ သို့မဟုတ် ဝဘ်မဟုတ်သော destination များကို landing page အဖြစ် ပံ့ပိုးထားပါသလား။
ဖြစ်နိုင်သည့်အခါတိုင်း တိုက်ရိုက်ဝင်ရောက်နိုင်သော web landing page ကို အသုံးပြုပါ။ app-store link များ၊ deep link များ၊ စာရွက်စာတမ်းများ သို့မဟုတ် app၊ login၊ ဒေသအလိုက် ဝင်ရောက်ခွင့် သို့မဟုတ် မပံ့ပိုးထားသော redirect များ လိုအပ်သည့် destination များသည် အတည်ပြုခြင်း သို့မဟုတ် စိစစ်ခြင်းအတွက် ခရော်လ်လုပ်နိုင်သော အကြောင်းအရာ လုံလောက်စွာ မပေးနိုင်ပါ။
မည်သည့်အချိန်တွင် ပြန်လည် upload လုပ်သင့် သို့မဟုတ် review ပြန်တောင်းဆိုသင့်သလဲ။
ခရော်လာဝင်ရောက်ခွင့်ကို ပြင်ဆင်ပြီးနောက် status သည် အလိုအလျောက် မပြောင်းလဲပါက သက်ရောက်မှုရှိသော ကြော်ငြာများကို ပြန်လည် upload လုပ်ပါ သို့မဟုတ် ပြန်လည်တင်သွင်းပါ။ bulk upload လုပ်ထားသော ကြော်ငြာများအတွက် သင့်အဖွဲ့က ပြင်ဆင်ချက်ကို အတည်ပြုနေစဉ် batch အသေးများဖြင့် လုပ်ဆောင်ခြင်းသည် နှုန်းထားကန့်သတ်ချက် သို့မဟုတ် bot-protection trigger များကို လျှော့ချနိုင်သည်။