OpenAI яагаад вэб мөлхөгч ашигладаг вэ?
Бид ChatGPT-д зар болгон оруулсан вэб хуудсуудын аюулгүй байдлыг шалгахын тулд мөлхөгч ашигладаг. Таныг зар оруулахад OpenAI очих хуудсыг манай бодлогод нийцэж буй эсэхийг шалгах зорилгоор үзэж болно. Мөн зарыг хэрэглэгчдэд хэзээ харуулах нь хамгийн тохиромжтойг тогтоохын тулд очих хуудасны агуулгыг ашиглаж болно.
OpenAI-ийн аль мөлхөгчийг зөвшөөрөх хэрэгтэй вэ?
Та OAI-AdsBot-ыг заавал зөвшөөрөх ёстой. OAI-AdsBot болон OAI-SearchBot-ыг хоёуланг нь зөвшөөрөхийг зөвлөж байна.
Бүтээгдэхүүний мэдээллийн сувгийн хувьд бүтээгдэхүүний зургийн URL-уудыг мөлхөн шалгах эрхийг OAI-SearchBot-д мөн олгоно уу. Зураг байршуулсан хостын галт хана, CDN болон ботын хамгаалалтын дүрмийг шалгана уу. 403 хариу нь мэдээллийн сувгийн боловсруулалтыг хааж болно.
OpenAI-ийн мөлхөгчид миний вэбсайтад хандаж чадсангүй. Би яах ёстой вэ?
Ихэнх вэбсайт мөлхөгчийг вэб хуудсанд амжилттай хандахаас өмнө шалгах олон давхар хамгаалалттай байдаг. OpenAI-ийн мөлхөгчид дараах давхарга бүрээр нэвтэрч чадах эсэхийг инженерчлэл эсвэл аюулгүй байдлын багтайгаа хамтран шалгана уу.
1. robots.txt
robots.txt файл нь мөлхөгчид таны вэбсайтын тодорхой хэсэгт хандах зөвшөөрөлтэй эсэхийг заадаг. OpenAI-ийн мөлхөгчид эдгээр дүрмийг мөрддөг. Хэрэв robots.txt-д хандалтыг хориглосон бол мөлхөн шалгах ажиллагаа нэн даруй зогсоно.
robots.txt тохиргоогоо шалгаж, OpenAI-ийн мөлхөгчид холбогдох хуудас болон замд хандахыг илэрхий зөвшөөрсөн эсэхийг баталгаажуулна уу. Жишээ нь: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Вэб хамгаалалт ба ботын халдлагаас сэргийлэх
Олон вэбсайт DDoS халдлага, мэдээлэл хуулах ажиллагаа болон зөвшөөрөлгүй урсгалаас хамгаалахын тулд Cloudflare, Akamai зэрэг вэб хамгаалалтын үйлчилгээ ашигладаг. Эдгээр систем хууль ёсны мөлхөгчийг андуурч хаан, ихэвчлэн 403 Forbidden алдаа буцааж болно. OpenAI-ийн мөлхөгчид автомат урсгалтай төстэй харагддаг тул зөвшөөрөгдсөн жагсаалтад тусгайлан нэмээгүй бол хандалтыг нь хориглож болно.
Вэб хамгаалалт эсвэл галт ханын тохиргоогоо шалгаж, боломжтой бол OpenAI-ийн мөлхөгчийн урсгалыг зөвшөөрөгдсөн жагсаалтад нэмнэ үү. Манай мөлхөгчийн user agent-д тулгуурлах нь хамгийн тохиромжтой. Мөн инженерчлэл эсвэл дэд бүтцийн баг тань буруу эерэг илрүүлэлт үүсгэж болзошгүй ботын халдлагаас сэргийлэх автомат дүрмүүдийг шалгах хэрэгтэй.
3. Хүн мөн эсэхийг баталгаажуулах болон ботын эсрэг логик
Зарим вэбсайт зочин хүн мөн эсэхийг шалгахын тулд CAPTCHA, JavaScript сорилт, зан төлөвийн шинжилгээ эсвэл сесс баталгаажуулалт зэрэг аппын түвшний нэмэлт шалгалт хэрэгжүүлдэг. OpenAI-ийн мөлхөгчид автомат систем учраас өмнөх давхаргуудыг амжилттай давсан ч эдгээр шалгалт хандалтыг нь хааж болно.
Аппдаа хэрэгжүүлсэн хүн мөн эсэхийг баталгаажуулах болон автоматжуулалтын эсрэг логикийг шалгаж, шаардлагатай тохиолдолд OpenAI-ийн мөлхөгчдийг чөлөөлнө үү. Манай мөлхөгчийн user agent-уудыг зөвшөөрөгдсөн жагсаалтад нэмэх нь хамгийн тохиромжтой.
Тогтвортой IP мужийн тухай
Зарим аюулгүй байдлын систем мөлхөгчийн урсгалыг найдвартай зөвшөөрөхийн тулд нийтэд баримтжуулсан тогтвортой IP мужуудаас ирэхийг шаарддаг. Мөлхөгчийн дэд бүтэц цаг хугацааны явцад өөрчлөгдөж болох тул инженерчлэлийн баг тань логт богино хугацаанд ажиглагдсан IP-д дангаар нь найдахаас зайлсхийх хэрэгтэй. Үүний оронд user-agent таних, дэмждэг тохиолдолд баталгаажсан ботын хөтөлбөр, галт ханын зөвшөөрөгдсөн жагсаалт, robots.txt-ийн үйлдэл болон үйлчилгээ үзүүлэгчийн түвшний бот баталгаажуулах системийг хослуулан урсгалыг шалгана уу.
Хэрэв та IP мужийн тогтвортой жагсаалтыг заавал зөвшөөрөх шаардлагатай бол https://openai.com/searchbot.json болон https://openai.com/adsbot.json-ыг ашиглана уу.
Хүсэлтийн хурд хязгаарлах тухай
Олноор багцлан байршуулах эсвэл мөлхөгчийн урсгал гэнэт нэмэгдэх нь автомат хурдны хязгаарлалт эсвэл ботын хамгаалалтын системийг заримдаа өдөөж болно.
Хурдны хязгаарлалт үйлчилж байна гэж үзвэл мөлхөгч хандахыг оролдсон үеийн HTTP хариуны код, ялангуяа 429 Too Many Requests, галт хана эсвэл CDN-ийн лог, ботын халдлагаас сэргийлэх үйл явдал, хүсэлтийн хурд сааруулах дүрэм болон урсгалын шинжилгээг шалгахыг инженерчлэлийн багаасаа хүснэ үү. Ингэснээр дэд бүтцийн хамгаалалт хүсэлтийг зориудаар удаашруулж эсвэл хааж байгаа эсэхийг тогтооход тусална.
Мөн зарыг жижиг багц болгон илүү урт хугацаанд байршуулж болно.
Cloudflare-ийн тухай
OAI-AdsBot-ыг Cloudflare албан ёсоор баталгаажуулж, зөвшөөрөгдсөн жагсаалтдаа нэмсэн.
Мөлхөгч болон очих хуудасны түгээмэл асуултууд
Зар хянуулахад аль мөлхөгч шаардлагатай вэ?
ChatGPT зар сурталчилгааны очих хуудсыг баталгаажуулж, хянахад OAI-AdsBot шаардлагатай. OAI-SearchBot нь OpenAI-д нийтэд нээлттэй вэб агуулгыг ойлгоход тусалж болох тул зөвлөдөг. Гэхдээ зар сурталчилгааг бэлэн болгохын тулд сурталчлагчид OAI-AdsBot-ыг нэн тэргүүнд тавих хэрэгтэй.
Тусламжийн баг мөлхөгчийн баталгаажуулалтыг гараар алгасаж болох уу?
Гараар алгасах боломжид бүү найд. robots.txt, WAF, CDN, ботын халдлагаас сэргийлэх систем, нэвтрэлт танилт болон хурдны хязгаарлалтын хоригийг засаж, очих хуудсыг OAI-AdsBot мөлхөн шалгах боломжтой болгоно уу. Очих хуудас хандах боломжтой болсны дараа зарыг дахин байршуулж эсвэл хянуулахаар дахин илгээх шаардлагатай байж болно.
Манай инженерчлэлийн баг эхлээд юуг шалгах ёстой вэ?
Очих хуудас OAI-AdsBot-д амжилттай HTTP хариу буцааж буй эсэх, robots.txt холбогдох замыг зөвшөөрсөн эсэх, мөн WAF, CDN, ботын халдлагаас сэргийлэх систем, JavaScript сорилт, CAPTCHA, нэвтрэлт танилт эсвэл газарзүйн дүрэм автомат хандалтыг хааж буй эсэхийг шалгана уу.
Аппын дэлгүүрийн холбоос, deep link эсвэл вэб бус чиглэлийг очих хуудас болгон дэмждэг үү?
Боломжтой бол шууд хандах боломжтой вэб очих хуудас ашиглана уу. Аппын дэлгүүрийн холбоос, deep link, баримт бичиг эсвэл апп, нэвтрэх эрх, бүс нутгийн тусгай хандалт, дэмжигдээгүй дахин чиглүүлэлт шаарддаг чиглэл нь баталгаажуулалт эсвэл хяналтад хангалттай мөлхөн шалгах боломжтой агуулга өгөхгүй байж болно.
Хэзээ дахин байршуулж эсвэл дахин хянуулах хүсэлт гаргах вэ?
Мөлхөгчийн хандалтыг зассаны дараа төлөв өөрөө шинэчлэгдэхгүй бол нөлөөлөлд өртсөн зарыг дахин байршуулж эсвэл дахин илгээнэ үү. Олноор байршуулсан зарын хувьд танай баг засварыг баталгаажуулах зуур жижиг багцаар байршуулах нь хурдны хязгаарлалт эсвэл ботын хамгаалалт идэвхжих эрсдэлийг бууруулна.