OpenAI яагаад вэб кроулер ашигладаг вэ?
Бид ChatGPT дээр зар болгон илгээсэн вэб хуудсуудын аюулгүй байдлыг баталгаажуулахын тулд кроулерууд ашигладаг. Та зар илгээхэд OpenAI буух хуудсанд зочилж, манай бодлогод нийцэж байгаа эсэхийг шалгаж болно. Мөн бид тухайн зарыг хэрэглэгчдэд хэзээ харуулах нь хамгийн тохиромжтойг тодорхойлохын тулд буух хуудасны контентыг ашиглаж болно.
OpenAI-ийн аль кроулеруудыг зөвшөөрөх ёстой вэ?
Та OAI-AdsBot-ийг заавал зөвшөөрөх ёстой. OAI-AdsBot болон OAI-SearchBot хоёуланг нь зөвшөөрөхийг зөвлөж байна.
OpenAI-ийн кроулерууд миний вэбсайтыг мөлхөж чадсангүй. Би юу хийх ёстой вэ?
Ихэнх вэбсайт дээр кроулер вэб хуудсанд амжилттай хандахаас өмнө хэд хэдэн хамгаалалтын давхарга байдаг. OpenAI-ийн кроулерууд дараах давхарга бүрээр нэвтэрч чадаж байгаа эсэхийг инженерчлэл эсвэл аюулгүй байдлын багтайгаа хамт шалгаарай.
1. robots.txt
robots.txt файл нь кроулерууд таны вэбсайтын тодорхой хэсгүүдэд хандах зөвшөөрөлтэй эсэхийг заадаг. OpenAI-ийн кроулерууд эдгээр дүрмийг мөрддөг. Хэрэв robots.txt-д хандалтыг хориглосон бол мөлхөлт шууд зогсоно.
robots.txt тохиргоогоо шалгаж, OpenAI-ийн кроулерууд холбогдох хуудас болон замуудад хандахыг илт зөвшөөрсөн эсэхийг баталгаажуулна уу. Жишээ нь: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Вэб хамгаалалт ба ботын эрсдэлийг бууруулах
Олон вэбсайт DDoS халдлага, scraping болон зөвшөөрөлгүй урсгалаас хамгаалахын тулд Cloudflare, Akamai эсвэл бусад вэб хамгаалалтын үйлчилгээ үзүүлэгчийг ашигладаг. Эдгээр систем хууль ёсны кроулеруудыг андуурч хориглох боломжтой бөгөөд ихэвчлэн 403 Forbidden алдаа буцаадаг. OpenAI-ийн кроулерууд автоматжуулсан урсгалын хэв маягтай төстэй харагдаж болох тул тусгайлан зөвшөөрөгдсөн жагсаалтад оруулаагүй бол хандалтаас татгалзагдаж магадгүй.
Вэб хамгаалалт эсвэл firewall-ийн тохиргоогоо шалгаж, боломжтой бол OpenAI кроулерын урсгалыг, хамгийн тохиромжтой нь манай кроулерын user agent-д үндэслэн, зөвшөөрөгдсөн жагсаалтад оруулна уу. Мөн таны инженерчлэл эсвэл дэд бүтцийн баг хуурамч эерэг илрүүлэлт үүсгэж болзошгүй автомат ботын эрсдэлийг бууруулах дүрмүүдийг шалгах хэрэгтэй.
3. Хүн болохыг баталгаажуулах ба ботын эсрэг логик
Зарим вэбсайт зочин хүн мөн эсэхийг баталгаажуулахын тулд CAPTCHA, JavaScript сорилт, зан төлөвийн шинжилгээ эсвэл session баталгаажуулалт зэрэг application түвшний нэмэлт шалгалт хэрэгжүүлдэг. OpenAI-ийн кроулерууд автоматжуулсан систем тул өмнөх давхаргуудыг амжилттай давсан байсан ч эдгээр шалгалт хандалтыг хориглож болзошгүй.
Таны application дотор хэрэгжүүлсэн хүн-баталгаажуулалт эсвэл автоматжуулалтын эсрэг аливаа логикийг шалгаж, тохиромжтой тохиолдолд OpenAI-ийн кроулеруудыг чөлөөлсөн эсэхээ баталгаажуулна уу; хамгийн тохиромжтой нь манай кроулерын user agent-уудыг зөвшөөрөгдсөн жагсаалтад оруулах явдал юм.
Тогтвортой IP мужийн тухай тэмдэглэл
Зарим аюулгүй байдлын систем кроулерын урсгалыг найдвартай зөвшөөрөгдсөн жагсаалтад оруулахын өмнө тогтвортой, нийтэд баримтжуулсан IP мужуудаас ирэхийг шаарддаг. Кроулерын дэд бүтэц цаг хугацааны явцад өөрчлөгдөж болох тул таны инженерчлэлийн баг log-оос авсан богино хугацааны IP ажиглалтад дангаар найдахгүй байх хэрэгтэй. Үүний оронд user-agent таних, дэмжигддэг бол баталгаажсан ботын хөтөлбөрүүд, firewall-ийн зөвшөөрөгдсөн жагсаалт, robots.txt-ийн зан төлөв болон үйлчилгээ үзүүлэгчийн түвшний бот баталгаажуулалтын системүүдийг хослуулан урсгалыг баталгаажуулна уу.
Хэрэв тогтвортой IP мужийн жагсаалтыг заавал зөвшөөрөх шаардлагатай бол https://openai.com/searchbot.json болон https://openai.com/adsbot.json-оос лавлана уу.
Хурдны хязгаарын тухай тэмдэглэл
Их хэмжээний багц upload эсвэл кроулерын урсгалын огцом өсөлт нь заримдаа автомат хурдны хязгаар эсвэл бот хамгаалалтын системийг өдөөж болзошгүй.
Хэрэв хурдны хязгаар тавигдаж байна гэж сэжиглэвэл инженерчлэлийн багаасаа HTTP response code, ялангуяа 429 Too Many Requests, firewall эсвэл CDN log, ботын эрсдэлийг бууруулах event, хүсэлтийн throttling дүрэм болон кроулер хандахыг оролдсон үеийн traffic analytics-ийг шалгахыг хүснэ үү. Ингэснээр хүсэлтүүдийг дэд бүтцийн хамгаалалтаар зориуд удаашруулж эсвэл хориглож байгаа эсэхийг тодорхойлоход тусална.
Мөн заруудыг жижиг багцаар, илүү урт хугацаанд upload хийхийг бодолцож болно.
Cloudflare-ийн тухай тэмдэглэл
OAI-AdsBot нь Cloudflare-ээр албан ёсоор баталгаажсан бөгөөд зөвшөөрөгдсөн жагсаалтад орсон.
Кроулер ба буух хуудасны түгээмэл асуултууд
Зар хянахад аль кроулер шаардлагатай вэ?
ChatGPT Ads-ийн буух хуудсыг баталгаажуулах болон хянахад OAI-AdsBot шаардлагатай. OAI-SearchBot нь OpenAI-д нийтийн вэб контентыг ойлгоход тусалж болох тул зөвлөдөг боловч зар сурталчилгаа бэлэн эсэхэд сурталчлагчид OAI-AdsBot кроулерыг эн тэргүүнд тавих хэрэгтэй.
Дэмжлэгийн баг кроулерын баталгаажуулалтыг гараар тойрч болох уу?
Гараар тойрох боломжид найдах хэрэггүй. robots.txt, WAF, CDN, ботын эрсдэлийг бууруулах, authentication болон хурдны хязгаарлалтын хоригийг засаж, буух хуудсыг OAI-AdsBot мөлхөх боломжтой болгоно уу. Буух хуудас хандах боломжтой болсны дараа заруудыг дахин upload хийх эсвэл дахин хянуулахаар илгээх шаардлагатай байж болно.
Миний инженерчлэлийн баг эхлээд юуг шалгах ёстой вэ?
Буух хуудас OAI-AdsBot-д амжилттай HTTP хариу буцааж байгаа эсэх, robots.txt холбогдох замыг зөвшөөрч байгаа эсэх, мөн WAF, CDN, ботын эрсдэлийг бууруулах арга, JavaScript сорилт, CAPTCHA, authentication эсвэл geo дүрэм автомат хандалтыг хориглож байгаа эсэхийг шалгана уу.
App store холбоос, deep link эсвэл вэб бус чиглэлүүдийг буух хуудас болгон дэмждэг үү?
Боломжтой үед шууд хандах боломжтой вэб буух хуудас ашиглана уу. App store холбоос, deep link, баримт бичиг эсвэл апп, login, бүс нутгийн тусгай хандалт, эсвэл дэмжигдээгүй redirect шаарддаг чиглэлүүд нь баталгаажуулалт эсвэл хяналтад хангалттай мөлхөгдөх контент өгөхгүй байж болно.
Хэзээ дахин upload хийх эсвэл дахин хянуулах хүсэлт гаргах ёстой вэ?
Кроулерын хандалтыг зассаны дараа төлөв өөрөө шинэчлэгдэхгүй бол нөлөөлсөн заруудыг дахин upload хийх эсвэл дахин илгээнэ үү. Бөөнөөр upload хийсэн зарын хувьд жижиг багцууд нь танай баг засварыг баталгаажуулах явцад хурдны хязгаар эсвэл бот хамгаалалтыг өдөөх эрсдэлийг бууруулж болно.