Pse përdor OpenAI crawler-ë uebi?
Ne përdorim crawler-ë për të verifikuar sigurinë e faqeve të uebit që dorëzohen si reklama në ChatGPT. Kur dorëzoni një reklamë, OpenAI mund të vizitojë faqen e uljes për t’u siguruar që përputhet me politikat tona. Mund të përdorim edhe përmbajtje nga faqja e uljes për të përcaktuar kur është më e përshtatshme t’ua shfaqim reklamën përdoruesve.
Cilët crawler-ë të OpenAI duhet të lejoni?
Duhet të lejoni OAI-AdsBot. Rekomandojmë të lejoni si OAI-AdsBot, ashtu edhe OAI-SearchBot.
Crawler-ët e OpenAI nuk arrijnë të crawlojnë faqen time të internetit. Çfarë duhet të bëj?
Shumica e faqeve të internetit kanë disa shtresa mbrojtjeje para se një crawler të mund të hyjë me sukses në një faqe uebi. Punoni me ekipin tuaj të inxhinierisë ose të sigurisë për të verifikuar që crawler-ët e OpenAI mund të kalojnë nëpër secilën nga shtresat e mëposhtme.
1. robots.txt
Skedari robots.txt u tregon crawler-ëve nëse lejohen të hyjnë në pjesë të caktuara të faqes suaj të internetit. Crawler-ët e OpenAI i respektojnë këto rregulla. Nëse qasja është e ndaluar në robots.txt, crawling do të ndalet menjëherë.
Rishikoni konfigurimin e robots.txt dhe konfirmoni që crawler-ët e OpenAI lejohen shprehimisht të hyjnë në faqet dhe shtigjet përkatëse. Për shembull: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Mbrojtja e uebit dhe zbutja e botëve
Shumë faqe interneti përdorin shërbime si Cloudflare, Akamai ose ofrues të tjerë të mbrojtjes së uebit për t’u mbrojtur nga sulmet DDoS, scraping dhe trafiku i paautorizuar. Këto sisteme mund të bllokojnë gabimisht crawler-ë legjitimë, shpesh duke kthyer gabime 403 Forbidden. Meqë crawler-ët e OpenAI mund t’u ngjajnë modeleve të trafikut të automatizuar, ata mund të refuzohen nëse nuk futen posaçërisht në listën e lejimit.
Rishikoni konfigurimin e mbrojtjes së uebit ose të firewall-it dhe, kur është e mundur, futni në listën e lejimit trafikun e crawler-ëve të OpenAI, idealisht bazuar në user agent-ët e crawler-ëve tanë. Ekipi juaj i inxhinierisë ose i infrastrukturës duhet të inspektojë edhe çdo rregull të automatizuar për zbutjen e botëve që mund të shkaktojë rezultate pozitive të rreme.
3. Verifikimi njerëzor dhe logjika kundër botëve
Disa faqe interneti zbatojnë kontrolle shtesë në nivel aplikacioni për të verifikuar që vizitori është njeri, si CAPTCHA, sfida JavaScript, analizë sjelljeje ose validim sesioni. Meqë crawler-ët e OpenAI janë sisteme të automatizuara, këto kontrolle mund ta bllokojnë qasjen edhe nëse crawler-i ka kaluar me sukses shtresat e mëparshme.
Rishikoni çdo logjikë verifikimi njerëzor ose kundër automatizimit të zbatuar brenda aplikacionit tuaj dhe sigurohuni që crawler-ët e OpenAI të përjashtohen aty ku është e përshtatshme, idealisht duke futur në listën e lejimit user agent-ët e crawler-ëve tanë.
Shënim për intervalet e qëndrueshme të IP-ve
Disa sisteme sigurie kërkojnë që trafiku i crawler-ëve të vijë nga intervale IP-sh të qëndrueshme dhe të dokumentuara publikisht përpara se trafiku të mund të futet me besueshmëri në listën e lejimit. Meqë infrastruktura e crawler-ëve mund të evoluojë me kalimin e kohës, ekipi juaj i inxhinierisë duhet të shmangë mbështetjen vetëm te vëzhgimet afatshkurtra të IP-ve nga regjistrat. Në vend të kësaj, verifikoni trafikun përmes një kombinimi të identifikimit të user-agent-it, programeve të verifikuara të botëve kur mbështeten, listave të lejimit në firewall, sjelljes së robots.txt dhe sistemeve të verifikimit të botëve në nivel ofruesi.
Nëse duhet të lejoni një listë të qëndrueshme intervalesh IP, referojuni https://openai.com/searchbot.json dhe https://openai.com/adsbot.json.
Shënim për kufirin e normës
Ngarkimet e mëdha në grupe ose rritjet e papritura të trafikut të crawler-ëve ndonjëherë mund të aktivizojnë kufizim automatik të normës ose sisteme mbrojtjeje nga botët.
Nëse dyshoni se po ndodh kufizim i normës, kërkojini ekipit tuaj të inxhinierisë të rishikojë kodet e përgjigjes HTTP, sidomos 429 Too Many Requests, regjistrat e firewall-it ose CDN-së, ngjarjet e zbutjes së botëve, rregullat e frenimit të kërkesave dhe analizat e trafikut rreth kohës kur crawler-i tentoi qasjen. Kjo mund të ndihmojë të identifikohet nëse kërkesat po ngadalësohen ose bllokohen qëllimisht nga mbrojtjet e infrastrukturës.
Mund të merrni parasysh edhe ngarkimin e reklamave gjatë një periudhe më të gjatë, në grupe më të vogla.
Shënim për Cloudflare
OAI-AdsBot është verifikuar zyrtarisht dhe është futur në listën e lejimit nga Cloudflare.
Pyetje të shpeshta për crawler-ët dhe faqen e uljes
Cili crawler kërkohet për shqyrtimin e reklamave?
OAI-AdsBot kërkohet për validimin dhe shqyrtimin e faqeve të uljes të reklamave në ChatGPT Ads. OAI-SearchBot rekomandohet sepse mund ta ndihmojë OpenAI të kuptojë përmbajtjen publike të uebit, por OAI-AdsBot është crawler-i që reklamuesit duhet të prioritizojnë për gatishmërinë e reklamave.
A mund ta anashkalojë manualisht mbështetja validimin e crawler-it?
Mos u mbështetni në një anashkalim manual. Bëjeni faqen e uljes të crawlueshme për OAI-AdsBot duke rregulluar bllokimet nga robots.txt, WAF, CDN, zbutja e botëve, autentikimi dhe kufizimi i normës. Reklamat mund të duhet të ngarkohen ose të dorëzohen përsëri për shqyrtim pasi faqja e uljes të bëhet e aksesueshme.
Çfarë duhet të kontrollojë fillimisht ekipi im i inxhinierisë?
Kontrolloni nëse faqja e uljes i kthen OAI-AdsBot një përgjigje HTTP të suksesshme, nëse robots.txt lejon shtegun përkatës dhe nëse WAF, CDN, zbutja e botëve, sfidat JavaScript, CAPTCHA, autentikimi ose rregullat gjeografike bllokojnë qasjen e automatizuar.
A mbështeten si faqe uljeje lidhjet e dyqaneve të aplikacioneve, deep links ose destinacionet jo-ueb?
Përdorni një faqe uljeje uebi të arritshme drejtpërdrejt sa herë që është e mundur. Lidhjet e dyqaneve të aplikacioneve, deep links, dokumentet ose destinacionet që kërkojnë aplikacion, hyrje në llogari, qasje specifike sipas rajonit ose ridrejtime të pambështetura mund të mos ofrojnë përmbajtje të mjaftueshme të crawlueshme për validim ose shqyrtim.
Kur duhet ta ngarkoj përsëri ose të kërkoj sërish shqyrtim?
Pasi të rregulloni qasjen e crawler-it, ringarkoni ose ridorëzoni reklamat e prekura nëse statusi nuk përditësohet vetë. Për reklamat e ngarkuara në masë, grupet më të vogla mund të ulin aktivizimet e kufirit të normës ose të mbrojtjes nga botët ndërsa ekipi juaj verifikon rregullimin.