Pse përdor OpenAI robotë indeksues të uebit?
Ne përdorim robotë indeksues për të verifikuar sigurinë e faqeve të uebit të paraqitura si reklama në ChatGPT. Kur paraqitni një reklamë, OpenAI mund të vizitojë faqen e destinacionit për t’u siguruar që ajo është në përputhje me politikat tona. Mund të përdorim edhe përmbajtjen e faqes së destinacionit për të përcaktuar se kur është më e përshtatshme t’ua shfaqim reklamën përdoruesve.
Cilët robotë indeksues të OpenAI duhet të lejoni?
Duhet të lejoni OAI-AdsBot. Rekomandojmë të lejoni si OAI-AdsBot, ashtu edhe OAI-SearchBot.
Për furnizimet e produkteve, lejoni edhe OAI-SearchBot të indeksojë URL-të e imazheve të produkteve. Kontrolloni rregullat e murit mbrojtës, CDN-së dhe mbrojtjes nga robotët në hostin e imazheve; një përgjigje 403 mund të bllokojë përpunimin e furnizimit.
Robotët indeksues të OpenAI nuk arrijnë ta indeksojnë faqen time të internetit. Çfarë duhet të bëj?
Shumica e faqeve të internetit kanë disa shtresa mbrojtjeje që një robot indeksues duhet t’i kalojë përpara se të mund të hyjë me sukses në një faqe uebi. Bashkëpunoni me ekipin tuaj të inxhinierisë ose të sigurisë për të verifikuar që robotët indeksues të OpenAI mund të kalojnë nëpër secilën prej shtresave të mëposhtme.
1. robots.txt
Skedari robots.txt u tregon robotëve indeksues nëse u lejohet të hyjnë në pjesë të caktuara të faqes suaj të internetit. Robotët indeksues të OpenAI i respektojnë këto rregulla. Nëse hyrja ndalohet në robots.txt, indeksimi do të ndërpritet menjëherë.
Rishikoni konfigurimin e robots.txt dhe konfirmoni se robotët indeksues të OpenAI lejohen shprehimisht të hyjnë në faqet dhe shtigjet përkatëse. Për shembull: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Mbrojtja e uebit dhe kufizimi i robotëve
Shumë faqe interneti përdorin shërbime si Cloudflare, Akamai ose ofrues të tjerë të mbrojtjes së uebit për t’u mbrojtur nga sulmet DDoS, mbledhja automatike e të dhënave dhe trafiku i paautorizuar. Këto sisteme mund të bllokojnë gabimisht robotë indeksues të ligjshëm, duke kthyer shpesh gabime 403 Forbidden. Meqë robotët indeksues të OpenAI mund t’u ngjajnë modeleve të trafikut të automatizuar, hyrja mund t’u mohohet nëse nuk shtohen posaçërisht në listën e lejimeve.
Rishikoni konfigurimin e mbrojtjes së uebit ose të murit mbrojtës dhe, kur është e mundur, shtoni në listën e lejimeve trafikun e robotëve indeksues të OpenAI, mundësisht bazuar në identifikuesit e tyre User-Agent. Ekipi juaj i inxhinierisë ose i infrastrukturës duhet të shqyrtojë edhe rregullat e automatizuara për kufizimin e robotëve që mund të shkaktojnë rezultate pozitive të rreme.
3. Verifikimi njerëzor dhe logjika kundër robotëve
Disa faqe interneti zbatojnë kontrolle shtesë në nivel aplikacioni për të verifikuar që vizitori është njeri, si CAPTCHA, sfida JavaScript, analizë sjelljeje ose verifikim sesioni. Meqë robotët indeksues të OpenAI janë sisteme të automatizuara, këto kontrolle mund t’ua bllokojnë hyrjen edhe nëse i kalojnë me sukses shtresat e mëparshme.
Rishikoni çdo logjikë për verifikimin njerëzor ose kundër automatizimit të zbatuar në aplikacionin tuaj dhe sigurohuni që robotët indeksues të OpenAI të përjashtohen kur duhet, mundësisht duke shtuar në listën e lejimeve identifikuesit User-Agent të robotëve tanë.
Shënim për intervalet e qëndrueshme të adresave IP
Disa sisteme sigurie kërkojnë që trafiku i robotëve indeksues të vijë nga intervale të qëndrueshme dhe të dokumentuara publikisht të adresave IP, përpara se të mund të shtohet me besueshmëri në listën e lejimeve. Meqë infrastruktura e robotëve indeksues mund të evoluojë me kalimin e kohës, ekipi juaj i inxhinierisë duhet të shmangë mbështetjen vetëm te vëzhgimet afatshkurtra të adresave IP në regjistra. Në vend të kësaj, verifikoni trafikun përmes një kombinimi të identifikimit me User-Agent, programeve të robotëve të verifikuar aty ku mbështeten, listave të lejimeve të murit mbrojtës, sjelljes së robots.txt dhe sistemeve të verifikimit të robotëve në nivel ofruesi.
Nëse duhet të lejoni një listë të qëndrueshme intervalesh IP, referojuni https://openai.com/searchbot.json dhe https://openai.com/adsbot.json.
Shënim për kufizimin e ritmit të kërkesave
Ngarkimet e mëdha në grup ose rritjet e papritura të trafikut të robotëve indeksues mund të aktivizojnë ndonjëherë kufizimin automatik të ritmit të kërkesave ose sistemet e mbrojtjes nga robotët.
Nëse dyshoni se po zbatohet kufizimi i ritmit të kërkesave, kërkojini ekipit tuaj të inxhinierisë të shqyrtojë kodet e përgjigjeve HTTP, veçanërisht 429 Too Many Requests, regjistrat e murit mbrojtës ose të CDN-së, ngjarjet e kufizimit të robotëve, rregullat e ngadalësimit të kërkesave dhe analizat e trafikut gjatë kohës kur roboti indeksues u përpoq të hynte. Kjo mund të ndihmojë për të përcaktuar nëse kërkesat po ngadalësohen ose bllokohen qëllimisht nga mbrojtjet e infrastrukturës.
Mund të merrni parasysh edhe ngarkimin e reklamave në grupe më të vogla gjatë një periudhe më të gjatë.
Shënim për Cloudflare
OAI-AdsBot është verifikuar zyrtarisht dhe është shtuar në listën e lejimeve nga Cloudflare.
Pyetje të shpeshta për robotët indeksues dhe faqet e destinacionit
Cili robot indeksues kërkohet për shqyrtimin e reklamave?
OAI-AdsBot kërkohet për verifikimin dhe shqyrtimin e faqeve të destinacionit të Reklamave në ChatGPT. OAI-SearchBot rekomandohet sepse mund ta ndihmojë OpenAI të kuptojë përmbajtjen publike të uebit, por OAI-AdsBot është roboti indeksues që reklamuesit duhet të kenë përparësi për t’i bërë reklamat gati.
A mundet ekipi i mbështetjes ta anashkalojë manualisht verifikimin nga roboti indeksues?
Mos u mbështetni te anashkalimi manual. Bëjeni faqen e destinacionit të indeksueshme nga OAI-AdsBot duke rregulluar bllokimet nga robots.txt, WAF-i, CDN-ja, kufizimi i robotëve, autentikimi dhe kufizimi i ritmit të kërkesave. Pasi faqja e destinacionit të bëhet e qasshme, reklamat mund të duhet të ngarkohen përsëri ose të riparaqiten për shqyrtim.
Çfarë duhet të kontrollojë fillimisht ekipi im i inxhinierisë?
Kontrolloni nëse faqja e destinacionit i kthen OAI-AdsBot një përgjigje të suksesshme HTTP, nëse robots.txt lejon shtegun përkatës dhe nëse WAF-i, CDN-ja, kufizimi i robotëve, sfidat JavaScript, CAPTCHA-t, autentikimi ose rregullat gjeografike bllokojnë hyrjen e automatizuar.
A mbështeten si faqe destinacioni lidhjet e dyqaneve të aplikacioneve, lidhjet e thella ose destinacionet jashtë uebit?
Kurdo që është e mundur, përdorni një faqe destinacioni në ueb që mund të hapet drejtpërdrejt. Lidhjet e dyqaneve të aplikacioneve, lidhjet e thella, dokumentet ose destinacionet që kërkojnë një aplikacion, hyrje në llogari, qasje specifike sipas rajonit ose ridrejtime të pambështetura mund të mos ofrojnë përmbajtje të mjaftueshme të indeksueshme për verifikim ose shqyrtim.
Kur duhet ta ngarkoj përsëri reklamën ose të kërkoj një shqyrtim tjetër?
Pasi të rregulloni hyrjen e robotit indeksues, ngarkoni përsëri ose riparaqitni reklamat e prekura nëse statusi nuk përditësohet vetë. Për reklamat e ngarkuara në masë, grupet më të vogla mund të zvogëlojnë aktivizimin e kufizimit të ritmit ose të mbrojtjes nga robotët ndërsa ekipi juaj verifikon zgjidhjen.