Kwa nini OpenAI hutumia vitambazi vya wavuti?
Tunatumia vitambazi kuthibitisha usalama wa kurasa za wavuti zinazowasilishwa kama matangazo kwenye ChatGPT. Unapowasilisha tangazo, OpenAI inaweza kutembelea ukurasa wa kutua ili kuhakikisha unazingatia sera zetu. Tunaweza pia kutumia maudhui kutoka ukurasa wa kutua kubaini wakati unaofaa zaidi wa kuwaonyesha watumiaji tangazo hilo.
Ni vitambazi vipi vya OpenAI unapaswa kuruhusu?
Ni lazima uruhusu OAI-AdsBot. Tunapendekeza kuruhusu OAI-AdsBot na OAI-SearchBot.
Vitambazi vya OpenAI vinashindwa kutambaza tovuti yangu. Nifanye nini?
Tovuti nyingi zina tabaka kadhaa za ulinzi kabla ya kitambazi kufikia ukurasa wa wavuti kwa mafanikio. Shirikiana na timu yako ya uhandisi au usalama kuthibitisha kuwa vitambazi vya OpenAI vinaweza kupita katika kila mojawapo ya tabaka zifuatazo.
1. robots.txt
Faili ya robots.txt huambia vitambazi ikiwa vinaruhusiwa kufikia sehemu fulani za tovuti yako. Vitambazi vya OpenAI huheshimu sheria hizi. Ikiwa ufikiaji umekataliwa katika robots.txt, utambazaji utasimama mara moja.
Kagua usanidi wako wa robots.txt na uthibitishe kuwa vitambazi vya OpenAI vimeruhusiwa wazi kufikia kurasa na njia husika. Kwa mfano: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ulinzi wa wavuti na udhibiti wa boti
Tovuti nyingi hutumia huduma kama Cloudflare, Akamai, au watoa huduma wengine wa ulinzi wa wavuti kujilinda dhidi ya mashambulizi ya DDoS, uchotaji wa data, na trafiki isiyoidhinishwa. Mifumo hii inaweza kuzuia kimakosa vitambazi halali, mara nyingi ikirudisha hitilafu za 403 Forbidden. Kwa kuwa vitambazi vya OpenAI vinaweza kufanana na mifumo ya trafiki ya kiotomatiki, vinaweza kukataliwa isipowekwa mahususi kwenye orodha ya kuruhusiwa.
Kagua usanidi wako wa ulinzi wa wavuti au ngome, na uruhusu trafiki ya vitambazi vya OpenAI inapowezekana, ikiwezekana kwa kuzingatia user agents za vitambazi vyetu. Timu yako ya uhandisi au miundombinu inapaswa pia kukagua sheria zozote za kiotomatiki za udhibiti wa boti ambazo zinaweza kusababisha matokeo chanya ya uongo.
3. Uthibitishaji wa binadamu na mantiki ya kuzuia boti
Baadhi ya tovuti hutekeleza ukaguzi wa ziada katika kiwango cha programu ili kuthibitisha kuwa mgeni ni binadamu, kama vile CAPTCHA, changamoto za JavaScript, uchanganuzi wa tabia, au uthibitishaji wa kipindi. Kwa kuwa vitambazi vya OpenAI ni mifumo ya kiotomatiki, ukaguzi huu unaweza kuzuia ufikiaji hata kama kitambazi kimefaulu kupita tabaka za awali.
Kagua mantiki yoyote ya kuthibitisha binadamu au kuzuia otomatiki iliyotekelezwa ndani ya programu yako, na uhakikishe vitambazi vya OpenAI vimeondolewa kwenye ukaguzi pale inapofaa, ikiwezekana kwa kuweka user agents za vitambazi vyetu kwenye orodha ya kuruhusiwa.
Dokezo kuhusu safu thabiti za IP
Baadhi ya mifumo ya usalama huhitaji trafiki ya vitambazi itoke kwenye safu thabiti za IP zilizoandikwa hadharani kabla ya trafiki kuwekwa kwa uaminifu kwenye orodha ya kuruhusiwa. Kwa kuwa miundombinu ya vitambazi inaweza kubadilika baada ya muda, timu yako ya uhandisi inapaswa kuepuka kutegemea tu uchunguzi wa muda mfupi wa IP kutoka kwenye kumbukumbu. Badala yake, thibitisha trafiki kwa mchanganyiko wa utambuzi wa user-agent, programu za boti zilizothibitishwa pale zinapoungwa mkono, orodha za kuruhusiwa za ngome, mwenendo wa robots.txt, na mifumo ya uthibitishaji wa boti katika kiwango cha mtoa huduma.
Ikiwa ni lazima uruhusu orodha thabiti ya safu za IP, rejelea https://openai.com/searchbot.json na https://openai.com/adsbot.json.
Dokezo kuhusu kikomo cha maombi
Upakiaji mkubwa wa makundi au ongezeko la ghafla la trafiki ya vitambazi wakati mwingine unaweza kuchochea kikomo cha maombi cha kiotomatiki au mifumo ya ulinzi dhidi ya boti.
Ikiwa unashuku kikomo cha maombi kinatumika, iombe timu yako ya uhandisi ikague misimbo ya majibu ya HTTP, hasa 429 Too Many Requests, kumbukumbu za ngome au CDN, matukio ya udhibiti wa boti, sheria za kupunguza kasi ya maombi, na uchanganuzi wa trafiki karibu na wakati kitambazi kilijaribu kufikia. Hii inaweza kusaidia kubaini ikiwa maombi yanapunguzwa kasi kimakusudi au yanazuiwa na ulinzi wa miundombinu.
Unaweza pia kufikiria kupakia matangazo kwa muda mrefu zaidi katika makundi madogo.
Dokezo kuhusu Cloudflare
OAI-AdsBot imethibitishwa rasmi na kuwekwa kwenye orodha ya kuruhusiwa na Cloudflare.
Maswali ya kawaida kuhusu kitambazi na ukurasa wa kutua
Ni kitambazi kipi kinahitajika kwa ukaguzi wa matangazo?
OAI-AdsBot inahitajika kwa uthibitishaji na ukaguzi wa ukurasa wa kutua wa Matangazo ya ChatGPT. OAI-SearchBot inapendekezwa kwa sababu inaweza kusaidia OpenAI kuelewa maudhui ya wavuti ya umma, lakini OAI-AdsBot ndicho kitambazi ambacho watangazaji wanapaswa kukipa kipaumbele kwa utayari wa matangazo.
Je, usaidizi unaweza kuruka uthibitishaji wa kitambazi kwa mkono?
Usitegemee njia ya mkono ya kuruka uthibitishaji. Fanya ukurasa wa kutua uweze kutambazwa na OAI-AdsBot kwa kurekebisha vizuizi vya robots.txt, WAF, CDN, udhibiti wa boti, uthibitishaji wa kuingia, na kikomo cha maombi. Huenda matangazo yakahitaji kupakiwa tena au kuwasilishwa tena kwa ukaguzi baada ya ukurasa wa kutua kufikika.
Timu yangu ya uhandisi inapaswa kukagua nini kwanza?
Kagua ikiwa ukurasa wa kutua unarudisha jibu la HTTP lililofaulu kwa OAI-AdsBot, ikiwa robots.txt inaruhusu njia husika, na ikiwa WAF, CDN, udhibiti wa boti, changamoto za JavaScript, CAPTCHA, uthibitishaji wa kuingia, au sheria za kijiografia zinazuia ufikiaji wa kiotomatiki.
Je, viungo vya app store, deep links, au maeneo yasiyo ya wavuti yanaungwa mkono kama kurasa za kutua?
Tumia ukurasa wa kutua wa wavuti unaofikika moja kwa moja kila inapowezekana. Viungo vya app store, deep links, hati, au maeneo yanayohitaji programu, kuingia, ufikiaji maalum wa eneo, au uelekezaji upya usioungwa mkono huenda visitoe maudhui ya kutosha yanayoweza kutambazwa kwa ajili ya uthibitishaji au ukaguzi.
Ninapaswa kupakia tena au kuomba ukaguzi tena lini?
Baada ya kurekebisha ufikiaji wa kitambazi, pakia tena au wasilisha tena matangazo yaliyoathiriwa ikiwa hali haitasasishwa yenyewe. Kwa matangazo yaliyopakiwa kwa wingi, makundi madogo yanaweza kupunguza vichochezi vya kikomo cha maombi au ulinzi dhidi ya boti wakati timu yako inathibitisha suluhisho.