Kwa nini OpenAI hutumia vitambazaji vya wavuti?
Tunatumia vitambazaji kuthibitisha usalama wa kurasa za wavuti zinazowasilishwa kama matangazo kwenye ChatGPT. Unapowasilisha tangazo, OpenAI inaweza kutembelea ukurasa lengwa ili kuhakikisha kuwa unatii sera zetu. Tunaweza pia kutumia maudhui ya ukurasa lengwa kubaini wakati unaofaa zaidi kuwaonyesha watumiaji tangazo hilo.
Unapaswa kuruhusu vitambazaji gani vya OpenAI?
Ni lazima uruhusu OAI-AdsBot. Tunapendekeza uruhusu OAI-AdsBot na OAI-SearchBot.
Kwa milisho ya bidhaa, ruhusu pia OAI-SearchBot kutambaza URL za picha za bidhaa. Kagua kanuni za ngome, CDN na ulinzi dhidi ya roboti kwenye seva pangishi ya picha; jibu la 403 linaweza kuzuia uchakataji wa milisho.
Vitambazaji vya OpenAI vinashindwa kutambaza tovuti yangu. Nifanye nini?
Tovuti nyingi zina safu kadhaa za ulinzi ambazo kitambazaji lazima kipitie kabla ya kufikia ukurasa wa wavuti. Shirikiana na timu yako ya uhandisi au usalama kuthibitisha kuwa vitambazaji vya OpenAI vinaweza kupita katika kila safu ifuatayo.
1. robots.txt
Faili ya robots.txt huviambia vitambazaji iwapo vinaruhusiwa kufikia sehemu fulani za tovuti yako. Vitambazaji vya OpenAI hufuata kanuni hizi. Ikiwa robots.txt imezuia ufikiaji, utambazaji utasimama mara moja.
Kagua usanidi wako wa robots.txt na uthibitishe kuwa vitambazaji vya OpenAI vimeruhusiwa waziwazi kufikia kurasa na njia husika. Kwa mfano: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ulinzi wa wavuti na udhibiti wa roboti
Tovuti nyingi hutumia huduma kama Cloudflare, Akamai au watoa huduma wengine wa ulinzi wa wavuti kujikinga dhidi ya mashambulizi ya DDoS, uchotaji wa data na trafiki isiyoidhinishwa. Mifumo hii inaweza kuzuia kimakosa vitambazaji halali, mara nyingi ikirejesha hitilafu za 403 Forbidden. Kwa kuwa trafiki ya vitambazaji vya OpenAI inaweza kufanana na trafiki ya kiotomatiki, huenda ikakataliwa isipowekwa mahususi kwenye orodha ya kuruhusiwa.
Kagua usanidi wa ulinzi wako wa wavuti au ngome na, inapowezekana, uweke trafiki ya vitambazaji vya OpenAI kwenye orodha ya kuruhusiwa, ikiwezekana kulingana na vitambulisho vyetu vya user-agent. Timu yako ya uhandisi au miundombinu inapaswa pia kukagua kanuni zozote za kiotomatiki za kudhibiti roboti ambazo huenda zinatambua kimakosa trafiki halali kuwa tishio.
3. Uthibitishaji wa binadamu na mifumo ya kuzuia roboti
Baadhi ya tovuti hutumia ukaguzi wa ziada katika kiwango cha programu ili kuthibitisha kuwa mgeni ni binadamu, kama vile CAPTCHA, changamoto za JavaScript, uchanganuzi wa tabia au uthibitishaji wa kipindi. Kwa kuwa vitambazaji vya OpenAI ni mifumo ya kiotomatiki, ukaguzi huu unaweza kuzuia ufikiaji hata kama kitambazaji kimefanikiwa kupita safu za awali.
Kagua mifumo yoyote ya kuthibitisha binadamu au kuzuia uendeshaji wa kiotomatiki katika programu yako na uhakikishe kuwa vitambazaji vya OpenAI vimeondolewa kwenye vizuizi inapofaa, ikiwezekana kwa kuweka vitambulisho vyetu vya user-agent kwenye orodha ya kuruhusiwa.
Dokezo kuhusu safu thabiti za IP
Baadhi ya mifumo ya usalama huhitaji trafiki ya vitambazaji itoke kwenye safu thabiti za IP zilizoandikwa hadharani kabla ya kuwekwa kwa uhakika kwenye orodha ya kuruhusiwa. Kwa kuwa miundombinu ya vitambazaji inaweza kubadilika kadiri muda unavyopita, timu yako ya uhandisi haipaswi kutegemea tu anwani za IP zilizoonekana kwa muda mfupi kwenye kumbukumbu. Badala yake, thibitisha trafiki kwa kuchanganya utambuzi wa user-agent, programu za roboti zilizothibitishwa pale zinapotumika, orodha za kuruhusiwa za ngome, mwenendo wa robots.txt na mifumo ya watoa huduma ya kuthibitisha roboti.
Ikiwa ni lazima uruhusu orodha thabiti ya safu za IP, rejelea https://openai.com/searchbot.json na https://openai.com/adsbot.json.
Dokezo kuhusu kuwekea kiwango kikomo
Upakiaji mkubwa wa makundi au ongezeko la ghafla la trafiki ya vitambazaji wakati mwingine linaweza kuamsha mifumo ya kiotomatiki ya kuwekea kiwango kikomo au ulinzi dhidi ya roboti.
Ikiwa unashuku kuwa kiwango kinawekewa kikomo, iombe timu yako ya uhandisi ikague misimbo ya majibu ya HTTP, hasa 429 Too Many Requests, kumbukumbu za ngome au CDN, matukio ya udhibiti wa roboti, kanuni za kupunguza maombi na uchanganuzi wa trafiki wakati kitambazaji kilipojaribu kufikia ukurasa. Hii inaweza kusaidia kubaini ikiwa maombi yanapunguzwa kasi au kuzuiwa kimakusudi na ulinzi wa miundombinu.
Unaweza pia kufikiria kupakia matangazo kwa makundi madogo katika kipindi kirefu zaidi.
Dokezo kuhusu Cloudflare
OAI-AdsBot imethibitishwa rasmi na kuwekwa kwenye orodha ya kuruhusiwa na Cloudflare.
Maswali yanayoulizwa mara kwa mara kuhusu vitambazaji na kurasa lengwa
Ni kitambazaji gani kinachohitajika kukagua matangazo?
OAI-AdsBot inahitajika kuthibitisha na kukagua kurasa lengwa za ChatGPT Ads. OAI-SearchBot inapendekezwa kwa sababu inaweza kusaidia OpenAI kuelewa maudhui ya wavuti ya umma, lakini watangazaji wanapaswa kutanguliza OAI-AdsBot ili kuhakikisha matangazo yako tayari.
Je, timu ya usaidizi inaweza kuruka uthibitishaji wa kitambazaji kwa mikono?
Usitegemee uthibitishaji kurukwa kwa mikono. Ruhusu OAI-AdsBot kutambaza ukurasa lengwa kwa kurekebisha vizuizi vya robots.txt, WAF, CDN, udhibiti wa roboti, uthibitishaji na uwekaji kiwango kikomo. Huenda matangazo yakahitaji kupakiwa tena au kuwasilishwa upya ili yakaguliwe baada ya ukurasa lengwa kufikika.
Timu yangu ya uhandisi inapaswa kukagua nini kwanza?
Kagua ikiwa ukurasa lengwa unarejesha jibu la HTTP lililofanikiwa kwa OAI-AdsBot, ikiwa robots.txt inaruhusu njia husika, na ikiwa WAF, CDN, udhibiti wa roboti, changamoto za JavaScript, CAPTCHA, uthibitishaji au kanuni za kijiografia zinazuia ufikiaji wa kiotomatiki.
Je, viungo vya maduka ya programu, viungo vya kina au maeneo yasiyo ya wavuti yanaweza kutumika kama kurasa lengwa?
Inapowezekana, tumia ukurasa lengwa wa wavuti unaoweza kufikiwa moja kwa moja. Huenda viungo vya maduka ya programu, viungo vya kina, hati au maeneo yanayohitaji programu, kuingia katika akaunti, ufikiaji wa eneo mahususi au uelekezaji upya usiotumika yasitoe maudhui ya kutosha yanayoweza kutambazwa ili kuthibitishwa au kukaguliwa.
Ninapaswa kupakia tena au kuomba ukaguzi mwingine lini?
Baada ya kurekebisha ufikiaji wa kitambazaji, pakia tena au uwasilishe upya matangazo yaliyoathirika ikiwa hali haitasasishwa yenyewe. Kwa matangazo yaliyopakiwa kwa wingi, makundi madogo yanaweza kupunguza uanzishaji wa mipaka ya kiwango au ulinzi dhidi ya roboti huku timu yako ikithibitisha suluhisho.