Miks kasutab OpenAI veebiroboteid?
Kasutame veebiroboteid, et kontrollida ChatGPT-s reklaamidena esitatud veebilehtede ohutust. Reklaami esitamisel võib OpenAI külastada sihtlehte, et veenduda selle vastavuses meie eeskirjadele. Võime sihtlehe sisu kasutada ka selleks, et määrata, millal on reklaami kasutajatele kõige asjakohasem näidata.
Milliseid OpenAI veebiroboteid tuleks lubada?
Peate lubama veebiroboti OAI-AdsBot. Soovitame lubada nii OAI-AdsBoti kui ka OAI-SearchBoti.
Tootevoogude puhul lubage OAI-SearchBotil indekseerida ka tootepiltide URL-e. Kontrollige pildimajutaja tulemüüri, CDN-i ja robotitõrje reegleid; vastus 403 võib voo töötlemise blokeerida.
OpenAI veebirobotid ei suuda minu veebisaiti indekseerida. Mida peaksin tegema?
Enamikul veebisaitidel on mitu kaitsekihti, mille veebirobot peab veebilehele juurdepääsemiseks läbima. Kontrollige koos arendus- või turbemeeskonnaga, et OpenAI veebirobotid pääseksid läbi kõigist järgmistest kihtidest.
1. robots.txt
Fail robots.txt ütleb veebirobotitele, kas neil on lubatud teie veebisaidi teatud osadele juurde pääseda. OpenAI veebirobotid järgivad neid reegleid. Kui robots.txt keelab juurdepääsu, peatatakse indekseerimine kohe.
Vaadake üle faili robots.txt seadistus ja veenduge, et OpenAI veebirobotitel oleks asjakohastele lehtedele ja teedele juurdepääs sõnaselgelt lubatud. Näide: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Veebikaitse ja robotiliikluse tõkestamine
Paljud veebisaidid kasutavad DDoS-rünnete, andmekraapimise ja volitamata liikluse tõkestamiseks Cloudflare’i, Akamai või teiste veebikaitse pakkujate teenuseid. Need süsteemid võivad ekslikult blokeerida õiguspäraseid veebiroboteid, tagastades sageli veateate 403 Forbidden. Kuna OpenAI veebirobotite tegevus võib sarnaneda automaatliiklusega, võidakse juurdepääs keelata, kui neid pole eraldi lubatud loendisse lisatud.
Vaadake üle oma veebikaitse või tulemüüri seadistus ja lisage võimaluse korral OpenAI veebirobotite liiklus lubatud loendisse, eelistatavalt meie veebirobotite kasutajaagentide alusel. Teie arendus- või taristumeeskond peaks üle vaatama ka automaatsed robotiliikluse tõkestamise reeglid, mis võivad anda valepositiivseid tulemusi.
3. Inimkasutaja kontroll ja robotitõrjeloogika
Mõni veebisait kasutab külastaja inimeseks olemise kontrollimiseks täiendavaid rakendustaseme kontrolle, näiteks CAPTCHA-sid, JavaScripti proovikive, käitumisanalüüsi või seansi valideerimist. Kuna OpenAI veebirobotid on automatiseeritud süsteemid, võivad need kontrollid juurdepääsu blokeerida ka siis, kui veebirobot läbib edukalt eelnevad kihid.
Vaadake üle rakenduses kasutatav inimkasutaja kontrollimise või automatiseerimise tõkestamise loogika ja vabastage OpenAI veebirobotid vajaduse korral neist kontrollidest, lisades eelistatavalt meie veebirobotite kasutajaagendid lubatud loendisse.
Märkus stabiilsete IP-vahemike kohta
Mõni turvasüsteem nõuab, et veebirobotite liiklus pärineks stabiilsetest ja avalikult dokumenteeritud IP-vahemikest, enne kui selle saab usaldusväärselt lubatud loendisse lisada. Kuna veebirobotite taristu võib aja jooksul muutuda, ei tohiks teie arendusmeeskond tugineda üksnes logides nähtavatele lühiajalistele IP-andmetele. Selle asemel kontrollige liiklust kasutajaagendi tuvastamise, toetatud kinnitatud robotiprogrammide, tulemüüri lubatud loendite, robots.txt käitumise ja teenusepakkuja robotiliikluse kontrollsüsteemide kombinatsiooni abil.
Kui peate lubama stabiilse IP-vahemike loendi, kasutage viitena aadresse https://openai.com/searchbot.json ja https://openai.com/adsbot.json.
Märkus päringusageduse piiramise kohta
Suured pakettüleslaadimised või veebirobotite liikluse järsud hüpped võivad mõnikord käivitada automaatse päringusageduse piiramise või robotitõrjesüsteemid.
Kui kahtlustate päringusageduse piiramist, paluge arendusmeeskonnal kontrollida HTTP-vastusekoode, eriti koodi 429 Too Many Requests, tulemüüri või CDN-i logisid, robotitõrjesündmusi, päringute piiramise reegleid ja liiklusanalüütikat ajast, mil veebirobot üritas lehele pääseda. See aitab välja selgitada, kas taristukaitse aeglustab või blokeerib päringuid tahtlikult.
Samuti võiksite reklaame üles laadida pikema aja jooksul ja väiksemate pakettidena.
Märkus Cloudflare’i kohta
Cloudflare on OAI-AdsBoti ametlikult kinnitanud ja lubatud loendisse lisanud.
Korduma kippuvad küsimused veebirobotite ja sihtlehtede kohta
Millist veebirobotit on reklaamide ülevaatuseks vaja?
OAI-AdsBot on vajalik ChatGPT Adsi sihtlehtede valideerimiseks ja ülevaatuseks. OAI-SearchBot on soovitatav, sest see võib aidata OpenAI-l avalikku veebisisu mõista, kuid reklaamijad peaksid reklaamide ettevalmistamisel eelistama veebirobotit OAI-AdsBot.
Kas kasutajatugi saab veebiroboti valideerimisest käsitsi mööda minna?
Ärge lootke käsitsi möödapääsule. Muutke sihtleht OAI-AdsBotile indekseeritavaks, kõrvaldades robots.txt, WAF-i, CDN-i, robotitõrje, autentimise ja päringusageduse piiramise põhjustatud blokeeringud. Kui sihtleht muutub juurdepääsetavaks, võib olla vaja reklaamid uuesti üles laadida või ülevaatuseks esitada.
Mida peaks mu arendusmeeskond esimesena kontrollima?
Kontrollige, kas sihtleht tagastab OAI-AdsBotile eduka HTTP-vastuse, kas robots.txt lubab asjakohast teed ning kas WAF, CDN, robotitõrje, JavaScripti proovikivid, CAPTCHA-d, autentimine või geograafilised reeglid blokeerivad automaatse juurdepääsu.
Kas sihtlehtedena toetatakse rakendusepoe linke, süvalinke või muid kui veebisihtkohti?
Võimaluse korral kasutage otse juurdepääsetavat veebipõhist sihtlehte. Rakendusepoe lingid, süvalingid, dokumendid või sihtkohad, mis nõuavad rakendust, sisselogimist, piirkonnapõhist juurdepääsu või toetuseta ümbersuunamisi, ei pruugi valideerimiseks või ülevaatuseks piisavalt indekseeritavat sisu pakkuda.
Millal peaksin reklaami uuesti üles laadima või uut ülevaatust taotlema?
Pärast veebiroboti juurdepääsu parandamist laadige või esitage mõjutatud reklaamid uuesti, kui nende olek automaatselt ei muutu. Hulgi üles laaditud reklaamide puhul võivad väiksemad paketid vähendada päringusageduse piirangute või robotitõrje käivitumist, kuni teie meeskond parandust kontrollib.