Miks kasutab OpenAI veebiroboteid?
Kasutame veebiroboteid, et kontrollida ChatGPT-s reklaamidena esitatud veebilehtede ohutust. Reklaami esitamisel võib OpenAI külastada sihtlehte, et veenduda selle vastavuses meie eeskirjadele. Võime kasutada sihtlehe sisu ka selleks, et määrata, millal on reklaami kasutajatele näitamine kõige asjakohasem.
Millised OpenAI veebirobotid tuleks lubada?
Peate lubama OAI-AdsBoti. Soovitame lubada nii OAI-AdsBoti kui ka OAI-SearchBoti.
OpenAI veebirobotid ei saa minu veebisaiti roomata. Mida peaksin tegema?
Enamikul veebisaitidel on mitu kaitsekihti, millest veebirobot peab enne veebilehele edukat juurdepääsu läbi pääsema. Tehke koostööd oma inseneri- või turbetiimiga, et veenduda, et OpenAI veebirobotid pääsevad läbi kõigist järgmistest kihtidest.
1. robots.txt
Fail robots.txt annab veebirobotitele teada, kas neil on lubatud teie veebisaidi teatud osadele juurde pääseda. OpenAI veebirobotid järgivad neid reegleid. Kui robots.txt keelab juurdepääsu, peatub roomamine kohe.
Vaadake üle oma robots.txt konfiguratsioon ja veenduge, et OpenAI veebirobotitel oleks asjakohastele lehtedele ja teedele selgesõnaliselt juurdepääs lubatud. Näiteks: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Veebikaitse ja botitõrje
Paljud veebisaidid kasutavad DDoS-rünnete, kraapimise ja volitamata liikluse tõrjumiseks teenuseid nagu Cloudflare, Akamai või muud veebikaitse pakkujad. Need süsteemid võivad õiguspäraseid veebiroboteid ekslikult blokeerida, tagastades sageli vea 403 Forbidden. Kuna OpenAI veebirobotid võivad sarnaneda automatiseeritud liiklusmustritega, võidakse nende juurdepääs keelata, kui neid ei ole eraldi lubatud loendisse lisatud.
Vaadake üle oma veebikaitse või tulemüüri konfiguratsioon ja lisage OpenAI veebirobotite liiklus võimaluse korral lubatud loendisse, ideaaljuhul meie veebirobotite kasutajaagentide põhjal. Teie inseneri- või taristutiim peaks üle vaatama ka kõik automatiseeritud botitõrje reeglid, mis võivad põhjustada valepositiivseid tulemusi.
3. Inimese kontrollimine ja botivastane loogika
Mõned veebisaidid kasutavad rakenduse tasemel lisakontrolle, et veenduda külastaja inimlikkuses, näiteks CAPTCHA-sid, JavaScripti ülesandeid, käitumisanalüüsi või seansi valideerimist. Kuna OpenAI veebirobotid on automatiseeritud süsteemid, võivad need kontrollid juurdepääsu blokeerida isegi siis, kui veebirobot läbib varasemad kihid edukalt.
Vaadake üle kõik teie rakenduses kasutatavad inimese kontrollimise või automatiseerimisvastased loogikad ja veenduge, et OpenAI veebirobotid oleksid vajaduse korral erandiks tehtud, ideaaljuhul meie veebirobotite kasutajaagentide lubatud loendisse lisamisega.
Märkus stabiilsete IP-vahemike kohta
Mõned turbesüsteemid nõuavad, et veebirobotite liiklus pärineks stabiilsetest, avalikult dokumenteeritud IP-vahemikest, enne kui liikluse saab usaldusväärselt lubatud loendisse lisada. Kuna veebirobotite taristu võib aja jooksul muutuda, ei tohiks teie inseneritiim tugineda üksnes logidest saadud lühiajalistele IP-vaatlustele. Selle asemel valideerige liiklust kasutajaagendi tuvastamise, toetatud juhtudel kinnitatud botiprogrammide, tulemüüri lubatud loendite, robots.txt käitumise ja teenusepakkuja taseme botikontrollisüsteemide kombinatsiooniga.
Kui peate lubama stabiilse IP-vahemike loendi, kasutage viitena https://openai.com/searchbot.json ja https://openai.com/adsbot.json.
Märkus kiiruse piirangute kohta
Suured hulgiüleslaadimised või veebirobotite liikluse järsud kasvud võivad mõnikord käivitada automaatsed kiiruse piirangud või botikaitsesüsteemid.
Kui kahtlustate, et rakendatakse kiiruse piiranguid, paluge oma inseneritiimil üle vaadata HTTP vastusekoodid, eriti 429 Too Many Requests, tulemüüri- või CDN-logid, botitõrje sündmused, päringute aeglustamise reeglid ja liikluse analüütika aja kohta, mil veebirobot proovis juurdepääsu saada. See aitab tuvastada, kas taristukaitsed aeglustavad või blokeerivad päringuid tahtlikult.
Samuti võite kaaluda reklaamide üleslaadimist pikema aja jooksul väiksemate partiidena.
Märkus Cloudflare’i kohta
Cloudflare on OAI-AdsBoti ametlikult kinnitanud ja lubatud loendisse lisanud.
Veebirobotite ja sihtlehtede KKK
Millist veebirobotit on reklaamide läbivaatamiseks vaja?
OAI-AdsBot on vajalik ChatGPT Ads’i sihtlehtede valideerimiseks ja läbivaatamiseks. OAI-SearchBoti soovitame, sest see võib aidata OpenAI-l avalikku veebisisu mõista, kuid reklaamijad peaksid reklaamide valmisoleku tagamiseks eelistama veebirobotit OAI-AdsBot.
Kas tugi saab veebiroboti valideerimisest käsitsi mööda minna?
Ärge lootke käsitsi möödaviimisele. Muutke sihtleht OAI-AdsBoti jaoks roomatavaks, parandades robots.txt, WAF-i, CDN-i, botitõrje, autentimise ja kiiruse piirangutest tingitud blokeeringud. Pärast sihtlehe juurdepääsetavaks muutumist võib olla vaja reklaamid uuesti üles laadida või läbivaatamiseks uuesti esitada.
Mida peaks minu inseneritiim kõigepealt kontrollima?
Kontrollige, kas sihtleht tagastab OAI-AdsBotile eduka HTTP vastuse, kas robots.txt lubab asjakohast teed ning kas WAF, CDN, botitõrje, JavaScripti ülesanded, CAPTCHA-d, autentimine või geograafilised reeglid blokeerivad automatiseeritud juurdepääsu.
Kas rakendusepoe lingid, süvalingid või muud kui veebisihtkohad on sihtlehtedena toetatud?
Kasutage võimaluse korral otse ligipääsetavat veebipõhist sihtlehte. Rakendusepoe lingid, süvalingid, dokumendid või sihtkohad, mis nõuavad rakendust, sisselogimist, piirkonnapõhist juurdepääsu või mittetoetatud ümbersuunamisi, ei pruugi pakkuda valideerimiseks või läbivaatamiseks piisavalt roomatavat sisu.
Millal peaksin reklaami uuesti üles laadima või uuesti läbivaatamist taotlema?
Pärast veebiroboti juurdepääsu parandamist laadige mõjutatud reklaamid uuesti üles või esitage need uuesti, kui olek ise ei uuene. Hulgi üles laaditud reklaamide puhul võivad väiksemad partiid vähendada kiiruse piirangu või botikaitse käivitumist ajal, mil teie tiim parandust valideerib.