Miksi OpenAI käyttää verkkorobotteja?
Käytämme verkkorobotteja varmistaaksemme ChatGPT:ssä mainoksina lähetettyjen verkkosivujen turvallisuuden. Kun lähetät mainoksen, OpenAI voi käydä aloitussivulla varmistaakseen, että se noudattaa käytäntöjämme. Voimme myös käyttää aloitussivun sisältöä määrittääksemme, milloin mainos on käyttäjille kaikkein olennaisin näytettäväksi.
Mitkä OpenAI:n verkkorobotit kannattaa sallia?
Sinun on sallittava OAI-AdsBot. Suosittelemme sallimaan sekä OAI-AdsBotin että OAI-SearchBotin
OpenAI:n verkkorobotit eivät pysty indeksoimaan verkkosivustoani. Mitä minun pitäisi tehdä?
Useimmilla verkkosivustoilla on useita suojauskerroksia, ennen kuin verkkorobotti voi käyttää verkkosivua onnistuneesti. Suosittelemme työskentelemään teknisen/tietoturvatiimisi kanssa varmistaaksesi, että OpenAI:n verkkorobotit pääsevät läpi jokaisesta seuraavista kerroksista:
1. robots.txt
Yleiskatsaus: robots.txt-tiedosto kertoo verkkoroboteille, saavatko ne käyttää tiettyjä osia verkkosivustostasi. OpenAI:n verkkorobotit noudattavat näitä sääntöjä. Jos käyttö estetään robots.txt-tiedostossa, indeksointi pysähtyy välittömästi.
Suositus: Tarkista robots.txt-määrityksesi ja vahvista, että OpenAI:n verkkoroboteilla on nimenomainen oikeus käyttää asiaankuuluvia sivuja ja polkuja.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Verkkosuojaus / robottien torjunta
Yleiskatsaus: Monet verkkosivustot käyttävät palveluja, kuten Cloudflarea, Akamaita tai muita verkkosuojauksen tarjoajia suojautuakseen DDoS-hyökkäyksiltä, scrapingilta ja luvattomalta liikenteeltä. Nämä järjestelmät voivat erehdyksessä estää lailliset verkkorobotit ja palauttaa usein 403 Forbidden -virheitä. Koska OpenAI:n verkkorobotit voivat muistuttaa automaattista liikennettä, niiden pääsy voidaan estää, ellei niitä ole erikseen lisätty sallittujen luetteloon.
Suositus: Tarkista verkkosuojauksesi tai palomuurisi määritykset ja lisää OpenAI:n verkkorobottien liikenne sallittujen luetteloon aina kun mahdollista, mieluiten verkkorobottiemme user-agent-tunnisteiden perusteella. Teknisen tai infrastruktuuritiimisi tulisi myös tarkistaa kaikki automaattiset robottien torjuntasäännöt, jotka voivat aiheuttaa vääriä positiivisia osumia.
3. Ihmisvarmennus / bottientorjuntalogiikka
Yleiskatsaus: Jotkin verkkosivustot toteuttavat sovellustasolla lisätarkistuksia varmistaakseen, että kävijä on ihminen (esimerkiksi: CAPTCHA-testit, JavaScript-haasteet, käyttäytymisanalyysi tai istunnon vahvistus). Koska OpenAI:n verkkorobotit ovat automatisoituja järjestelmiä, nämä tarkistukset voivat estää pääsyn, vaikka verkkorobotti läpäisisi aiemmat kerrokset onnistuneesti.
Suositus: Tarkista sovellukseesi toteutettu ihmisvarmennus- tai automaationestologiikka ja varmista, että OpenAI:n verkkorobotit on vapautettu niistä tarvittaessa, mieluiten lisäämällä verkkorobottiemme user-agent-tunnisteet sallittujen luetteloon.
Huomio vakaista IP-alueista
Jotkin tietoturvajärjestelmät edellyttävät, että verkkorobottien liikenne tulee vakaista, julkisesti dokumentoiduista IP-alueista, ennen kuin liikenne voidaan luotettavasti lisätä sallittujen luetteloon.
Koska verkkorobotti-infrastruktuuri voi kehittyä ajan myötä, teknisen tiimisi ei pitäisi luottaa pelkästään lokien lyhytaikaisiin IP-havaintoihin. Sen sijaan suosittelemme varmistamaan liikenteen yhdistämällä seuraavia keinoja: user-agent-tunnistus, varmennetut bottiohjelmat (kun tuettu), palomuurin sallittujen luettelot, robots.txt-käyttäytyminen ja palveluntarjoajatason bottien varmennusjärjestelmät.
Jos sinun on sallittava vakaa IP-alueiden luettelo, katso:
Huomio pyyntörajoituksesta
Suuret erälataukset tai verkkorobottien liikenteen äkilliset piikit voivat joskus laukaista automaattisia pyyntörajoitus- tai robottiensuojausjärjestelmiä.
Jos epäilet, että pyyntörajoitus on käytössä, pyydä teknistä tiimiäsi tarkistamaan:
HTTP-vastauskoodit (erityisesti 429 Too Many Requests)
Palomuurin tai CDN:n lokit
Robottien torjuntatapahtumat
Pyyntöjen kuristussäännöt
Liikenneanalytiikka siltä ajalta, jolloin verkkorobotti yritti päästä sivulle
Tämä voi auttaa tunnistamaan, hidastetaanko tai estetäänkö pyyntöjä tarkoituksellisesti infrastruktuurin suojauksilla.
Voit myös harkita mainosten lataamista pidemmälle ajalle jaettuna pienempiin eriin.
Huomio Cloudflarestä
Cloudflare vahvistaa ja sallii nyt virallisesti OAI-AdsBotin.