Miksi OpenAI käyttää verkkoindeksointirobotteja?
Käytämme indeksointirobotteja ChatGPT:hen mainoksina lähetettyjen verkkosivujen turvallisuuden tarkistamiseen. Kun lähetät mainoksen, OpenAI voi käydä laskeutumissivulla varmistaakseen, että se noudattaa käytäntöjämme. Voimme myös käyttää laskeutumissivun sisältöä määrittääksemme, milloin mainos on käyttäjille olennaisin näyttää.
Mitkä OpenAI-indeksointirobotit on sallittava?
OAI-AdsBot on sallittava. Suosittelemme sallimaan sekä OAI-AdsBotin että OAI-SearchBotin.
Salli tuotetietosyötteissä myös OAI-SearchBotin indeksoida tuotekuvien URL-osoitteet. Tarkista kuvapalvelimen palomuuri-, CDN- ja bottisuojaussäännöt. 403-vastaus voi estää tietosyötteen käsittelyn.
OpenAI-indeksointirobotit eivät pysty indeksoimaan verkkosivustoani. Mitä minun pitäisi tehdä?
Useimmilla verkkosivustoilla on useita suojauskerroksia, jotka indeksointirobotin on läpäistävä ennen verkkosivulle pääsyä. Varmista teknisen tai tietoturvatiimisi kanssa, että OpenAI-indeksointirobotit pääsevät kaikkien seuraavien kerrosten läpi.
1. robots.txt
robots.txt-tiedosto kertoo indeksointiroboteille, saavatko ne käyttää verkkosivustosi tiettyjä osia. OpenAI-indeksointirobotit noudattavat näitä sääntöjä. Jos robots.txt estää pääsyn, indeksointi keskeytyy välittömästi.
Tarkista robots.txt-määrityksesi ja varmista, että OpenAI-indeksointiroboteille sallitaan nimenomaisesti pääsy asiaankuuluville sivuille ja polkuihin. Esimerkki: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Verkkosuojaus ja bottien torjunta
Monet verkkosivustot suojautuvat DDoS-hyökkäyksiltä, tietojen luvattomalta keräämiseltä ja asiattomalta liikenteeltä Cloudflaren, Akamain tai muiden verkkosuojauspalvelujen avulla. Nämä järjestelmät voivat estää erehdyksessä asianmukaiset indeksointirobotit ja palauttaa usein 403 Forbidden -virheen. Koska OpenAI-indeksointirobottien liikenne voi muistuttaa automatisoitua liikennettä, niiden pääsy voidaan estää, ellei niitä ole erikseen lisätty sallittujen luetteloon.
Tarkista verkkosuojaus- tai palomuurimäärityksesi ja lisää OpenAI-indeksointirobottien liikenne mahdollisuuksien mukaan sallittujen luetteloon, mieluiten indeksointirobottiemme user-agent-tunnisteiden perusteella. Teknisen tai infrastruktuuritiimisi on myös tarkistettava automaattiset bottien torjuntasäännöt, jotka voivat aiheuttaa vääriä hälytyksiä.
3. Ihmiskäyttäjän varmennus ja bottien torjuntalogiikka
Jotkin verkkosivustot varmistavat kävijän olevan ihminen sovellustason lisätarkistuksilla, kuten CAPTCHA-testeillä, JavaScript-haasteilla, käyttäytymisanalyysillä tai istunnon vahvistamisella. Koska OpenAI-indeksointirobotit ovat automatisoituja järjestelmiä, nämä tarkistukset voivat estää pääsyn, vaikka robotti läpäisisi aiemmat kerrokset.
Tarkista sovelluksesi ihmiskäyttäjän varmennus- ja automaationestologiikka. Vapauta OpenAI-indeksointirobotit tarkistuksista tarvittaessa, mieluiten lisäämällä niiden user-agent-tunnisteet sallittujen luetteloon.
Huomautus vakaista IP-alueista
Jotkin tietoturvajärjestelmät sallivat indeksointirobottien liikenteen luotettavasti vain, jos se tulee vakaista, julkisesti dokumentoiduista IP-alueista. Koska indeksointi-infrastruktuuri voi muuttua ajan mittaan, teknisen tiimisi ei pidä luottaa pelkästään lokien lyhytaikaisiin IP-havaintoihin. Varmenna liikenne sen sijaan yhdistämällä user-agent-tunnistus, tuetut varmennettujen bottien ohjelmat, palomuurin sallittujen luettelot, robots.txt-tiedoston toiminta ja palveluntarjoajan bottien varmennusjärjestelmät.
Jos sinun on sallittava vakaa IP-alueluettelo, käytä viitteinä osoitteita https://openai.com/searchbot.json ja https://openai.com/adsbot.json.
Huomautus pyyntömäärän rajoittamisesta
Suuret erälataukset tai indeksointirobottiliikenteen äkilliset piikit voivat toisinaan aktivoida automaattisen pyyntömäärän rajoituksen tai bottisuojausjärjestelmän.
Jos epäilet pyyntömäärää rajoitettavan, pyydä teknistä tiimiäsi tarkistamaan HTTP-vastauskoodit, etenkin 429 Too Many Requests, palomuuri- tai CDN-lokit, bottien torjuntatapahtumat, pyyntöjen rajoitussäännöt sekä liikenneanalytiikka ajalta, jolloin indeksointirobotti yritti päästä sivulle. Näin voidaan selvittää, hidastavatko tai estävätkö infrastruktuurin suojaukset pyyntöjä tarkoituksellisesti.
Voit myös ladata mainoksia pienemmissä erissä pidemmän ajan kuluessa.
Huomautus Cloudflaresta
Cloudflare on virallisesti varmentanut OAI-AdsBotin ja lisännyt sen sallittujen luetteloon.
Indeksointirobotteja ja laskeutumissivuja koskevat usein kysytyt kysymykset
Mikä indeksointirobotti vaaditaan mainosten tarkistamiseen?
OAI-AdsBot tarvitaan ChatGPT Ads -laskeutumissivujen validointiin ja tarkistamiseen. OAI-SearchBotia suositellaan, koska se voi auttaa OpenAIta ymmärtämään julkista verkkosisältöä. Mainostajien kannattaa kuitenkin ensisijaisesti valmistella mainoksensa OAI-AdsBotia varten.
Voiko tuki ohittaa indeksointirobotin validoinnin manuaalisesti?
Älä luota manuaaliseen ohitukseen. Tee laskeutumissivusta OAI-AdsBotin indeksoitavissa oleva korjaamalla robots.txt-tiedoston, WAF:n, CDN:n, bottien torjunnan, todennuksen ja pyyntömäärän rajoitusten aiheuttamat estot. Mainokset on ehkä ladattava uudelleen tai lähetettävä uudelleen tarkistettaviksi, kun laskeutumissivu on käytettävissä.
Mitä teknisen tiimini kannattaa tarkistaa ensin?
Tarkista, palauttaako laskeutumissivu OAI-AdsBotille onnistuneen HTTP-vastauksen, salliiko robots.txt pääsyn tarvittavaan polkuun ja estävätkö WAF, CDN, bottien torjunta, JavaScript-haasteet, CAPTCHA-testit, todennus tai maantieteelliset säännöt automatisoidun pääsyn.
Tuetaanko laskeutumissivuina sovelluskauppalinkkejä, täsmälinkkejä tai muita kuin verkkokohteita?
Käytä aina mahdollisuuksien mukaan suoraan saavutettavaa laskeutumissivua verkossa. Sovelluskauppalinkit, täsmälinkit, asiakirjat tai kohteet, jotka edellyttävät sovellusta, kirjautumista, aluekohtaista käyttöoikeutta tai yhteensopimattomia uudelleenohjauksia, eivät välttämättä tarjoa riittävästi indeksoitavaa sisältöä validointiin tai tarkistamiseen.
Milloin mainos kannattaa ladata tai lähettää uudelleen tarkistettavaksi?
Kun indeksointirobotin pääsy on korjattu, lataa kyseiset mainokset uudelleen tai lähetä ne uudelleen tarkistettaviksi, jos niiden tila ei päivity automaattisesti. Kun tiimisi varmistaa korjauksen toimivuuden, joukkoladattujen mainosten jakaminen pienempiin eriin voi vähentää pyyntömäärän rajoitusten tai bottisuojauksen aktivoitumista.