Miksi OpenAI käyttää verkkoindeksoijia?
Käytämme indeksointirobotteja ChatGPT:ssä mainoksina lähetettyjen verkkosivujen turvallisuuden tarkistamiseen. Kun lähetät mainoksen, OpenAI voi käydä laskeutumissivulla varmistaakseen, että se noudattaa käytäntöjämme. Voimme myös käyttää laskeutumissivun sisältöä määrittääksemme, milloin mainoksen näyttäminen käyttäjille on olennaisinta.
Mitkä OpenAI-indeksointirobotit sinun kannattaa sallia?
Sinun on sallittava OAI-AdsBot. Suosittelemme sallimaan sekä OAI-AdsBotin että OAI-SearchBotin.
OpenAI-indeksointirobotit eivät pysty indeksoimaan verkkosivustoani. Mitä minun pitäisi tehdä?
Useimmilla verkkosivustoilla on useita suojauskerroksia, jotka indeksointirobotin on läpäistävä ennen kuin se voi käyttää verkkosivua onnistuneesti. Varmista teknisen tai tietoturvatiimisi kanssa, että OpenAI-indeksointirobotit pääsevät läpi kaikista seuraavista kerroksista.
1. robots.txt
robots.txt-tiedosto kertoo indeksointiroboteille, saavatko ne käyttää tiettyjä verkkosivustosi osia. OpenAI-indeksointirobotit noudattavat näitä sääntöjä. Jos pääsy on kielletty robots.txt-tiedostossa, indeksointi pysähtyy välittömästi.
Tarkista robots.txt-määrityksesi ja varmista, että OpenAI-indeksointiroboteille on nimenomaisesti sallittu pääsy asiaankuuluville sivuille ja poluille. Esimerkiksi: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Verkkosuojaus ja bottien torjunta
Monet verkkosivustot käyttävät esimerkiksi Cloudflaren, Akamain tai muiden verkkosuojauspalveluntarjoajien palveluja suojautuakseen DDoS-hyökkäyksiltä, tietojen luvattomalta keräämiseltä ja luvattomalta liikenteeltä. Nämä järjestelmät voivat erehdyksessä estää laillisia indeksointirobotteja, jolloin ne palauttavat usein 403 Forbidden -virheitä. Koska OpenAI-indeksointirobotit voivat muistuttaa automaattisen liikenteen malleja, niiden pääsy voidaan estää, ellei niitä ole erikseen lisätty sallittujen luetteloon.
Tarkista verkkosuojauksen tai palomuurin määritykset ja salli OpenAI-indeksointirobottien liikenne mahdollisuuksien mukaan, mieluiten indeksointirobottiemme user agent -tunnisteiden perusteella. Teknisen tai infrastruktuuritiimisi kannattaa myös tarkistaa automaattiset bottien torjuntasäännöt, jotka voivat aiheuttaa vääriä positiivisia hälytyksiä.
3. Ihmisen varmistus ja bottien estologiikka
Jotkin verkkosivustot käyttävät sovellustasolla lisätarkistuksia varmistaakseen, että kävijä on ihminen. Tällaisia ovat esimerkiksi CAPTCHA-tarkistukset, JavaScript-haasteet, käyttäytymisanalyysi tai istunnon validointi. Koska OpenAI-indeksointirobotit ovat automaattisia järjestelmiä, nämä tarkistukset voivat estää pääsyn, vaikka indeksointirobotti läpäisisi aiemmat kerrokset onnistuneesti.
Tarkista sovelluksessasi käytössä oleva ihmisen varmistus- tai automaation estologiikka ja varmista, että OpenAI-indeksointirobotit vapautetaan siitä tarvittaessa, mieluiten lisäämällä indeksointirobottiemme user agent -tunnisteet sallittujen luetteloon.
Huomautus vakaista IP-alueista
Jotkin tietoturvajärjestelmät edellyttävät, että indeksointirobottiliikenne tulee vakaista, julkisesti dokumentoiduista IP-alueista, ennen kuin liikenne voidaan lisätä luotettavasti sallittujen luetteloon. Koska indeksointirobottien infrastruktuuri voi kehittyä ajan myötä, teknisen tiimisi ei pitäisi luottaa pelkästään lokien lyhytaikaisiin IP-havaintoihin. Sen sijaan liikenne kannattaa validoida yhdistämällä user agent -tunnistus, tuetut vahvistetut bottiohjelmat, palomuurin sallittujen luettelot, robots.txt-käyttäytyminen ja palveluntarjoajatason bottien vahvistusjärjestelmät.
Jos sinun on sallittava vakaa luettelo IP-alueista, katso https://openai.com/searchbot.json ja https://openai.com/adsbot.json.
Huomautus pyyntörajoituksista
Suuret joukkoerälataukset tai äkilliset piikit indeksointirobottiliikenteessä voivat joskus käynnistää automaattisen pyyntörajoituksen tai bottisuojausjärjestelmät.
Jos epäilet pyyntörajoituksen olevan käynnissä, pyydä teknistä tiimiäsi tarkistamaan HTTP-vastauskoodit, erityisesti 429 Too Many Requests, palomuurin tai CDN:n lokit, bottien torjuntatapahtumat, pyyntöjen kuristussäännöt sekä liikenneanalytiikka ajalta, jolloin indeksointirobotti yritti päästä sivulle. Tämä voi auttaa selvittämään, hidastetaanko tai estetäänkö pyyntöjä tarkoituksellisesti infrastruktuurin suojausten vuoksi.
Voit myös harkita mainosten lataamista pidemmän ajan kuluessa pienemmissä erissä.
Huomautus Cloudflaresta
Cloudflare on virallisesti vahvistanut OAI-AdsBotin ja lisännyt sen sallittujen luetteloon.
Indeksointirobotteja ja laskeutumissivuja koskevat usein kysytyt kysymykset
Mikä indeksointirobotti vaaditaan mainosten tarkistukseen?
OAI-AdsBot vaaditaan ChatGPT-mainosten laskeutumissivujen validointiin ja tarkistukseen. OAI-SearchBotia suositellaan, koska se voi auttaa OpenAI:ta ymmärtämään julkista verkkosisältöä, mutta mainostajien kannattaa asettaa OAI-AdsBot etusijalle mainosten valmiuden varmistamisessa.
Voiko tuki ohittaa indeksointirobotin validoinnin manuaalisesti?
Älä luota manuaaliseen ohitukseen. Tee laskeutumissivusta OAI-AdsBotin indeksoitavissa oleva korjaamalla robots.txt-, WAF-, CDN-, bottien torjunta-, todennus- ja pyyntörajaestot. Mainokset on ehkä ladattava uudelleen tai lähetettävä uudelleen tarkistettaviksi, kun laskeutumissivulle pääsee.
Mitä teknisen tiimini pitäisi tarkistaa ensin?
Tarkista, palauttaako laskeutumissivu onnistuneen HTTP-vastauksen OAI-AdsBotille, salliiko robots.txt asiaankuuluvan polun ja estävätkö WAF, CDN, bottien torjunta, JavaScript-haasteet, CAPTCHA-tarkistukset, todennus tai maantieteelliset säännöt automaattisen pääsyn.
Tuetaanko laskeutumissivuina sovelluskaupan linkkejä, syvälinkkejä tai muita kuin verkkokohteita?
Käytä suoraan saavutettavaa verkkolaskeutumissivua aina kun mahdollista. Sovelluskaupan linkit, syvälinkit, asiakirjat tai kohteet, jotka edellyttävät sovellusta, kirjautumista, aluekohtaista pääsyä tai tukemattomia uudelleenohjauksia, eivät välttämättä tarjoa riittävästi indeksoitavaa sisältöä validointia tai tarkistusta varten.
Milloin minun pitäisi ladata uudelleen tai pyytää tarkistusta uudelleen?
Kun olet korjannut indeksointirobotin pääsyn, lataa asianomaiset mainokset uudelleen tai lähetä ne uudelleen, jos tila ei päivity itsestään. Joukkoladatuissa mainoksissa pienemmät erät voivat vähentää pyyntörajan tai bottisuojauksen laukeamista samalla, kun tiimisi varmistaa korjauksen toimivuuden.