Zašto OpenAI upotrebljava alate za indeksiranje weba?
Upotrebljavamo alate za indeksiranje kako bismo provjerili sigurnost web-stranica poslanih kao oglasi na platformi ChatGPT. Kada pošaljete oglas, OpenAI može posjetiti odredišnu stranicu kako bi provjerio je li usklađena s našim pravilima. Možemo upotrijebiti i sadržaj odredišne stranice kako bismo odredili kada je oglas najrelevantnije prikazati korisnicima.
Koje OpenAI alate za indeksiranje trebate dopustiti?
Morate dopustiti OAI-AdsBot. Preporučujemo da dopustite i OAI-AdsBot i OAI-SearchBot.
Za sažetke podataka o proizvodima dopustite i alatu OAI-SearchBot da indeksira URL-ove slika proizvoda. Provjerite pravila vatrozida, CDN-a i zaštite od botova na poslužitelju slika; odgovor 403 može blokirati obradu sažetka podataka.
OpenAI alati za indeksiranje ne uspijevaju indeksirati moje web-mjesto. Što trebam učiniti?
Većina web-mjesta ima više slojeva zaštite kroz koje alat za indeksiranje mora proći kako bi uspješno pristupio web-stranici. Surađujte sa svojim inženjerskim ili sigurnosnim timom kako biste provjerili mogu li OpenAI alati za indeksiranje proći kroz svaki od sljedećih slojeva.
1. robots.txt
Datoteka robots.txt govori alatima za indeksiranje smiju li pristupiti određenim dijelovima vašeg web-mjesta. OpenAI alati za indeksiranje poštuju ta pravila. Ako je pristup zabranjen u datoteci robots.txt, indeksiranje će se odmah zaustaviti.
Pregledajte konfiguraciju datoteke robots.txt i potvrdite da je OpenAI alatima za indeksiranje izričito dopušten pristup relevantnim stranicama i putanjama. Na primjer: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Zaštita weba i ublažavanje aktivnosti botova
Mnoga web-mjesta upotrebljavaju usluge kao što su Cloudflare, Akamai ili drugi pružatelji zaštite weba za obranu od DDoS napada, neovlaštenog prikupljanja podataka i neovlaštenog prometa. Ti sustavi mogu pogreškom blokirati legitimne alate za indeksiranje, pri čemu često vraćaju pogrešku 403 Forbidden. Budući da OpenAI alati za indeksiranje mogu nalikovati automatiziranom prometu, pristup im može biti odbijen ako nisu izričito stavljeni na popis dopuštenih.
Pregledajte konfiguraciju zaštite weba ili vatrozida i, gdje je moguće, stavite promet OpenAI alata za indeksiranje na popis dopuštenih, po mogućnosti na temelju njihovih korisničkih agenata. Vaš inženjerski ili infrastrukturni tim također bi trebao pregledati sva automatizirana pravila za ublažavanje aktivnosti botova koja bi mogla uzrokovati lažno pozitivne rezultate.
3. Provjera ljudskog korisnika i zaštita od botova
Neka web-mjesta primjenjuju dodatne provjere na razini aplikacije kako bi potvrdila da je posjetitelj čovjek, kao što su CAPTCHA provjere, JavaScript izazovi, analiza ponašanja ili provjera valjanosti sesije. Budući da su OpenAI alati za indeksiranje automatizirani sustavi, te provjere mogu blokirati pristup čak i ako alat uspješno prođe prethodne slojeve.
Pregledajte svu logiku za provjeru ljudskog korisnika ili zaštitu od automatizacije ugrađenu u aplikaciju i prema potrebi izuzmite OpenAI alate za indeksiranje, po mogućnosti stavljanjem njihovih korisničkih agenata na popis dopuštenih.
Napomena o stabilnim rasponima IP adresa
Neki sigurnosni sustavi zahtijevaju da promet alata za indeksiranje dolazi iz stabilnih, javno dokumentiranih raspona IP adresa kako bi se mogao pouzdano staviti na popis dopuštenih. Budući da se infrastruktura alata za indeksiranje s vremenom može mijenjati, vaš inženjerski tim ne bi se trebao oslanjati isključivo na kratkoročna opažanja IP adresa iz zapisnika. Umjesto toga, provjeravajte promet kombinacijom identifikacije korisničkog agenta, programa za provjerene botove gdje su podržani, popisa dopuštenih na vatrozidu, ponašanja datoteke robots.txt i sustava pružatelja usluga za provjeru botova.
Ako morate dopustiti stabilan popis raspona IP adresa, pogledajte https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Napomena o ograničavanju brzine zahtjeva
Prijenosi velikih skupina oglasa ili nagli porasti prometa alata za indeksiranje ponekad mogu aktivirati automatizirano ograničavanje brzine zahtjeva ili sustave zaštite od botova.
Ako sumnjate na ograničavanje brzine zahtjeva, zatražite od inženjerskog tima da pregleda kodove HTTP odgovora, osobito 429 Too Many Requests, zapisnike vatrozida ili CDN-a, događaje ublažavanja aktivnosti botova, pravila ograničavanja zahtjeva i analitiku prometa u vrijeme kada je alat za indeksiranje pokušao pristupiti sadržaju. To može pomoći utvrditi usporavaju li zaštitni mehanizmi infrastrukture namjerno zahtjeve ili ih blokiraju.
Možete razmotriti i prijenos oglasa u manjim skupinama tijekom duljeg razdoblja.
Napomena o usluzi Cloudflare
Cloudflare je službeno potvrdio OAI-AdsBot i stavio ga na popis dopuštenih.
Česta pitanja o alatima za indeksiranje i odredišnim stranicama
Koji je alat za indeksiranje potreban za pregled oglasa?
OAI-AdsBot potreban je za provjeru valjanosti i pregled odredišnih stranica za ChatGPT oglase. OAI-SearchBot preporučuje se jer može pomoći tvrtki OpenAI da razumije javni web-sadržaj, ali oglašivači bi za spremnost oglasa trebali dati prednost alatu OAI-AdsBot.
Može li podrška ručno zaobići provjeru alata za indeksiranje?
Nemojte se oslanjati na ručno zaobilaženje provjere. Omogućite alatu OAI-AdsBot indeksiranje odredišne stranice tako da uklonite blokade u datoteci robots.txt, WAF-u, CDN-u, sustavima za ublažavanje aktivnosti botova, autentifikaciji i ograničavanju brzine zahtjeva. Nakon što odredišna stranica postane dostupna, oglase će možda trebati ponovno prenijeti ili poslati na pregled.
Što bi moj inženjerski tim trebao prvo provjeriti?
Provjerite vraća li odredišna stranica uspješan HTTP odgovor alatu OAI-AdsBot, dopušta li robots.txt relevantnu putanju te blokiraju li WAF, CDN, sustavi za ublažavanje aktivnosti botova, JavaScript izazovi, CAPTCHA provjere, autentifikacija ili zemljopisna pravila automatizirani pristup.
Jesu li poveznice na trgovine aplikacijama, dubinske poveznice ili odredišta izvan weba podržani kao odredišne stranice?
Kad god je moguće, upotrebljavajte izravno dostupnu web-odredišnu stranicu. Poveznice na trgovine aplikacijama, dubinske poveznice, dokumenti ili odredišta koja zahtijevaju aplikaciju, prijavu, pristup iz određene regije ili nepodržana preusmjeravanja možda neće pružiti dovoljno sadržaja koji se može indeksirati radi provjere valjanosti ili pregleda.
Kada trebam ponovno prenijeti oglas ili zatražiti novi pregled?
Nakon što omogućite pristup alatu za indeksiranje, ponovno prenesite ili pošaljite zahvaćene oglase ako se njihov status ne ažurira automatski. Kod skupnog prijenosa oglasa manje skupine mogu smanjiti aktiviranje ograničenja brzine zahtjeva ili zaštite od botova dok vaš tim provjerava rješenje.