Zašto OpenAI koristi web-indeksere?
Koristimo indeksere da provjerimo sigurnost web-stranica poslanih kao reklame na ChatGPT-u. Kada pošaljete reklamu, OpenAI može posjetiti odredišnu stranicu kako bi provjerio je li usklađena s našim pravilima. Sadržaj odredišne stranice možemo koristiti i da odredimo kada je reklama najrelevantnija za prikazivanje korisnicima.
Koje OpenAI indeksere trebate dozvoliti?
Morate dozvoliti OAI-AdsBot. Preporučujemo da dozvolite i OAI-AdsBot i OAI-SearchBot.
Za sažetke proizvoda također dozvolite servisu OAI-SearchBot indeksiranje URL-ova slika proizvoda. Provjerite pravila zaštitnog zida, CDN-a i zaštite od botova na hostu slike; odgovor 403 može blokirati obradu sažetka.
OpenAI indekseri ne mogu indeksirati moju web-lokaciju. Šta trebam uraditi?
Većina web-lokacija ima više slojeva zaštite koje indekser mora proći da bi uspješno pristupio web-stranici. S inženjerskim ili sigurnosnim timom provjerite mogu li OpenAI indekseri proći kroz svaki od sljedećih slojeva.
1. robots.txt
Datoteka robots.txt govori indekserima smiju li pristupiti određenim dijelovima vaše web-lokacije. OpenAI indekseri poštuju ta pravila. Ako je pristup zabranjen u datoteci robots.txt, indeksiranje će se odmah zaustaviti.
Pregledajte konfiguraciju datoteke robots.txt i potvrdite da je OpenAI indekserima izričito dozvoljen pristup relevantnim stranicama i putanjama. Naprimjer: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Zaštita weba i sprečavanje botova
Mnoge web-lokacije koriste usluge kao što su Cloudflare, Akamai ili drugi pružaoci web-zaštite radi odbrane od DDoS napada, prikupljanja podataka i neovlaštenog saobraćaja. Ti sistemi mogu greškom blokirati legitimne indeksere, često vraćajući grešku 403 Forbidden. Budući da OpenAI indekseri mogu nalikovati obrascima automatizovanog saobraćaja, pristup im može biti odbijen ako nisu izričito stavljeni na listu dozvoljenih.
Pregledajte konfiguraciju web-zaštite ili zaštitnog zida i, gdje je moguće, stavite saobraćaj OpenAI indeksera na listu dozvoljenih, idealno na osnovu naših korisničkih agenata indeksiranja. Vaš inženjerski ili infrastrukturni tim također treba pregledati sva automatizovana pravila za sprečavanje botova koja bi mogla davati lažno pozitivne rezultate.
3. Provjera da je korisnik čovjek i zaštita od botova
Neke web-lokacije uvode dodatne provjere na nivou aplikacije kako bi utvrdile je li posjetilac čovjek, poput CAPTCHA provjera, JavaScript izazova, analize ponašanja ili provjere sesije. Budući da su OpenAI indekseri automatizovani sistemi, te provjere mogu blokirati pristup čak i ako indekser uspješno prođe prethodne slojeve.
Pregledajte svu logiku za provjeru da je korisnik čovjek ili sprečavanje automatizacije implementiranu u aplikaciji i po potrebi izuzmite OpenAI indeksere, idealno stavljanjem naših korisničkih agenata indeksiranja na listu dozvoljenih.
Napomena o stabilnim rasponima IP adresa
Neki sigurnosni sistemi zahtijevaju da saobraćaj indeksiranja potiče iz stabilnih, javno dokumentovanih raspona IP adresa kako bi se mogao pouzdano staviti na listu dozvoljenih. Budući da se infrastruktura indeksiranja s vremenom može mijenjati, vaš inženjerski tim ne bi se trebao oslanjati samo na kratkoročna zapažanja IP adresa iz zapisnika. Umjesto toga, provjerite saobraćaj kombinovanjem identifikacije korisničkog agenta, programa za provjerene botove gdje su podržani, lista dozvoljenih u zaštitnom zidu, ponašanja datoteke robots.txt i sistema pružaoca usluge za provjeru botova.
Ako morate dozvoliti stabilnu listu raspona IP adresa, koristite https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Napomena o ograničavanju učestalosti zahtjeva
Velika grupna otpremanja ili nagli porast saobraćaja indeksiranja ponekad mogu aktivirati automatsko ograničavanje učestalosti zahtjeva ili sisteme za zaštitu od botova.
Ako sumnjate da se primjenjuje ograničavanje učestalosti zahtjeva, zamolite inženjerski tim da pregleda kodove HTTP odgovora, naročito 429 Too Many Requests, zapisnike zaštitnog zida ili CDN-a, događaje sprečavanja botova, pravila ograničavanja zahtjeva i analitiku saobraćaja u vrijeme kada je indekser pokušao pristupiti. To može pomoći da utvrdite usporavaju li se zahtjevi namjerno ili ih blokira zaštita infrastrukture.
Možete razmotriti i otpremanje reklama u manjim grupama tokom dužeg perioda.
Napomena o usluzi Cloudflare
Cloudflare je službeno potvrdio OAI-AdsBot i stavio ga na listu dozvoljenih.
Česta pitanja o indekserima i odredišnim stranicama
Koji je indekser potreban za pregled reklama?
OAI-AdsBot je potreban za provjeru i pregled odredišnih stranica za ChatGPT reklame. OAI-SearchBot se preporučuje jer može pomoći OpenAI-ju da razumije javni web-sadržaj, ali oglašivači trebaju dati prednost indekseru OAI-AdsBot kako bi reklame bile spremne.
Može li podrška ručno zaobići provjeru indeksera?
Nemojte se oslanjati na ručno zaobilaženje. Omogućite OAI-AdsBotu indeksiranje odredišne stranice uklanjanjem blokada u datoteci robots.txt, WAF-u, CDN-u, zaštiti od botova, autentifikaciji i ograničavanju učestalosti zahtjeva. Nakon što odredišna stranica postane dostupna, možda ćete morati ponovo otpremiti reklame ili ih ponovo poslati na pregled.
Šta moj inženjerski tim treba prvo provjeriti?
Provjerite vraća li odredišna stranica uspješan HTTP odgovor servisu OAI-AdsBot, dozvoljava li robots.txt relevantnu putanju te blokiraju li WAF, CDN, zaštita od botova, JavaScript izazovi, CAPTCHA provjere, autentifikacija ili geografska pravila automatizovani pristup.
Jesu li veze na prodavnice aplikacija, duboke veze ili odredišta koja nisu web-stranice podržani kao odredišne stranice?
Kad god je moguće, koristite direktno dostupnu web-odredišnu stranicu. Veze na prodavnice aplikacija, duboke veze, dokumenti ili odredišta koja zahtijevaju aplikaciju, prijavu, pristup iz određene regije ili nepodržana preusmjeravanja možda neće pružiti dovoljno sadržaja koji se može indeksirati radi provjere ili pregleda.
Kada trebam ponovo otpremiti reklamu ili zatražiti novi pregled?
Nakon što riješite problem s pristupom indeksera, ponovo otpremite ili pošaljite pogođene reklame ako se status ne ažurira automatski. Kod grupno otpremljenih reklama manje grupe mogu smanjiti aktiviranje ograničenja učestalosti zahtjeva ili zaštite od botova dok vaš tim provjerava ispravku.