Zašto OpenAI upotrebljava web crawlere?
Upotrebljavamo crawlere za provjeru sigurnosti web-stranica poslanih kao oglasi na ChatGPT-u. Kada pošaljete oglas, OpenAI može posjetiti odredišnu stranicu kako bi provjerio je li u skladu s našim pravilima. Možemo upotrijebiti i sadržaj s odredišne stranice kako bismo odredili kada je oglas najrelevantnije prikazati korisnicima.
Koje OpenAI crawlere trebate dopustiti?
Morate dopustiti OAI-AdsBot. Preporučujemo da dopustite i OAI-AdsBot i OAI-SearchBot.
OpenAI crawleri ne uspijevaju indeksirati moje web-mjesto. Što trebam učiniti?
Većina web-mjesta ima više slojeva zaštite koje crawler mora proći da bi uspješno pristupio web-stranici. Surađujte sa svojim inženjerskim ili sigurnosnim timom kako biste provjerili mogu li OpenAI crawleri proći kroz svaki od sljedećih slojeva.
1. robots.txt
Datoteka robots.txt crawlerima govori smiju li pristupiti određenim dijelovima vašeg web-mjesta. OpenAI crawleri poštuju ta pravila. Ako je pristup zabranjen u datoteci robots.txt, crawlanje će se odmah zaustaviti.
Pregledajte konfiguraciju datoteke robots.txt i potvrdite da je OpenAI crawlerima izričito dopušten pristup relevantnim stranicama i putanjama. Na primjer: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Zaštita weba i zaštita od botova
Mnoga web-mjesta upotrebljavaju usluge kao što su Cloudflare, Akamai ili drugi pružatelji zaštite weba za obranu od DDoS napada, scrapinga i neovlaštenog prometa. Ti sustavi mogu pogreškom blokirati legitimne crawlere, često uz pogreške 403 Forbidden. Budući da OpenAI crawleri mogu nalikovati obrascima automatiziranog prometa, pristup im može biti odbijen ako nisu posebno stavljeni na popis dopuštenih.
Pregledajte konfiguraciju zaštite weba ili vatrozida i, gdje je moguće, stavite promet OpenAI crawlera na popis dopuštenih, idealno na temelju naših korisničkih agenata crawlera. Vaš inženjerski ili infrastrukturni tim trebao bi provjeriti i sva automatizirana pravila za zaštitu od botova koja bi mogla uzrokovati lažno pozitivne rezultate.
3. Provjera ljudi i logika protiv botova
Neka web-mjesta uvode dodatne provjere na razini aplikacije kako bi potvrdila da je posjetitelj čovjek, kao što su CAPTCHA-e, JavaScript izazovi, analiza ponašanja ili provjera valjanosti sesije. Budući da su OpenAI crawleri automatizirani sustavi, te provjere mogu blokirati pristup čak i ako crawler uspješno prođe ranije slojeve.
Pregledajte svu logiku za provjeru ljudi ili sprječavanje automatizacije implementiranu u aplikaciji i pobrinite se da OpenAI crawleri budu izuzeti gdje je prikladno, idealno stavljanjem naših korisničkih agenata crawlera na popis dopuštenih.
Napomena o stabilnim rasponima IP adresa
Neki sigurnosni sustavi zahtijevaju da promet crawlera potječe iz stabilnih, javno dokumentiranih raspona IP adresa kako bi se promet mogao pouzdano staviti na popis dopuštenih. Budući da se infrastruktura crawlera s vremenom može mijenjati, vaš inženjerski tim ne bi se trebao oslanjati samo na kratkoročna opažanja IP adresa iz zapisnika. Umjesto toga, promet provjeravajte kombinacijom identifikacije korisničkog agenta, programa za provjerene botove gdje su podržani, popisa dopuštenih na vatrozidu, ponašanja datoteke robots.txt i sustava pružatelja za provjeru botova.
Ako morate dopustiti stabilan popis raspona IP adresa, pogledajte https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Napomena o ograničenju broja zahtjeva
Velika skupna učitavanja ili nagli skokovi prometa crawlera ponekad mogu pokrenuti automatizirano ograničenje broja zahtjeva ili sustave za zaštitu od botova.
Ako sumnjate da dolazi do ograničenja broja zahtjeva, zamolite inženjerski tim da pregleda HTTP kodove odgovora, osobito 429 Too Many Requests, zapisnike vatrozida ili CDN-a, događaje zaštite od botova, pravila prigušivanja zahtjeva i analitiku prometa u vrijeme kada je crawler pokušao pristupiti. To može pomoći utvrditi usporavaju li se ili blokiraju zahtjevi namjerno zbog infrastrukturnih zaštita.
Možete razmotriti i učitavanje oglasa tijekom duljeg razdoblja u manjim skupinama.
Napomena o Cloudflareu
OAI-AdsBot službeno je potvrđen i stavljen na popis dopuštenih u Cloudflareu.
Česta pitanja o crawlerima i odredišnim stranicama
Koji je crawler potreban za pregled oglasa?
OAI-AdsBot potreban je za provjeru valjanosti i pregled odredišnih stranica za ChatGPT oglase. OAI-SearchBot se preporučuje jer može pomoći OpenAI-ju da razumije javni web-sadržaj, ali OAI-AdsBot je crawler kojem bi oglašivači trebali dati prednost za spremnost oglasa.
Može li podrška ručno zaobići provjeru crawlera?
Nemojte se oslanjati na ručno zaobilaženje. Učinite odredišnu stranicu dostupnom za crawlanje OAI-AdsBotu tako da uklonite blokade u robots.txt, WAF-u, CDN-u, zaštiti od botova, autentifikaciji i ograničenju broja zahtjeva. Oglase će možda trebati ponovno učitati ili ponovno poslati na pregled nakon što odredišna stranica postane dostupna.
Što bi moj inženjerski tim trebao prvo provjeriti?
Provjerite vraća li odredišna stranica uspješan HTTP odgovor OAI-AdsBotu, dopušta li robots.txt relevantnu putanju te blokiraju li WAF, CDN, zaštita od botova, JavaScript izazovi, CAPTCHA-e, autentifikacija ili geografska pravila automatizirani pristup.
Jesu li veze na trgovine aplikacija, dubinske veze ili odredišta koja nisu web-stranice podržani kao odredišne stranice?
Kad god je moguće, upotrijebite izravno dostupnu web-odredišnu stranicu. Veze na trgovine aplikacija, dubinske veze, dokumenti ili odredišta koja zahtijevaju aplikaciju, prijavu, pristup specifičan za regiju ili nepodržana preusmjeravanja možda neće pružiti dovoljno sadržaja dostupnog crawleru za provjeru valjanosti ili pregled.
Kada trebam ponovno učitati oglas ili ponovno zatražiti pregled?
Nakon što riješite pristup crawlera, ponovno učitajte ili ponovno pošaljite zahvaćene oglase ako se status ne ažurira sam. Za oglase učitane skupno, manje skupine mogu smanjiti okidače ograničenja broja zahtjeva ili zaštite od botova dok vaš tim provjerava ispravak.