Zašto OpenAI koristi web crawlere?
Koristimo crawlere za provjeru sigurnosti web stranica poslanih kao oglasi na ChatGPT-u. Kada pošaljete oglas, OpenAI može posjetiti odredišnu stranicu kako bi provjerio da li je usklađena s našim pravilima. Također možemo koristiti sadržaj s odredišne stranice kako bismo utvrdili kada je oglas najrelevantnije prikazati korisnicima.
Koje OpenAI crawlere trebate dozvoliti?
Morate dozvoliti OAI-AdsBot. Preporučujemo da dozvolite i OAI-AdsBot i OAI-SearchBot.
OpenAI crawleri ne uspijevaju crawlati moju web stranicu. Šta trebam uraditi?
Većina web stranica ima više slojeva zaštite prije nego što crawler može uspješno pristupiti web stranici. Sarađujte sa svojim inženjerskim ili sigurnosnim timom kako biste provjerili da OpenAI crawleri mogu proći kroz svaki od sljedećih slojeva.
1. robots.txt
Datoteka robots.txt crawlerima govori da li im je dozvoljen pristup određenim dijelovima vaše web stranice. OpenAI crawleri poštuju ova pravila. Ako je pristup zabranjen u robots.txt, crawling će se odmah zaustaviti.
Pregledajte konfiguraciju datoteke robots.txt i potvrdite da je OpenAI crawlerima izričito dozvoljen pristup relevantnim stranicama i putanjama. Na primjer: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Web zaštita i zaštita od botova
Mnoge web stranice koriste usluge kao što su Cloudflare, Akamai ili drugi pružaoci web zaštite za odbranu od DDoS napada, scrapinga i neovlaštenog saobraćaja. Ovi sistemi mogu greškom blokirati legitimne crawlere, često vraćajući greške 403 Forbidden. Budući da OpenAI crawleri mogu ličiti na obrasce automatiziranog saobraćaja, pristup im može biti odbijen ako nisu posebno dodani na listu dozvoljenih.
Pregledajte konfiguraciju web zaštite ili zaštitnog zida i, gdje je moguće, dodajte saobraćaj OpenAI crawlera na listu dozvoljenih, idealno na osnovu naših crawler user-agent identifikatora. Vaš inženjerski ili infrastrukturni tim također treba pregledati sva automatizirana pravila za zaštitu od botova koja bi mogla pokretati lažno pozitivne rezultate.
3. Provjera da je korisnik čovjek i anti-bot logika
Neke web stranice uvode dodatne provjere na nivou aplikacije kako bi potvrdile da je posjetilac čovjek, kao što su CAPTCHA, JavaScript izazovi, analiza ponašanja ili validacija sesije. Budući da su OpenAI crawleri automatizirani sistemi, te provjere mogu blokirati pristup čak i ako crawler uspješno prođe ranije slojeve.
Pregledajte svu logiku za provjeru ljudi ili sprečavanje automatizacije implementiranu u vašoj aplikaciji i osigurajte da OpenAI crawleri budu izuzeti gdje je to prikladno, idealno dodavanjem naših crawler user-agent identifikatora na listu dozvoljenih.
Napomena o stabilnim IP rasponima
Neki sigurnosni sistemi zahtijevaju da saobraćaj crawlera potječe iz stabilnih, javno dokumentiranih IP raspona prije nego što se saobraćaj može pouzdano dodati na listu dozvoljenih. Budući da se infrastruktura crawlera može mijenjati tokom vremena, vaš inženjerski tim ne bi se trebao oslanjati isključivo na kratkoročna IP zapažanja iz logova. Umjesto toga, validirajte saobraćaj kombinacijom identifikacije user-agent stringa, programa za verifikovane botove gdje su podržani, lista dozvoljenih u zaštitnom zidu, ponašanja robots.txt i sistema za provjeru botova na nivou pružaoca usluge.
Ako morate dozvoliti stabilnu listu IP raspona, pogledajte https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Napomena o ograničenju brzine
Velika grupna otpremanja ili iznenadni skokovi u saobraćaju crawlera ponekad mogu pokrenuti automatizirano ograničenje brzine ili sisteme za zaštitu od botova.
Ako sumnjate da dolazi do ograničenja brzine, zatražite od inženjerskog tima da pregleda HTTP kodove odgovora, posebno 429 Too Many Requests, logove zaštitnog zida ili CDN-a, događaje zaštite od botova, pravila za usporavanje zahtjeva i analitiku saobraćaja u vrijeme kada je crawler pokušao pristupiti. To može pomoći da se utvrdi da li infrastrukturalne zaštite namjerno usporavaju ili blokiraju zahtjeve.
Možete razmotriti i otpremanje oglasa tokom dužeg perioda, u manjim grupama.
Napomena o Cloudflareu
OAI-AdsBot je službeno verificiran i dodan na Cloudflareovu listu dozvoljenih.
Česta pitanja o crawlerima i odredišnim stranicama
Koji je crawler potreban za pregled oglasa?
OAI-AdsBot je potreban za validaciju i pregled odredišnih stranica ChatGPT oglasa. OAI-SearchBot se preporučuje jer može pomoći OpenAI-ju da razumije javni web sadržaj, ali OAI-AdsBot je crawler kojem oglašivači trebaju dati prioritet za spremnost oglasa.
Može li podrška ručno zaobići validaciju crawlera?
Nemojte se oslanjati na ručno zaobilaženje. Učinite odredišnu stranicu dostupnom za crawling OAI-AdsBotu tako što ćete ukloniti blokade u robots.txt, WAF-u, CDN-u, zaštiti od botova, autentifikaciji i ograničenju brzine. Oglase će možda trebati ponovo otpremiti ili ponovo poslati na pregled nakon što odredišna stranica postane dostupna.
Šta moj inženjerski tim treba prvo provjeriti?
Provjerite da li odredišna stranica vraća uspješan HTTP odgovor za OAI-AdsBot, da li robots.txt dozvoljava relevantnu putanju i da li WAF, CDN, zaštita od botova, JavaScript izazovi, CAPTCHA, autentifikacija ili geo pravila blokiraju automatizirani pristup.
Da li su linkovi do trgovina aplikacija, duboki linkovi ili odredišta izvan weba podržani kao odredišne stranice?
Kad god je moguće, koristite web odredišnu stranicu kojoj se može direktno pristupiti. Linkovi do trgovina aplikacija, duboki linkovi, dokumenti ili odredišta koja zahtijevaju aplikaciju, prijavu, pristup specifičan za regiju ili nepodržana preusmjeravanja možda neće pružiti dovoljno sadržaja dostupnog crawlerima za validaciju ili pregled.
Kada trebam ponovo otpremiti ili ponovo zatražiti pregled?
Nakon što riješite pristup crawlera, ponovo otpremite ili ponovo pošaljite pogođene oglase ako se status ne ažurira sam. Za oglase otpremljene u velikim količinama, manje grupe mogu smanjiti okidače ograničenja brzine ili zaštite od botova dok vaš tim provjerava ispravku.