Zašto OpenAI koristi web crawlere?
Koristimo crawlere za provjeru sigurnosti web stranica poslanih kao oglasi na ChatGPT-u. Kada pošaljete oglas, OpenAI može posjetiti odredišnu stranicu kako bi provjerio je li usklađena s našim pravilima. Možemo koristiti i sadržaj odredišne stranice kako bismo utvrdili kada je najrelevantnije prikazati oglas korisnicima.
Koje OpenAI crawlere trebate dopustiti?
Morate dopustiti OAI-AdsBot. Preporučujemo da dopustite i OAI-AdsBot i OAI-SearchBot
OpenAI crawleri ne mogu indeksirati moju web stranicu. Što trebam učiniti?
Većina web stranica ima više slojeva zaštite prije nego što crawler može uspješno pristupiti web stranici. Preporučujemo da sa svojim timom za inženjering/sigurnost provjerite mogu li OpenAI crawleri proći kroz svaki od sljedećih slojeva:
1. robots.txt
Pregled: Datoteka robots.txt govori crawlerima smiju li pristupati određenim dijelovima vaše web stranice. OpenAI crawleri poštuju ta pravila. Ako je pristup zabranjen u robots.txt, indeksiranje će se odmah zaustaviti.
Preporuka: Pregledajte konfiguraciju svoje datoteke robots.txt i potvrdite da je OpenAI crawlerima izričito dopušten pristup relevantnim stranicama i putanjama.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Web zaštita / ublažavanje botova
Pregled: Mnoge web stranice koriste usluge kao što su Cloudflare, Akamai ili druge pružatelje web zaštite za obranu od DDoS napada, scrapinga i neovlaštenog prometa. Ti sustavi mogu pogrešno blokirati legitimne crawlere, često vraćajući pogreške 403 Forbidden. Budući da OpenAI crawleri mogu nalikovati obrascima automatiziranog prometa, može im biti uskraćen pristup ako nisu posebno stavljeni na popis dopuštenih.
Preporuka: Pregledajte konfiguraciju svoje web zaštite ili vatrozida i, gdje je moguće, stavite promet OpenAI crawlera na popis dopuštenih, idealno na temelju user-agenta naših crawlera. Vaš tim za inženjering ili infrastrukturu također bi trebao provjeriti sva automatizirana pravila za ublažavanje botova koja bi mogla uzrokovati lažno pozitivne rezultate.
3. Provjera da je posjetitelj čovjek / anti-bot logika
Pregled: Neke web stranice implementiraju dodatne provjere na razini aplikacije kako bi potvrdile da je posjetitelj čovjek (na primjer: CAPTCHA-e, JavaScript izazovi, analiza ponašanja ili provjera sesije). Budući da su OpenAI crawleri automatizirani sustavi, ove provjere mogu blokirati pristup čak i ako crawler uspješno prođe ranije slojeve.
Preporuka: Pregledajte svu logiku za provjeru ljudi ili sprječavanje automatizacije implementiranu u vašoj aplikaciji i pobrinite se da OpenAI crawleri budu izuzeti gdje je to primjereno, idealno stavljanjem user-agenta naših crawlera na popis dopuštenih.
Napomena o stabilnim IP rasponima
Neki sigurnosni sustavi zahtijevaju da promet crawlera dolazi iz stabilnih, javno dokumentiranih IP raspona prije nego što se promet može pouzdano staviti na popis dopuštenih.
Budući da se infrastruktura crawlera s vremenom može mijenjati, vaš tim za inženjering ne bi se trebao oslanjati isključivo na kratkoročna opažanja IP adresa iz zapisnika. Umjesto toga, preporučujemo provjeru prometa kombinacijom sljedećeg: identifikacije user-agenta, programa za provjerene botove (gdje su podržani), popisa dopuštenih na vatrozidu, ponašanja robots.txt i sustava za provjeru botova na razini pružatelja usluge.
Ako morate dopustiti stabilan popis IP raspona, pogledajte:
Napomena o ograničenju broja zahtjeva
Velika paketna učitavanja ili nagli skokovi prometa crawlera ponekad mogu aktivirati automatizirano ograničenje broja zahtjeva ili sustave zaštite od botova.
Ako sumnjate da se primjenjuje ograničenje broja zahtjeva, zatražite od svog tima za inženjering da pregleda:
HTTP kodove odgovora (osobito 429 Too Many Requests)
Zapise vatrozida ili CDN-a
Događaje ublažavanja botova
Pravila ograničavanja zahtjeva
Analitiku prometa u vrijeme kada je crawler pokušao pristupiti
To može pomoći utvrditi usporavaju li se ili blokiraju zahtjevi namjerno zbog infrastrukturnih zaštita.
Možete razmotriti i učitavanje oglasa u manjim serijama kroz dulje vremensko razdoblje.
Napomena o Cloudflareu
Cloudflare sada službeno provjerava i stavlja OAI-AdsBot na popis dopuštenih.