Zakaj OpenAI uporablja spletne pajke?
Za preverjanje varnosti spletnih strani, predloženih kot oglasi v ChatGPT, uporabljamo spletne pajke. Ko predložite oglas, lahko OpenAI obišče ciljno stran in preveri, ali je skladna z našimi pravilniki. Vsebino ciljne strani lahko uporabimo tudi za ugotavljanje, kdaj je oglas najprimerneje prikazati uporabnikom.
Katere spletne pajke OpenAI morate dovoliti?
Dovoliti morate OAI-AdsBot. Priporočamo, da dovolite OAI-AdsBot in OAI-SearchBot.
Pri virih izdelkov dovolite tudi, da OAI-SearchBot preišče URL-je slik izdelkov. Preverite pravila požarnega zidu, omrežja CDN in zaščite pred boti pri gostitelju slik; odgovor 403 lahko prepreči obdelavo vira.
Spletni pajki OpenAI ne morejo preiskati mojega spletnega mesta. Kaj naj storim?
Večina spletnih mest ima več ravni zaščite, skozi katere mora spletni pajek, preden lahko uspešno dostopa do spletne strani. Skupaj z ekipo za razvoj ali varnost preverite, ali lahko spletni pajki OpenAI prestanejo vsako od naslednjih ravni.
1. robots.txt
Datoteka robots.txt spletnim pajkom sporoča, ali smejo dostopati do določenih delov vašega spletnega mesta. Spletni pajki OpenAI upoštevajo ta pravila. Če datoteka robots.txt prepoveduje dostop, se preiskovanje takoj ustavi.
Preglejte nastavitve datoteke robots.txt in potrdite, da je spletnim pajkom OpenAI izrecno dovoljen dostop do ustreznih strani in poti. Na primer: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Spletna zaščita in omejevanje botov
Številna spletna mesta se pred napadi DDoS, zajemanjem vsebine in nepooblaščenim prometom branijo s storitvami, kot so Cloudflare, Akamai in drugi ponudniki spletne zaščite. Ti sistemi lahko pomotoma blokirajo legitimne spletne pajke in pogosto vrnejo napako 403 Forbidden. Ker je promet spletnih pajkov OpenAI lahko podoben avtomatiziranemu prometu, se jim lahko dostop zavrne, če niso izrecno dodani na seznam dovoljenih.
Preglejte nastavitve spletne zaščite ali požarnega zidu in promet spletnih pajkov OpenAI po možnosti dodajte na seznam dovoljenih, najbolje na podlagi njihovih uporabniških agentov. Vaša ekipa za razvoj ali infrastrukturo naj preveri tudi vsa samodejna pravila za omejevanje botov, ki bi lahko povzročala lažne pozitivne zaznave.
3. Preverjanje pristnosti uporabnika in zaščita pred boti
Nekatera spletna mesta na ravni aplikacije izvajajo dodatna preverjanja, ali je obiskovalec človek, kot so CAPTCHA, izzivi JavaScript, analiza vedenja ali preverjanje seje. Ker so spletni pajki OpenAI avtomatizirani sistemi, jim lahko ta preverjanja preprečijo dostop, tudi če uspešno prestanejo prejšnje ravni.
Preglejte vso logiko za preverjanje pristnosti uporabnikov ali preprečevanje avtomatizacije v aplikaciji in spletne pajke OpenAI po potrebi izvzemite, najbolje tako, da njihove uporabniške agente dodate na seznam dovoljenih.
Opomba o stalnih obsegih naslovov IP
Nekateri varnostni sistemi zahtevajo, da promet spletnih pajkov izvira iz stalnih, javno dokumentiranih obsegov naslovov IP, preden ga je mogoče zanesljivo dodati na seznam dovoljenih. Ker se lahko infrastruktura spletnih pajkov sčasoma spremeni, naj se vaša razvojna ekipa ne zanaša izključno na kratkoročna opažanja naslovov IP v dnevnikih. Namesto tega preverjajte promet s kombinacijo prepoznavanja uporabniškega agenta, programov za preverjene bote, kjer so podprti, seznamov dovoljenih v požarnem zidu, vedenja datoteke robots.txt in sistemov ponudnikov za preverjanje botov.
Če morate dovoliti nespremenljiv seznam obsegov naslovov IP, uporabite https://openai.com/searchbot.json in https://openai.com/adsbot.json.
Opomba o omejevanju hitrosti zahtev
Velika paketna nalaganja ali nenadni porasti prometa spletnih pajkov lahko včasih sprožijo samodejno omejevanje hitrosti zahtev ali sisteme za zaščito pred boti.
Če sumite na omejevanje hitrosti zahtev, prosite razvojno ekipo, naj preveri odzivne kode HTTP, zlasti 429 Too Many Requests, dnevnike požarnega zidu ali omrežja CDN, dogodke omejevanja botov, pravila za omejevanje zahtev in analitiko prometa v času, ko je spletni pajek poskušal dostopati. Tako lahko ugotovite, ali infrastrukturne zaščite namerno upočasnjujejo ali blokirajo zahteve.
Razmislite lahko tudi o nalaganju oglasov v manjših paketih skozi daljše obdobje.
Opomba o storitvi Cloudflare
Cloudflare je OAI-AdsBot uradno preveril in dodal na seznam dovoljenih.
Pogosta vprašanja o spletnih pajkih in ciljnih straneh
Kateri spletni pajek je potreben za pregled oglasov?
OAI-AdsBot je potreben za preverjanje in pregled ciljnih strani Oglasov ChatGPT. OAI-SearchBot je priporočljiv, saj lahko OpenAI pomaga razumeti javno spletno vsebino, vendar naj oglaševalci pri pripravi oglasov dajo prednost pajku OAI-AdsBot.
Ali lahko podpora ročno zaobide preverjanje spletnega pajka?
Ne zanašajte se na ročni obvod. S popravki blokad v datoteki robots.txt, sistemu WAF, omrežju CDN, zaščiti pred boti, preverjanju pristnosti in omejevanju hitrosti zahtev omogočite, da OAI-AdsBot preišče ciljno stran. Ko ciljna stran postane dostopna, boste oglase morda morali znova naložiti ali predložiti v pregled.
Kaj naj moja razvojna ekipa preveri najprej?
Preverite, ali ciljna stran pajku OAI-AdsBot vrne uspešen odziv HTTP, ali datoteka robots.txt dovoljuje ustrezno pot ter ali WAF, CDN, omejevanje botov, izzivi JavaScript, CAPTCHA, preverjanje pristnosti ali geografska pravila blokirajo avtomatiziran dostop.
Ali so povezave do trgovin z aplikacijami, globoke povezave ali drugi cilji zunaj spleta podprti kot ciljne strani?
Če je mogoče, uporabite neposredno dostopno spletno ciljno stran. Povezave do trgovin z aplikacijami, globoke povezave, dokumenti ali cilji, ki zahtevajo aplikacijo, prijavo, dostop iz določene regije ali nepodprte preusmeritve, morda ne zagotavljajo dovolj vsebine, ki jo je mogoče preiskati za preverjanje ali pregled.
Kdaj naj oglase znova naložim ali ponovno zahtevam pregled?
Ko odpravite težave z dostopom spletnega pajka, znova naložite ali predložite prizadete oglase, če se njihovo stanje ne posodobi samodejno. Pri paketno naloženih oglasih lahko manjši paketi zmanjšajo sprožanje omejitev hitrosti zahtev ali zaščite pred boti, medtem ko vaša ekipa preverja rešitev.