Zakaj OpenAI uporablja spletne pajke?
Spletne pajke uporabljamo za preverjanje varnosti spletnih strani, poslanih kot oglasi v ChatGPT. Ko oddate oglas, lahko OpenAI obišče ciljno stran in preveri, ali je skladna z našimi pravilniki. Vsebino s ciljne strani lahko uporabimo tudi za določanje, kdaj je oglas najbolj ustrezno prikazati uporabnikom.
Katere spletne pajke OpenAI morate dovoliti?
Dovoliti morate OAI-AdsBot. Priporočamo, da dovolite OAI-AdsBot in OAI-SearchBot.
Spletni pajki OpenAI ne morejo preiskati mojega spletnega mesta. Kaj naj storim?
Večina spletnih mest ima več plasti zaščite, preden lahko spletni pajek uspešno dostopa do spletne strani. Z inženirsko ali varnostno ekipo preverite, ali lahko spletni pajki OpenAI preidejo skozi vsako od naslednjih plasti.
1. robots.txt
Datoteka robots.txt spletnim pajkom pove, ali smejo dostopati do določenih delov vašega spletnega mesta. Spletni pajki OpenAI ta pravila upoštevajo. Če robots.txt dostopa ne dovoljuje, se bo preiskovanje takoj ustavilo.
Preglejte konfiguracijo robots.txt in potrdite, da je spletnim pajkom OpenAI izrecno dovoljen dostop do ustreznih strani in poti. Na primer: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Spletna zaščita in ublažitev delovanja botov
Številna spletna mesta za obrambo pred napadi DDoS, strganjem podatkov in nepooblaščenim prometom uporabljajo storitve, kot so Cloudflare, Akamai ali drugi ponudniki spletne zaščite. Ti sistemi lahko pomotoma blokirajo legitimne spletne pajke, pogosto z napakami 403 Forbidden. Ker so lahko vzorci prometa spletnih pajkov OpenAI podobni avtomatiziranemu prometu, jim je lahko dostop zavrnjen, če niso izrecno dodani na seznam dovoljenih.
Preglejte konfiguracijo spletne zaščite ali požarnega zidu in promet spletnih pajkov OpenAI po možnosti dodajte na seznam dovoljenih, najbolje na podlagi naših uporabniških agentov za pajke. Vaša inženirska ali infrastrukturna ekipa naj pregleda tudi vsa samodejna pravila za ublažitev delovanja botov, ki bi lahko sprožala lažno pozitivne zadetke.
3. Preverjanje človeka in logika proti botom
Nekatera spletna mesta na ravni aplikacije uvedejo dodatna preverjanja, ali je obiskovalec človek, na primer CAPTCHA, izzive JavaScript, vedenjsko analizo ali preverjanje seje. Ker so spletni pajki OpenAI avtomatizirani sistemi, lahko ta preverjanja blokirajo dostop, tudi če pajek uspešno prestane prejšnje plasti.
Preglejte vso logiko za preverjanje človeka ali preprečevanje avtomatizacije, ki je uvedena v vaši aplikaciji, in poskrbite, da bodo spletni pajki OpenAI po potrebi izvzeti, najbolje tako, da naše uporabniške agente za pajke dodate na seznam dovoljenih.
Opomba o stabilnih obsegih IP
Nekateri varnostni sistemi zahtevajo, da promet spletnih pajkov izvira iz stabilnih, javno dokumentiranih obsegov IP, preden ga je mogoče zanesljivo dodati na seznam dovoljenih. Ker se lahko infrastruktura spletnih pajkov sčasoma spreminja, se vaša inženirska ekipa ne sme zanašati zgolj na kratkoročna opažanja IP-jev iz dnevnikov. Namesto tega promet preverjajte s kombinacijo prepoznavanja uporabniškega agenta, preverjenih programov botov, kjer so podprti, seznamov dovoljenih v požarnem zidu, vedenja robots.txt in sistemov ponudnikov za preverjanje botov.
Če morate dovoliti stabilen seznam obsegov IP, uporabite https://openai.com/searchbot.json in https://openai.com/adsbot.json.
Opomba o omejevanju hitrosti
Velika paketna nalaganja ali nenadni porasti prometa spletnih pajkov lahko včasih sprožijo samodejno omejevanje hitrosti ali sisteme za zaščito pred boti.
Če sumite, da prihaja do omejitve hitrosti, naj vaša inženirska ekipa pregleda kode odzivov HTTP, zlasti 429 Too Many Requests, dnevnike požarnega zidu ali CDN-ja, dogodke ublažitve delovanja botov, pravila za omejevanje zahtev in analitiko prometa v času, ko je spletni pajek poskušal dostopati. To lahko pomaga ugotoviti, ali infrastrukturne zaščite namerno upočasnjujejo ali blokirajo zahteve.
Razmislite lahko tudi o nalaganju oglasov v manjših paketih skozi daljše časovno obdobje.
Opomba o Cloudflare
OAI-AdsBot je pri Cloudflare uradno preverjen in dodan na seznam dovoljenih.
Pogosta vprašanja o spletnih pajkih in ciljnih straneh
Kateri spletni pajek je potreben za pregled oglasov?
OAI-AdsBot je potreben za preverjanje in pregled ciljnih strani oglasov v ChatGPT. OAI-SearchBot je priporočen, ker lahko OpenAI pomaga razumeti javno spletno vsebino, vendar naj oglaševalci za pripravljenost oglasov prednostno omogočijo pajka OAI-AdsBot.
Ali lahko podpora ročno obide preverjanje s spletnim pajkom?
Ne zanašajte se na ročni obvod. Poskrbite, da bo ciljna stran dostopna za preiskovanje z OAI-AdsBot, tako da odpravite blokade v robots.txt, WAF, CDN, ublažitvi botov, preverjanju pristnosti in omejitvah hitrosti. Ko ciljna stran postane dostopna, bo morda treba oglase znova naložiti ali znova oddati v pregled.
Kaj naj moja inženirska ekipa preveri najprej?
Preverite, ali ciljna stran za OAI-AdsBot vrne uspešen odziv HTTP, ali robots.txt dovoljuje ustrezno pot in ali WAF, CDN, ublažitev botov, izzivi JavaScript, CAPTCHA, preverjanje pristnosti ali geografska pravila blokirajo avtomatiziran dostop.
Ali so kot ciljne strani podprte povezave do trgovin z aplikacijami, globoke povezave ali cilji zunaj spleta?
Kadar je mogoče, uporabite neposredno dosegljivo spletno ciljno stran. Povezave do trgovin z aplikacijami, globoke povezave, dokumenti ali cilji, ki zahtevajo aplikacijo, prijavo, dostop glede na regijo ali nepodprte preusmeritve, morda ne zagotavljajo dovolj vsebine, ki jo je mogoče preiskati za preverjanje ali pregled.
Kdaj naj znova naložim oglas ali znova zahtevam pregled?
Ko odpravite dostop za spletnega pajka, znova naložite ali znova oddajte prizadete oglase, če se stanje ne posodobi samo. Pri množično naloženih oglasih lahko manjši paketi zmanjšajo sprožilce omejitev hitrosti ali zaščite pred boti, medtem ko vaša ekipa preverja popravek.