Kāpēc OpenAI izmanto tīmekļa rāpuļprogrammas?
Mēs izmantojam rāpuļprogrammas, lai pārbaudītu to tīmekļa lapu drošību, kuras iesniegtas kā reklāmas pakalpojumā ChatGPT. Kad iesniedzat reklāmu, OpenAI var apmeklēt galveno lapu, lai pārliecinātos par tās atbilstību mūsu politikām. Mēs varam izmantot arī galvenās lapas saturu, lai noteiktu, kad reklāmas rādīšana lietotājiem ir visatbilstošākā.
Kuras OpenAI rāpuļprogrammas ir jāatļauj?
Jums ir jāatļauj OAI-AdsBot. Iesakām atļaut gan OAI-AdsBot, gan OAI-SearchBot.
Produktu plūsmām atļaujiet arī OAI-SearchBot pārmeklēt produktu attēlu vietrāžus URL. Pārbaudiet attēlu resursdatora ugunsmūra, CDN un aizsardzības pret robotiem noteikumus; atbilde 403 var bloķēt plūsmas apstrādi.
OpenAI rāpuļprogrammas nevar pārmeklēt manu vietni. Ko man darīt?
Lielākajai daļai vietņu ir vairāki aizsardzības slāņi, kuri rāpuļprogrammai jāpārvar, lai tā varētu sekmīgi piekļūt tīmekļa lapai. Kopā ar savu izstrādes vai drošības komandu pārbaudiet, vai OpenAI rāpuļprogrammas var pārvarēt katru no tālāk norādītajiem slāņiem.
1. robots.txt
Fails robots.txt norāda rāpuļprogrammām, vai tām ir atļauts piekļūt noteiktām jūsu vietnes daļām. OpenAI rāpuļprogrammas ievēro šos noteikumus. Ja failā robots.txt piekļuve ir aizliegta, pārmeklēšana tiek nekavējoties pārtraukta.
Pārskatiet robots.txt konfigurāciju un pārliecinieties, ka OpenAI rāpuļprogrammām ir nepārprotami atļauts piekļūt attiecīgajām lapām un ceļiem. Piemēram: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Tīmekļa aizsardzība un robotu bloķēšana
Daudzas vietnes izmanto tādus pakalpojumus kā Cloudflare, Akamai vai citus tīmekļa aizsardzības nodrošinātājus, lai aizsargātos pret DDoS uzbrukumiem, datu izgūšanu un neatļautu datplūsmu. Šīs sistēmas var kļūdaini bloķēt likumīgas rāpuļprogrammas, bieži atgriežot kļūdu 403 Forbidden. Tā kā OpenAI rāpuļprogrammu darbība var līdzināties automatizētai datplūsmai, piekļuve tām var tikt liegta, ja vien tās nav īpaši pievienotas atļauto sarakstam.
Pārskatiet tīmekļa aizsardzības vai ugunsmūra konfigurāciju un, ja iespējams, pievienojiet OpenAI rāpuļprogrammu datplūsmu atļauto sarakstam, vēlams, pamatojoties uz mūsu rāpuļprogrammu lietotāja aģentiem. Jūsu izstrādes vai infrastruktūras komandai arī jāpārbauda visi automatizētie robotu bloķēšanas noteikumi, kas varētu radīt kļūdaini pozitīvus rezultātus.
3. Lietotāja autentiskuma pārbaude un aizsardzība pret robotiem
Dažās vietnēs lietojumprogrammas līmenī tiek veiktas papildu pārbaudes, lai pārliecinātos, ka apmeklētājs ir cilvēks, piemēram, CAPTCHA, JavaScript uzdevumi, uzvedības analīze vai sesijas validācija. Tā kā OpenAI rāpuļprogrammas ir automatizētas sistēmas, šīs pārbaudes var bloķēt piekļuvi pat tad, ja rāpuļprogramma ir sekmīgi pārvarējusi iepriekšējos slāņus.
Pārskatiet lietotāja autentiskuma pārbaudes un pret automatizāciju vērsto loģiku savā lietojumprogrammā un, ja nepieciešams, izslēdziet no tās OpenAI rāpuļprogrammas, vēlams, pievienojot mūsu rāpuļprogrammu lietotāja aģentus atļauto sarakstam.
Piezīme par stabiliem IP diapazoniem
Dažās drošības sistēmās rāpuļprogrammu datplūsmai jābūt no stabiliem, publiski dokumentētiem IP diapazoniem, lai to varētu uzticami pievienot atļauto sarakstam. Tā kā rāpuļprogrammu infrastruktūra laika gaitā var mainīties, jūsu izstrādes komandai nevajadzētu paļauties tikai uz īslaicīgiem žurnālos novērotiem IP datiem. Tā vietā pārbaudiet datplūsmu, apvienojot lietotāja aģenta identificēšanu, verificētu robotu programmas, ja tās tiek atbalstītas, ugunsmūra atļauto sarakstus, robots.txt darbību un pakalpojumu sniedzēja līmeņa robotu verifikācijas sistēmas.
Ja jāatļauj stabils IP diapazonu saraksts, izmantojiet https://openai.com/searchbot.json un https://openai.com/adsbot.json.
Piezīme par pieprasījumu ātruma ierobežošanu
Lielas pakešu augšupielādes vai pēkšņs rāpuļprogrammu datplūsmas pieaugums dažkārt var aktivizēt automātisku pieprasījumu ātruma ierobežošanu vai aizsardzības pret robotiem sistēmas.
Ja jums ir aizdomas par pieprasījumu ātruma ierobežošanu, lūdziet izstrādes komandai pārbaudīt HTTP atbildes kodus, jo īpaši 429 Too Many Requests, ugunsmūra vai CDN žurnālus, robotu bloķēšanas notikumus, pieprasījumu ierobežošanas noteikumus un datplūsmas analīzi laikā, kad rāpuļprogramma mēģināja piekļūt lapai. Tas var palīdzēt noteikt, vai infrastruktūras aizsardzības līdzekļi apzināti palēnina vai bloķē pieprasījumus.
Varat arī apsvērt iespēju augšupielādēt reklāmas mazākās paketēs ilgākā laika periodā.
Piezīme par Cloudflare
Cloudflare ir oficiāli verificējis OAI-AdsBot un pievienojis to atļauto sarakstam.
Bieži uzdotie jautājumi par rāpuļprogrammām un galvenajām lapām
Kura rāpuļprogramma ir nepieciešama reklāmu pārskatīšanai?
OAI-AdsBot ir nepieciešama ChatGPT Ads galveno lapu validācijai un pārskatīšanai. OAI-SearchBot ir ieteicama, jo tā var palīdzēt OpenAI izprast publiskā tīmekļa saturu, taču, gatavojot reklāmas, reklāmdevējiem prioritāte jāpiešķir rāpuļprogrammai OAI-AdsBot.
Vai atbalsta dienests var manuāli apiet rāpuļprogrammas validāciju?
Nepaļaujieties uz manuālu apiešanu. Padariet galveno lapu pieejamu OAI-AdsBot, novēršot robots.txt, WAF, CDN, robotu bloķēšanas, autentifikācijas un pieprasījumu ātruma ierobežošanas radītos šķēršļus. Kad galvenā lapa kļūst pieejama, reklāmas var būt atkārtoti jāaugšupielādē vai jāiesniedz pārskatīšanai.
Kas manai izstrādes komandai jāpārbauda vispirms?
Pārbaudiet, vai galvenā lapa atgriež OAI-AdsBot sekmīgu HTTP atbildi, vai robots.txt atļauj attiecīgo ceļu un vai WAF, CDN, robotu bloķēšana, JavaScript uzdevumi, CAPTCHA, autentifikācija vai ģeogrāfiskie noteikumi nebloķē automatizētu piekļuvi.
Vai kā galvenās lapas tiek atbalstītas lietotņu veikalu saites, dziļās saites vai galamērķi, kas nav tīmekļa lapas?
Kad vien iespējams, izmantojiet tieši pieejamu tīmekļa galveno lapu. Lietotņu veikalu saites, dziļās saites, dokumenti vai galamērķi, kuriem nepieciešama lietotne, pieteikšanās, reģionam specifiska piekļuve vai neatbalstīta novirzīšana, var nenodrošināt pietiekami daudz pārmeklējama satura validācijai vai pārskatīšanai.
Kad reklāma atkārtoti jāaugšupielādē vai vēlreiz jāpieprasa tās pārskatīšana?
Pēc rāpuļprogrammas piekļuves problēmu novēršanas atkārtoti augšupielādējiet vai iesniedziet attiecīgās reklāmas, ja to statuss netiek atjaunināts automātiski. Veicot reklāmu lielapjoma augšupielādi, mazākas paketes var samazināt pieprasījumu ātruma ierobežošanas vai aizsardzības pret robotiem aktivizēšanas risku, kamēr jūsu komanda pārbauda risinājumu.