Kāpēc OpenAI izmanto tīmekļa rāpuļprogrammas?
Mēs izmantojam rāpuļprogrammas, lai pārbaudītu to tīmekļa lapu drošību, kas iesniegtas kā reklāmas pakalpojumā ChatGPT. Kad iesniedzat reklāmu, OpenAI var apmeklēt galveno lapu, lai pārliecinātos, ka tā atbilst mūsu politikām. Mēs varam izmantot arī galvenās lapas saturu, lai noteiktu, kad reklāmu lietotājiem rādīt ir visatbilstošāk.
Kuras OpenAI rāpuļprogrammas jums jāatļauj?
Jums jāatļauj OAI-AdsBot. Iesakām atļaut gan OAI-AdsBot, gan OAI-SearchBot.
OpenAI rāpuļprogrammas nespēj pārmeklēt manu vietni. Kā man rīkoties?
Lielākajai daļai vietņu ir vairāki aizsardzības slāņi, pirms rāpuļprogramma var sekmīgi piekļūt tīmekļa lapai. Sadarbojieties ar savu inženierijas vai drošības komandu, lai pārbaudītu, vai OpenAI rāpuļprogrammas var iziet cauri katram no tālāk norādītajiem slāņiem.
1. robots.txt
Fails robots.txt norāda rāpuļprogrammām, vai tām ir atļauts piekļūt noteiktām jūsu vietnes daļām. OpenAI rāpuļprogrammas ievēro šos noteikumus. Ja piekļuve failā robots.txt ir aizliegta, pārmeklēšana nekavējoties tiks apturēta.
Pārskatiet savu robots.txt konfigurāciju un pārliecinieties, ka OpenAI rāpuļprogrammām ir skaidri atļauts piekļūt attiecīgajām lapām un ceļiem. Piemēram: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Tīmekļa aizsardzība un robotu ierobežošana
Daudzas vietnes izmanto tādus pakalpojumus kā Cloudflare, Akamai vai citus tīmekļa aizsardzības nodrošinātājus, lai aizsargātos pret DDoS uzbrukumiem, datu noskrāpēšanu un neatļautu datplūsmu. Šīs sistēmas var kļūdaini bloķēt leģitīmas rāpuļprogrammas, bieži atgriežot kļūdas 403 Forbidden. Tā kā OpenAI rāpuļprogrammu datplūsma var līdzināties automatizētai datplūsmai, piekļuve tām var tikt liegta, ja tās nav īpaši iekļautas atļauto sarakstā.
Pārskatiet savu tīmekļa aizsardzības vai ugunsmūra konfigurāciju un, ja iespējams, iekļaujiet OpenAI rāpuļprogrammu datplūsmu atļauto sarakstā, ideālā gadījumā balstoties uz mūsu rāpuļprogrammu lietotāja aģentiem. Jūsu inženierijas vai infrastruktūras komandai jāpārbauda arī visi automatizētie robotu ierobežošanas noteikumi, kas varētu izraisīt kļūdaini pozitīvus rezultātus.
3. Cilvēka verifikācija un pretrobotu loģika
Dažās vietnēs tiek ieviestas papildu pārbaudes lietojumprogrammas līmenī, lai pārliecinātos, ka apmeklētājs ir cilvēks, piemēram, CAPTCHA pārbaudes, JavaScript uzdevumi, uzvedības analīze vai sesijas validācija. Tā kā OpenAI rāpuļprogrammas ir automatizētas sistēmas, šīs pārbaudes var bloķēt piekļuvi pat tad, ja rāpuļprogramma sekmīgi iziet iepriekšējos slāņus.
Pārskatiet jebkādu cilvēka verifikācijas vai automatizācijas novēršanas loģiku, kas ieviesta jūsu lietojumprogrammā, un pārliecinieties, ka OpenAI rāpuļprogrammām vajadzīgajos gadījumos tiek piemērots izņēmums, ideālā gadījumā iekļaujot mūsu rāpuļprogrammu lietotāja aģentus atļauto sarakstā.
Piezīme par stabiliem IP diapazoniem
Dažas drošības sistēmas pieprasa, lai rāpuļprogrammu datplūsma nāktu no stabiliem, publiski dokumentētiem IP diapazoniem, pirms šo datplūsmu var uzticami iekļaut atļauto sarakstā. Tā kā rāpuļprogrammu infrastruktūra laika gaitā var mainīties, jūsu inženierijas komandai nevajadzētu paļauties tikai uz īstermiņa IP novērojumiem žurnālos. Tā vietā validējiet datplūsmu, apvienojot lietotāja aģenta identificēšanu, verificētu robotu programmas, ja tās tiek atbalstītas, ugunsmūra atļautos sarakstus, robots.txt darbību un pakalpojumu sniedzēja līmeņa robotu verifikācijas sistēmas.
Ja jums jāatļauj stabils IP diapazonu saraksts, skatiet https://openai.com/searchbot.json un https://openai.com/adsbot.json.
Piezīme par darbības ierobežojumiem
Lielas pakešveida augšupielādes vai pēkšņi rāpuļprogrammu datplūsmas pieaugumi dažkārt var aktivizēt automatizētus darbības ierobežojumus vai robotu aizsardzības sistēmas.
Ja jums ir aizdomas, ka tiek piemērots darbības ierobežojums, lūdziet inženierijas komandai pārskatīt HTTP atbildes kodus, īpaši 429 Too Many Requests, ugunsmūra vai CDN žurnālus, robotu ierobežošanas notikumus, pieprasījumu ierobežošanas noteikumus un datplūsmas analīzi par laiku, kad rāpuļprogramma mēģināja piekļūt. Tas var palīdzēt noteikt, vai pieprasījumus apzināti palēnina vai bloķē infrastruktūras aizsardzības mehānismi.
Varat arī apsvērt iespēju augšupielādēt reklāmas ilgākā laika posmā mazākās paketēs.
Piezīme par Cloudflare
OAI-AdsBot ir oficiāli verificēts un iekļauts Cloudflare atļauto sarakstā.
BUJ par rāpuļprogrammām un galvenajām lapām
Kura rāpuļprogramma ir nepieciešama reklāmu pārskatīšanai?
OAI-AdsBot ir nepieciešama ChatGPT Ads galveno lapu validācijai un pārskatīšanai. OAI-SearchBot ir ieteicama, jo tā var palīdzēt OpenAI izprast publiskā tīmekļa saturu, taču reklāmdevējiem, gatavojot reklāmas, prioritāte jāpiešķir rāpuļprogrammai OAI-AdsBot.
Vai atbalsta komanda var manuāli apiet rāpuļprogrammas validāciju?
Nepaļaujieties uz manuālu apiešanu. Padariet galveno lapu pārmeklējamu ar OAI-AdsBot, novēršot robots.txt, WAF, CDN, robotu ierobežošanas, autentifikācijas un darbības ierobežojuma bloķējumus. Pēc tam, kad galvenā lapa kļūst pieejama, reklāmas var būt jāaugšupielādē atkārtoti vai atkārtoti jāiesniedz pārskatīšanai.
Kas manai inženierijas komandai jāpārbauda vispirms?
Pārbaudiet, vai galvenā lapa atgriež veiksmīgu HTTP atbildi OAI-AdsBot, vai robots.txt atļauj attiecīgo ceļu un vai WAF, CDN, robotu ierobežošana, JavaScript uzdevumi, CAPTCHA pārbaudes, autentifikācija vai ģeogrāfiskie noteikumi nebloķē automatizētu piekļuvi.
Vai kā galvenās lapas tiek atbalstītas lietotņu veikalu saites, dziļās saites vai galamērķi, kas nav tīmekļa lapas?
Kad vien iespējams, izmantojiet tieši sasniedzamu tīmekļa galveno lapu. Lietotņu veikalu saites, dziļās saites, dokumenti vai galamērķi, kuriem nepieciešama lietotne, pieteikšanās, reģionam specifiska piekļuve vai neatbalstīta pāradresācija, var nesniegt pietiekami daudz pārmeklējama satura validācijai vai pārskatīšanai.
Kad man atkārtoti augšupielādēt reklāmu vai vēlreiz pieprasīt pārskatīšanu?
Pēc rāpuļprogrammu piekļuves problēmu novēršanas atkārtoti augšupielādējiet vai atkārtoti iesniedziet ietekmētās reklāmas, ja statuss neatjauninās automātiski. Masveidā augšupielādētām reklāmām mazākas paketes var samazināt darbības ierobežojuma vai robotu aizsardzības aktivizēšanos, kamēr jūsu komanda pārbauda labojumu.