Hvers vegna notar OpenAI vefskriðla?
Við notum vefskriðla til að sannreyna öryggi vefsíðna sem sendar eru inn sem auglýsingar á ChatGPT. Þegar þú sendir inn auglýsingu kann OpenAI að opna áfangasíðuna til að tryggja að hún samræmist reglum okkar. Við kunnum einnig að nota efni af áfangasíðunni til að ákvarða hvenær auglýsingin á best við fyrir notendur.
Hvaða vefskriðla OpenAI ættir þú að leyfa?
Þú verður að leyfa OAI-AdsBot. Við mælum með að leyfa bæði OAI-AdsBot og OAI-SearchBot.
Fyrir vörustrauma skaltu einnig leyfa OAI-SearchBot að skríða vefslóðir vörumynda. Athugaðu reglur eldveggs, CDN og vélmennavarna hjá myndhýsingunni. Svarið 403 getur komið í veg fyrir vinnslu straumsins.
Vefskriðar OpenAI ná ekki að skríða vefsvæðið mitt. Hvað á ég að gera?
Flest vefsvæði eru með mörg verndarlög sem vefskriður þarf að komast í gegnum til að geta opnað vefsíðu. Fáðu tækni- eða öryggisteymið þitt til að sannreyna að vefskriðar OpenAI komist í gegnum hvert eftirtalinna laga.
1. robots.txt
Skráin robots.txt segir vefskriðum hvort þeir hafi heimild til að opna tiltekna hluta vefsvæðisins þíns. Vefskriðar OpenAI virða þessar reglur. Ef aðgangur er bannaður í robots.txt stöðvast skriðið samstundis.
Farðu yfir stillingar robots.txt og staðfestu að vefskriðum OpenAI sé sérstaklega heimilaður aðgangur að viðeigandi síðum og slóðum. Til dæmis: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Vefvernd og varnir gegn vélmennum
Mörg vefsvæði nota þjónustur á borð við Cloudflare, Akamai eða aðrar vefvarnir gegn DDoS-árásum, gagnasöfnun og óheimilli umferð. Þessi kerfi geta ranglega lokað á lögmæta vefskriðla og skila þá oft villunni 403 Forbidden. Þar sem umferð vefskriða OpenAI getur líkst sjálfvirkri umferð kann þeim að vera synjað um aðgang nema þeir séu sérstaklega settir á leyfilista.
Farðu yfir stillingar vefvarna eða eldveggs og settu umferð vefskriða OpenAI á leyfilista þar sem það er hægt, helst út frá kennistrengjum vefskriðlanna okkar. Tækni- eða innviðateymið þitt ætti einnig að skoða sjálfvirkar varnarreglur sem gætu ranglega greint vefskriðlana sem vélmenni.
3. Staðfesting á að notandi sé manneskja og varnir gegn vélmennum
Sum vefsvæði nota viðbótarprófanir í forritinu til að staðfesta að gestur sé manneskja, svo sem CAPTCHA-próf, JavaScript-áskoranir, atferlisgreiningu eða lotustaðfestingu. Þar sem vefskriðar OpenAI eru sjálfvirk kerfi geta þessar prófanir lokað á aðgang þótt skriðurinn komist í gegnum fyrri lög.
Farðu yfir alla virkni í forritinu sem sannreynir að notandi sé manneskja eða ver gegn sjálfvirkni. Undanskildu vefskriðla OpenAI þar sem við á, helst með því að setja kennistrengi þeirra á leyfilista.
Athugasemd um föst IP-vistfangabil
Sum öryggiskerfi krefjast þess að umferð vefskriða komi frá föstum, opinberlega skráðum IP-vistfangabilum svo hægt sé að setja hana með áreiðanlegum hætti á leyfilista. Þar sem innviðir vefskriða geta breyst með tímanum ætti tækniteymið þitt ekki að treysta eingöngu á skammtímaathuganir á IP-vistföngum í annálum. Sannreyndu þess í stað umferð með samspili auðkenningar kennistrengja, staðfestra vélmennakerfa þar sem þau eru studd, leyfilista eldveggja, hegðunar robots.txt og staðfestingarkerfa þjónustuveitna fyrir vélmenni.
Ef þú þarft að leyfa fastan lista IP-vistfangabila skaltu nota https://openai.com/searchbot.json og https://openai.com/adsbot.json sem heimildir.
Athugasemd um hraðatakmarkanir
Stórar magnsendingar eða skyndileg aukning í umferð vefskriða getur stundum virkjað sjálfvirkar hraðatakmarkanir eða vélmennavarnir.
Ef þig grunar að hraðatakmörkun sé virk skaltu biðja tækniteymið að skoða HTTP-svarkóða, einkum 429 Too Many Requests, annála eldveggs eða CDN, atvik í vélmennavörnum, reglur um takmörkun beiðna og umferðargreiningu frá því þegar vefskriðurinn reyndi að fá aðgang. Þannig má greina hvort innviðavarnir hægi viljandi á beiðnum eða loki á þær.
Þú getur einnig íhugað að senda auglýsingar inn í smærri lotum yfir lengri tíma.
Athugasemd um Cloudflare
Cloudflare hefur staðfest OAI-AdsBot opinberlega og sett hann á leyfilista.
Algengar spurningar um vefskriðla og áfangasíður
Hvaða vefskriður er nauðsynlegur fyrir yfirferð auglýsinga?
OAI-AdsBot er nauðsynlegur til að sannreyna og yfirfara áfangasíður fyrir ChatGPT Ads. Mælt er með OAI-SearchBot þar sem hann kann að auðvelda OpenAI að skilja opinbert vefefni. Auglýsendur ættu þó að forgangsraða OAI-AdsBot til að tryggja að auglýsingar séu tilbúnar.
Getur þjónustuverið farið handvirkt fram hjá sannprófun vefskriðilsins?
Ekki treysta á að hægt sé að fara handvirkt fram hjá sannprófuninni. Gerðu OAI-AdsBot kleift að skríða áfangasíðuna með því að laga hindranir í robots.txt, WAF, CDN, vélmennavörnum, auðkenningu og hraðatakmörkunum. Þegar áfangasíðan er orðin aðgengileg gæti þurft að senda auglýsingarnar aftur inn eða óska aftur eftir yfirferð.
Hvað ætti tækniteymið mitt að athuga fyrst?
Athugaðu hvort áfangasíðan skili gildri HTTP-svörun til OAI-AdsBot, hvort robots.txt leyfi viðkomandi slóð og hvort WAF, CDN, vélmennavarnir, JavaScript-áskoranir, CAPTCHA-próf, auðkenning eða landsvæðisreglur loki á sjálfvirkan aðgang.
Eru tenglar í forritaverslanir, djúptenglar eða aðrir áfangastaðir en vefsíður studdir sem áfangasíður?
Notaðu áfangasíðu sem er aðgengileg beint á vefnum þegar þess er kostur. Tenglar í forritaverslanir, djúptenglar, skjöl eða áfangastaðir sem krefjast forrits, innskráningar, svæðisbundins aðgangs eða óstuddra áframsendinga veita hugsanlega ekki nægilegt aðgengilegt efni fyrir sannprófun eða yfirferð.
Hvenær ætti ég að senda auglýsinguna aftur inn eða óska aftur eftir yfirferð?
Þegar aðgangur vefskriðilsins hefur verið lagfærður skaltu senda viðkomandi auglýsingar aftur inn ef staðan uppfærist ekki sjálfkrafa. Ef auglýsingar voru sendar inn í magni geta smærri lotur dregið úr því að hraðatakmarkanir eða vélmennavarnir virkjist á meðan teymið þitt sannreynir lagfæringuna.