Af hverju notar OpenAI vefskriðla?
Við notum skriðla til að staðfesta öryggi vefsíðna sem sendar eru inn sem auglýsingar í ChatGPT. Þegar þú sendir inn auglýsingu gæti OpenAI heimsótt áfangasíðuna til að ganga úr skugga um að hún samræmist reglum okkar. Við gætum einnig notað efni af áfangasíðunni til að ákvarða hvenær best á við að sýna notendum auglýsinguna.
Hvaða OpenAI-skriðla ættirðu að leyfa?
Þú verður að leyfa OAI-AdsBot. Við mælum með að leyfa bæði OAI-AdsBot og OAI-SearchBot.
OpenAI-skriðlar ná ekki að skríða vefsvæðið mitt. Hvað á ég að gera?
Flest vefsvæði eru með mörg verndarlög sem skriðill þarf að komast í gegnum til að fá aðgang að vefsíðu. Vinndu með verkfræði- eða öryggisteyminu þínu að því að staðfesta að OpenAI-skriðlar komist í gegnum hvert eftirfarandi laga.
1. robots.txt
Skráin robots.txt segir skriðlum hvort þeim sé heimilt að fá aðgang að tilteknum hlutum vefsvæðisins þíns. OpenAI-skriðlar virða þessar reglur. Ef aðgangur er bannaður í robots.txt stöðvast skriðið samstundis.
Farðu yfir uppsetningu robots.txt og staðfestu að OpenAI-skriðlum sé beinlínis heimilt að fá aðgang að viðeigandi síðum og slóðum. Til dæmis: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Vefvernd og varnir gegn bottum
Mörg vefsvæði nota þjónustur á borð við Cloudflare, Akamai eða aðra vefverndaraðila til að verjast DDoS-árásum, gagnasköfun og óheimilli umferð. Þessi kerfi geta fyrir mistök lokað á lögmæta skriðla og skila þá oft 403 Forbidden-villum. Þar sem OpenAI-skriðlar geta líkst sjálfvirkum umferðarmynstrum gæti þeim verið hafnað nema þeir séu sérstaklega settir á leyfilista.
Farðu yfir vefverndar- eða eldveggsuppsetningu þína og settu umferð frá OpenAI-skriðlum á leyfilista þar sem það er hægt, helst út frá user agent skriðlanna okkar. Verkfræði- eða innviðateymið þitt ætti einnig að skoða allar sjálfvirkar varnarreglur gegn bottum sem gætu verið að valda fölskum jákvæðum niðurstöðum.
3. Mannleg staðfesting og varnir gegn bottum
Sum vefsvæði innleiða viðbótarathuganir á forritslagi til að staðfesta að gestur sé manneskja, svo sem CAPTCHA-próf, JavaScript-áskoranir, hegðunargreiningu eða lotustaðfestingu. Þar sem OpenAI-skriðlar eru sjálfvirk kerfi geta þessar athuganir lokað á aðgang jafnvel þótt skriðillinn komist í gegnum fyrri lög.
Farðu yfir alla staðfestingu á manneskju eða rökvísi gegn sjálfvirkni sem innleidd er í forritinu þínu og tryggðu að OpenAI-skriðlar séu undanþegnir þar sem við á, helst með því að setja user agent skriðlanna okkar á leyfilista.
Athugasemd um stöðug IP-svið
Sum öryggiskerfi krefjast þess að umferð skriðla komi frá stöðugum, opinberlega skjalfestum IP-sviðum áður en hægt er að setja umferðina með áreiðanlegum hætti á leyfilista. Þar sem innviðir skriðla geta þróast með tímanum ætti verkfræðiteymið þitt að forðast að treysta eingöngu á skammtímaathuganir á IP-tölum úr skráningum. Staðfestu þess í stað umferð með blöndu af auðkenningu user-agent, staðfestum bottaforritum þar sem þau eru studd, leyfilistum eldveggja, hegðun robots.txt og staðfestingarkerfum fyrir botta hjá þjónustuveitum.
Ef þú verður að leyfa stöðugan lista yfir IP-svið skaltu vísa í https://openai.com/searchbot.json og https://openai.com/adsbot.json.
Athugasemd um hraðatakmörkun
Stórar magnupphleðslur eða skyndilegir toppar í umferð skriðla geta stundum virkjað sjálfvirka hraðatakmörkun eða verndarkerfi gegn bottum.
Ef þig grunar að hraðatakmörkun sé í gangi skaltu biðja verkfræðiteymið þitt að fara yfir HTTP-svarkóða, sérstaklega 429 Too Many Requests, skráningar eldveggs eða CDN, atvik í bottaforvörnum, reglur um beiðnathrottling og umferðargreiningar um það leyti sem skriðillinn reyndi að fá aðgang. Þetta getur hjálpað til við að greina hvort innviðavarnir séu vísvitandi að hægja á eða loka á beiðnir.
Þú gætir einnig íhugað að hlaða auglýsingum upp yfir lengri tíma í smærri lotum.
Athugasemd um Cloudflare
OAI-AdsBot er opinberlega staðfestur og á leyfilista hjá Cloudflare.
Algengar spurningar um skriðla og áfangasíður
Hvaða skriðill er nauðsynlegur fyrir yfirferð auglýsinga?
OAI-AdsBot er nauðsynlegur fyrir staðfestingu og yfirferð á áfangasíðum ChatGPT Ads. Mælt er með OAI-SearchBot vegna þess að hann getur hjálpað OpenAI að skilja opinbert vefefni, en OAI-AdsBot er skriðillinn sem auglýsendur ættu að setja í forgang til að tryggja að auglýsingar séu tilbúnar.
Getur þjónustuver farið handvirkt fram hjá staðfestingu skriðils?
Ekki treysta á handvirka hjáleið. Gerðu áfangasíðuna aðgengilega fyrir OAI-AdsBot með því að laga lokanir í robots.txt, WAF, CDN, bottaforvörnum, auðkenningu og hraðatakmörkun. Það gæti þurft að hlaða auglýsingum upp aftur eða senda þær aftur í yfirferð eftir að áfangasíðan verður aðgengileg.
Hvað ætti verkfræðiteymið mitt að athuga fyrst?
Athugaðu hvort áfangasíðan skili farsælu HTTP-svari til OAI-AdsBot, hvort robots.txt leyfi viðeigandi slóð og hvort WAF, CDN, bottaforvarnir, JavaScript-áskoranir, CAPTCHA-próf, auðkenning eða landfræðireglur loki á sjálfvirkan aðgang.
Eru tenglar í appverslanir, djúptenglar eða áfangastaðir utan vefs studdir sem áfangasíður?
Notaðu beint aðgengilega vefáfangasíðu þegar það er hægt. Tenglar í appverslanir, djúptenglar, skjöl eða áfangastaðir sem krefjast apps, innskráningar, svæðisbundins aðgangs eða óstuddrar endurbeiningar veita hugsanlega ekki nægilegt skriðhæft efni fyrir staðfestingu eða yfirferð.
Hvenær ætti ég að hlaða upp aftur eða óska aftur eftir yfirferð?
Eftir að aðgangur skriðla hefur verið lagaður skaltu hlaða viðkomandi auglýsingum upp aftur eða senda þær aftur inn ef staðan uppfærist ekki sjálfkrafa. Fyrir auglýsingar sem hlaðið er upp í magni geta smærri lotur dregið úr því að hraðatakmörkun eða bottaforvarnir virkjist á meðan teymið þitt staðfestir lagfæringuna.