Miért használ az OpenAI webes feltérképező robotokat?
Feltérképező robotokkal ellenőrizzük a ChatGPT-ben hirdetésként beküldött weboldalak biztonságosságát. Hirdetés beküldésekor az OpenAI felkeresheti a céloldalt, hogy ellenőrizze, megfelel-e a szabályzatainknak. A céloldal tartalmát annak megállapítására is felhasználhatjuk, hogy mikor a leginkább releváns megjeleníteni a hirdetést a felhasználóknak.
Mely OpenAI feltérképező robotokat kell engedélyezni?
Az OAI-AdsBot engedélyezése kötelező. Javasoljuk az OAI-AdsBot és az OAI-SearchBot engedélyezését is.
Termékfeedek esetén azt is engedélyezze, hogy az OAI-SearchBot feltérképezze a termékképek URL-címeit. Ellenőrizze a képeket tároló kiszolgáló tűzfal-, CDN- és botvédelmi szabályait; a 403-as válasz megakadályozhatja a feed feldolgozását.
Az OpenAI feltérképező robotjai nem tudják feltérképezni a webhelyemet. Mi a teendő?
A legtöbb webhelyen több védelmi rétegen kell átjutnia a feltérképező robotnak, mielőtt sikeresen hozzáférhet egy weboldalhoz. A fejlesztői vagy biztonsági csapatával ellenőrizze, hogy az OpenAI feltérképező robotjai átjutnak-e az alábbi rétegek mindegyikén.
1. robots.txt
A robots.txt fájl közli a feltérképező robotokkal, hogy hozzáférhetnek-e a webhely bizonyos részeihez. Az OpenAI feltérképező robotjai betartják ezeket a szabályokat. Ha a robots.txt tiltja a hozzáférést, a feltérképezés azonnal leáll.
Tekintse át a robots.txt beállításait, és győződjön meg arról, hogy azok kifejezetten engedélyezik az OpenAI feltérképező robotjainak hozzáférését az érintett oldalakhoz és elérési utakhoz. Például: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webvédelem és botok elleni védekezés
Számos webhely használ Cloudflare-t, Akamait vagy más webvédelmi szolgáltatót a DDoS-támadások, az adatkinyerés és az illetéktelen forgalom elleni védekezéshez. Ezek a rendszerek tévedésből jogszerű feltérképező robotokat is letilthatnak, gyakran 403 Forbidden hibát adva vissza. Mivel az OpenAI feltérképező robotjainak forgalma az automatizált forgalom mintázataira hasonlíthat, a rendszer megtagadhatja a hozzáférésüket, ha nincsenek külön engedélyezve.
Tekintse át a webvédelmi vagy tűzfalbeállításokat, és ahol lehetséges, engedélyezze az OpenAI feltérképező robotjainak forgalmát, lehetőleg a robotjaink felhasználói ügynökei alapján. A fejlesztői vagy infrastruktúráért felelős csapatnak azokat az automatikus botvédelmi szabályokat is meg kell vizsgálnia, amelyek téves riasztást válthatnak ki.
3. Emberi felhasználók ellenőrzése és botellenes logika
Egyes webhelyek további alkalmazásszintű ellenőrzésekkel állapítják meg, hogy a látogató ember-e. Ilyenek például a CAPTCHA-k, a JavaScript-feladatok, a viselkedéselemzés és a munkamenet-ellenőrzés. Mivel az OpenAI feltérképező robotjai automatizált rendszerek, ezek az ellenőrzések akkor is letilthatják a hozzáférésüket, ha sikeresen átjutottak a korábbi rétegeken.
Tekintse át az alkalmazásában használt, emberi felhasználókat ellenőrző vagy automatizálást gátló logikát, és szükség szerint mentesítse alóla az OpenAI feltérképező robotjait, lehetőleg a robotjaink felhasználói ügynökeinek engedélyezésével.
Megjegyzés a stabil IP-tartományokról
Egyes biztonsági rendszerek csak akkor tudják megbízhatóan engedélyezni a feltérképező robotok forgalmát, ha az stabil, nyilvánosan dokumentált IP-tartományokból érkezik. Mivel a feltérképezési infrastruktúra idővel változhat, a fejlesztői csapat ne hagyatkozzon kizárólag a naplókban rövid távon megfigyelt IP-címekre. Ehelyett a forgalmat több módszer együttes használatával ellenőrizze: felhasználóiügynök-azonosítással, ahol támogatott, ellenőrzött botprogramokkal, tűzfali engedélyezési listákkal, a robots.txt szerinti viselkedéssel és a szolgáltató botszintű ellenőrzőrendszereivel.
Ha mindenképpen stabil IP-tartománylistát kell engedélyeznie, használja a https://openai.com/searchbot.json és a https://openai.com/adsbot.json fájlt.
Megjegyzés a sebességkorlátozásról
A nagy kötegű feltöltések vagy a feltérképező robotok forgalmának hirtelen megugrása időnként működésbe hozhatja az automatikus sebességkorlátozó vagy botvédelmi rendszereket.
Ha sebességkorlátozásra gyanakszik, kérje meg a fejlesztői csapatot, hogy vizsgálja meg a HTTP-válaszkódokat – különösen a 429 Too Many Requests kódot –, a tűzfal- vagy CDN-naplókat, a botvédelmi eseményeket, a kéréskorlátozási szabályokat és a forgalmi elemzéseket abból az időszakból, amikor a feltérképező robot hozzáférést kísérelt meg. Ez segíthet megállapítani, hogy az infrastruktúra védelmi rendszerei szándékosan lassítják vagy letiltják-e a kéréseket.
Érdemes lehet a hirdetéseket kisebb kötegekben, hosszabb idő alatt feltölteni.
Megjegyzés a Cloudflare-ről
Az OAI-AdsBot robotot a Cloudflare hivatalosan ellenőrizte és engedélyezte.
Gyakori kérdések a feltérképező robotokról és a céloldalakról
Melyik feltérképező robot szükséges a hirdetések ellenőrzéséhez?
A ChatGPT-hirdetések céloldalainak érvényesítéséhez és ellenőrzéséhez az OAI-AdsBot szükséges. Az OAI-SearchBot engedélyezése ajánlott, mert segíthet az OpenAI-nak a nyilvános webes tartalmak megértésében, de a hirdetőknek elsősorban az OAI-AdsBot engedélyezésére kell összpontosítaniuk, hogy hirdetéseik készen álljanak.
Az ügyfélszolgálat manuálisan megkerülheti a feltérképezési ellenőrzést?
Ne hagyatkozzon manuális megkerülésre. Tegye feltérképezhetővé a céloldalt az OAI-AdsBot számára a robots.txt, a WAF, a CDN, a botvédelem, a hitelesítés és a sebességkorlátozás okozta blokkolások megszüntetésével. Miután a céloldal elérhetővé válik, előfordulhat, hogy a hirdetéseket újra fel kell tölteni vagy ismét be kell küldeni ellenőrzésre.
Mit ellenőrizzen először a fejlesztői csapatom?
Ellenőrizze, hogy a céloldal sikeres HTTP-választ ad-e az OAI-AdsBotnak, a robots.txt engedélyezi-e az érintett elérési utat, illetve hogy a WAF, a CDN, a botvédelem, a JavaScript-feladatok, a CAPTCHA-k, a hitelesítés vagy a földrajzi szabályok nem tiltják-e le az automatizált hozzáférést.
Használhatók céloldalként alkalmazásáruházra mutató hivatkozások, mélyhivatkozások vagy nem webes célhelyek?
Amikor csak lehetséges, közvetlenül elérhető webes céloldalt használjon. Előfordulhat, hogy az alkalmazásáruházra mutató hivatkozások, a mélyhivatkozások, a dokumentumok, illetve az alkalmazást, bejelentkezést, régióspecifikus hozzáférést vagy nem támogatott átirányítást igénylő célhelyek nem biztosítanak elegendő feltérképezhető tartalmat az érvényesítéshez vagy az ellenőrzéshez.
Mikor töltsem fel újra a hirdetést, vagy kérjek ismét ellenőrzést?
A feltérképezési hozzáférés javítása után töltse fel újra vagy küldje be ismét az érintett hirdetéseket, ha az állapotuk nem frissül automatikusan. Tömegesen feltöltött hirdetéseknél a kisebb kötegek csökkenthetik a sebességkorlátozás vagy a botvédelem aktiválódásának esélyét, amíg a csapata ellenőrzi a javítást.