Miért használ az OpenAI webes feltérképezőket?
Feltérképezőket használunk a ChatGPT-ben hirdetésként beküldött weboldalak biztonságának ellenőrzésére. Amikor hirdetést küld be, az OpenAI felkeresheti a céloldalt, hogy megbizonyosodjon arról, megfelel-e irányelveinknek. A céloldal tartalmát arra is felhasználhatjuk, hogy meghatározzuk, mikor a legrelevánsabb megjeleníteni a hirdetést a felhasználóknak.
Mely OpenAI feltérképezőket kell engedélyeznie?
Engedélyeznie kell az OAI-AdsBotot. Javasoljuk, hogy az OAI-AdsBotot és az OAI-SearchBotot is engedélyezze
Az OpenAI feltérképezői nem tudják feltérképezni a webhelyemet. Mit tegyek?
A legtöbb webhelyen több védelmi réteg is van, mielőtt egy feltérképező sikeresen hozzáférhetne egy weboldalhoz. Javasoljuk, hogy a mérnöki/biztonsági csapatával együtt ellenőrizze, hogy az OpenAI feltérképezői át tudnak-e jutni az alábbi rétegek mindegyikén:
1. robots.txt
Áttekintés: A robots.txt fájl megmondja a feltérképezőknek, hogy hozzáférhetnek-e a webhely bizonyos részeihez. Az OpenAI feltérképezői tiszteletben tartják ezeket a szabályokat. Ha a hozzáférés tiltott a robots.txt fájlban, a feltérképezés azonnal leáll.
Javaslat: Nézze át a robots.txt beállításait, és erősítse meg, hogy az OpenAI feltérképezői kifejezetten engedélyezve vannak a releváns oldalak és útvonalak elérésére.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Webvédelem / Botkezelés
Áttekintés: Sok webhely használ olyan szolgáltatásokat, mint a Cloudflare, az Akamai vagy más webvédelmi szolgáltatók a DDoS-támadások, a scraping és a jogosulatlan forgalom elleni védelemhez. Ezek a rendszerek tévedésből blokkolhatják a legitim feltérképezőket, gyakran 403 Forbidden hibát adva vissza. Mivel az OpenAI feltérképezői automatizált forgalmi mintákra hasonlíthatnak, megtagadhatják tőlük a hozzáférést, hacsak nincsenek kifejezetten engedélyezőlistára téve.
Javaslat: Nézze át a webvédelmi vagy tűzfalbeállításait, és ahol lehetséges, tegye engedélyezőlistára az OpenAI feltérképezőinek forgalmát, ideális esetben a feltérképezőink user-agentjei alapján. A mérnöki vagy infrastruktúra-csapatnak át kell tekintenie minden olyan automatikus botvédelmi szabályt is, amely téves riasztásokat okozhat.
3. Emberi ellenőrzés / Botellenes logika
Áttekintés: Egyes webhelyek további alkalmazásszintű ellenőrzéseket vezetnek be annak igazolására, hogy a látogató ember (például: CAPTCHA-k, JavaScript-kihívások, viselkedéselemzés vagy munkamenet-ellenőrzés). Mivel az OpenAI feltérképezői automatizált rendszerek, ezek az ellenőrzések akkor is blokkolhatják a hozzáférést, ha a feltérképező sikeresen átjutott a korábbi rétegeken.
Javaslat: Nézzen át minden, az alkalmazásában megvalósított emberi ellenőrzési vagy automatizálás elleni logikát, és biztosítsa, hogy az OpenAI feltérképezői megfelelő esetben mentesüljenek ez alól, ideális esetben a feltérképezőink user-agentjeinek engedélyezőlistára tételével.
Megjegyzés a stabil IP-tartományokról
Egyes biztonsági rendszerek megkövetelik, hogy a feltérképezői forgalom stabil, nyilvánosan dokumentált IP-tartományokból érkezzen, mielőtt a forgalom megbízhatóan engedélyezőlistára tehető.
Mivel a feltérképezői infrastruktúra idővel változhat, a mérnöki csapat ne hagyatkozzon kizárólag a naplókban látható rövid távú IP-megfigyelésekre. Ehelyett azt javasoljuk, hogy a forgalmat a következők kombinációjával ellenőrizzék: user-agent azonosítás, hitelesített botprogramok (ahol támogatott), tűzfalas engedélyezőlisták, robots.txt viselkedés és szolgáltatói szintű botellenőrző rendszerek.
Ha mindenképpen engedélyeznie kell egy stabil IP-tartománylistát, kérjük, hivatkozzon erre:
Megjegyzés a használati korlátról
A nagyméretű kötegelt feltöltések vagy a feltérképezői forgalom hirtelen megugrásai időnként automatikus használati korlátozást vagy botvédelmi rendszereket aktiválhatnak.
Ha arra gyanakszik, hogy használati korlátozás lép életbe, kérje meg a mérnöki csapatát, hogy vizsgálja meg a következőket:
HTTP-válaszkódok (különösen a 429 Too Many Requests)
Tűzfal- vagy CDN-naplók
Botvédelmi események
Kéréskorlátozási szabályok
Forgalmi elemzések arról az időszakról, amikor a feltérképező megpróbált hozzáférni
Ez segíthet azonosítani, hogy a kéréseket az infrastruktúra-védelmek szándékosan lassítják vagy blokkolják-e.
Azt is fontolóra veheti, hogy a hirdetéseket hosszabb idő alatt, kisebb kötegekben tölti fel.
Megjegyzés a Cloudflare-ről
Az OAI-AdsBot most már hivatalosan ellenőrzött és engedélyezőlistára tett a Cloudflare-nél.