Prečo OpenAI používa webové prehľadávače?
Používame prehľadávače na overenie bezpečnosti webových stránok odoslaných ako reklamy v ChatGPT. Keď odošlete reklamu, OpenAI môže navštíviť vstupnú stránku, aby overila, či je v súlade s našimi pravidlami. Obsah zo vstupnej stránky môžeme použiť aj na určenie, kedy je reklama pre používateľov najrelevantnejšia.
Ktoré prehľadávače OpenAI by ste mali povoliť?
Musíte povoliť OAI-AdsBot. Odporúčame povoliť OAI-AdsBot aj OAI-SearchBot.
Prehľadávačom OpenAI sa nedarí prehľadať moju webovú lokalitu. Čo mám robiť?
Väčšina webových lokalít má viacero vrstiev ochrany, cez ktoré musí prehľadávač prejsť, aby sa úspešne dostal k webovej stránke. Spolupracujte so svojím technickým alebo bezpečnostným tímom a overte, že prehľadávače OpenAI dokážu prejsť cez každú z nasledujúcich vrstiev.
1. robots.txt
Súbor robots.txt informuje prehľadávače, či majú povolený prístup k určitým častiam vašej webovej lokality. Prehľadávače OpenAI tieto pravidlá rešpektujú. Ak je prístup v súbore robots.txt zakázaný, prehľadávanie sa okamžite zastaví.
Skontrolujte konfiguráciu súboru robots.txt a potvrďte, že prehľadávače OpenAI majú výslovne povolený prístup k príslušným stránkam a cestám. Napríklad: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ochrana webu a obmedzovanie botov
Mnohé webové lokality používajú služby ako Cloudflare, Akamai alebo iných poskytovateľov webovej ochrany na obranu pred útokmi DDoS, scrapingom a neoprávnenou návštevnosťou. Tieto systémy môžu omylom blokovať legitímne prehľadávače a často vracajú chyby 403 Forbidden. Keďže prehľadávače OpenAI môžu pripomínať vzory automatizovanej návštevnosti, prístup im môže byť odopretý, pokiaľ nie sú výslovne povolené.
Skontrolujte konfiguráciu webovej ochrany alebo firewallu a podľa možnosti povoľte návštevnosť prehľadávačov OpenAI, ideálne na základe identifikátorov user agent našich prehľadávačov. Váš technický alebo infraštruktúrny tím by mal skontrolovať aj všetky automatizované pravidlá na obmedzovanie botov, ktoré by mohli spôsobovať falošné pozitívne výsledky.
3. Overenie človeka a logika proti botom
Niektoré webové lokality zavádzajú ďalšie kontroly na úrovni aplikácie na overenie, že návštevník je človek, napríklad CAPTCHA, výzvy JavaScriptu, behaviorálnu analýzu alebo overenie relácie. Keďže prehľadávače OpenAI sú automatizované systémy, tieto kontroly môžu zablokovať prístup aj vtedy, keď prehľadávač úspešne prejde predchádzajúcimi vrstvami.
Skontrolujte všetku logiku na overenie človeka alebo proti automatizácii implementovanú vo vašej aplikácii a uistite sa, že prehľadávače OpenAI sú tam, kde je to vhodné, vyňaté, ideálne povolením identifikátorov user agent našich prehľadávačov.
Poznámka k stabilným rozsahom IP adries
Niektoré bezpečnostné systémy vyžadujú, aby návštevnosť prehľadávačov pochádzala zo stabilných, verejne zdokumentovaných rozsahov IP adries, až potom ju možno spoľahlivo povoliť. Keďže infraštruktúra prehľadávačov sa môže časom meniť, váš technický tím by sa nemal spoliehať výlučne na krátkodobé pozorovania IP adries v logoch. Namiesto toho overujte návštevnosť kombináciou identifikácie podľa user agent, programov overených botov tam, kde sú podporované, zoznamov povolení vo firewalle, správania podľa robots.txt a systémov poskytovateľov na overenie botov.
Ak musíte povoliť stabilný zoznam rozsahov IP adries, použite odkazy https://openai.com/searchbot.json a https://openai.com/adsbot.json.
Poznámka k limitu požiadaviek
Veľké hromadné nahrávania alebo náhle nárasty návštevnosti prehľadávačov môžu niekedy spustiť automatizované obmedzovanie podľa limitu požiadaviek alebo systémy ochrany pred botmi.
Ak máte podozrenie, že dochádza k obmedzovaniu podľa limitu požiadaviek, požiadajte technický tím, aby skontroloval kódy odpovedí HTTP, najmä 429 Too Many Requests, logy firewallu alebo CDN, udalosti obmedzovania botov, pravidlá obmedzovania požiadaviek a analýzu návštevnosti v čase, keď sa prehľadávač pokúsil získať prístup. To môže pomôcť zistiť, či infraštruktúrne ochrany požiadavky zámerne spomaľujú alebo blokujú.
Môžete tiež zvážiť nahrávanie reklám počas dlhšieho obdobia v menších dávkach.
Poznámka ku Cloudflare
OAI-AdsBot je službou Cloudflare oficiálne overený a povolený.
Časté otázky o prehľadávačoch a vstupných stránkach
Ktorý prehľadávač je potrebný na kontrolu reklám?
OAI-AdsBot je potrebný na overenie a kontrolu vstupných stránok reklám ChatGPT. OAI-SearchBot sa odporúča, pretože môže pomôcť OpenAI porozumieť verejnému webovému obsahu, ale OAI-AdsBot je prehľadávač, ktorému by mali inzerenti dať prioritu pri pripravenosti reklám.
Môže podpora manuálne obísť overenie prehľadávačom?
Nespoliehajte sa na manuálne obídenie. Zabezpečte, aby bola vstupná stránka prehľadateľná pre OAI-AdsBot, odstránením blokovaní v robots.txt, WAF, CDN, obmedzovaní botov, overovaní totožnosti a limitoch požiadaviek. Po sprístupnení vstupnej stránky môže byť potrebné reklamy znova nahrať alebo opätovne odoslať na kontrolu.
Čo by mal môj technický tím skontrolovať ako prvé?
Skontrolujte, či vstupná stránka vracia úspešnú odpoveď HTTP pre OAI-AdsBot, či robots.txt povoľuje príslušnú cestu a či WAF, CDN, obmedzovanie botov, výzvy JavaScriptu, CAPTCHA, overovanie totožnosti alebo geografické pravidlá neblokujú automatizovaný prístup.
Sú ako vstupné stránky podporované odkazy na obchody s aplikáciami, priame odkazy alebo newebové ciele?
Vždy, keď je to možné, použite priamo dostupnú webovú vstupnú stránku. Odkazy na obchody s aplikáciami, priame odkazy, dokumenty alebo ciele, ktoré vyžadujú aplikáciu, prihlásenie, prístup pre konkrétny región alebo nepodporované presmerovania, nemusia poskytovať dostatok prehľadateľného obsahu na overenie alebo kontrolu.
Kedy mám reklamu znova nahrať alebo opäť požiadať o kontrolu?
Po oprave prístupu prehľadávača znova nahrajte alebo opätovne odošlite dotknuté reklamy, ak sa ich stav neaktualizuje sám. Pri hromadne nahraných reklamách môžu menšie dávky znížiť spúšťanie limitu požiadaviek alebo ochrany pred botmi, kým váš tím overuje opravu.