Prečo OpenAI používa webové prehľadávače?
Pomocou prehľadávačov overujeme bezpečnosť webových stránok odoslaných ako reklamy v ChatGPT. Keď odošlete reklamu, OpenAI môže navštíviť jej vstupnú stránku a overiť, či je v súlade s našimi pravidlami. Obsah vstupnej stránky môžeme použiť aj na určenie, kedy je najvhodnejšie reklamu zobraziť používateľom.
Ktoré prehľadávače OpenAI by ste mali povoliť?
Musíte povoliť OAI-AdsBot. Odporúčame povoliť OAI-AdsBot aj OAI-SearchBot.
Pri produktových informačných kanáloch povoľte OAI-SearchBot aj prehľadávanie adries URL obrázkov produktov. Na hostiteľovi obrázkov skontrolujte pravidlá brány firewall, siete CDN a ochrany pred botmi. Odpoveď 403 môže zablokovať spracovanie informačného kanála.
Prehľadávačom OpenAI sa nedarí prehľadať môj web. Čo mám robiť?
Väčšina webov má viacero vrstiev ochrany, ktorými musí prehľadávač prejsť, aby mohol úspešne pristúpiť k webovej stránke. Spolu s technickým alebo bezpečnostným tímom overte, či prehľadávače OpenAI dokážu prejsť každou z nasledujúcich vrstiev.
1. robots.txt
Súbor robots.txt určuje, či majú prehľadávače povolený prístup k určitým častiam vášho webu. Prehľadávače OpenAI tieto pravidlá rešpektujú. Ak súbor robots.txt zakazuje prístup, prehľadávanie sa okamžite zastaví.
Skontrolujte konfiguráciu súboru robots.txt a uistite sa, že prehľadávačom OpenAI výslovne povoľuje prístup k príslušným stránkam a cestám. Napríklad: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ochrana webu a blokovanie botov
Mnohé weby používajú služby ako Cloudflare, Akamai alebo iných poskytovateľov ochrany webu na obranu pred útokmi DDoS, extrakciou údajov a neoprávnenou prevádzkou. Tieto systémy môžu omylom blokovať legitímne prehľadávače, pričom často vracajú chybu 403 Forbidden. Keďže prevádzka prehľadávačov OpenAI môže pripomínať automatizovanú prevádzku, systém ju môže odmietnuť, ak nie je výslovne povolená.
Skontrolujte konfiguráciu ochrany webu alebo brány firewall a podľa možnosti povoľte prevádzku prehľadávačov OpenAI, ideálne na základe identifikátorov user-agent našich prehľadávačov. Váš technický tím alebo tím infraštruktúry by mal skontrolovať aj všetky automatizované pravidlá blokovania botov, ktoré by mohli spôsobovať falošne pozitívne výsledky.
3. Overovanie používateľov a ochrana pred botmi
Niektoré weby používajú ďalšie kontroly na úrovni aplikácie, ktoré overujú, či je návštevník človek. Patria medzi ne testy CAPTCHA, výzvy JavaScriptu, analýza správania či overovanie relácie. Keďže prehľadávače OpenAI sú automatizované systémy, tieto kontroly môžu zablokovať prístup aj vtedy, keď prehľadávač úspešne prejde predchádzajúcimi vrstvami.
Skontrolujte logiku overovania používateľov a ochrany pred automatizáciou vo svojej aplikácii a podľa potreby z nej vyraďte prehľadávače OpenAI, ideálne povolením identifikátorov user-agent našich prehľadávačov.
Poznámka k stabilným rozsahom IP adries
Niektoré bezpečnostné systémy vyžadujú, aby prevádzka prehľadávačov pochádzala zo stabilných, verejne zdokumentovaných rozsahov IP adries. Až potom ju možno spoľahlivo povoliť. Keďže infraštruktúra prehľadávačov sa môže časom meniť, váš technický tím by sa nemal spoliehať výlučne na krátkodobé pozorovania IP adries zo záznamov. Namiesto toho overujte prevádzku kombináciou identifikácie user-agent, programov overených botov, ak sú podporované, zoznamov povolení brány firewall, správania súboru robots.txt a systémov poskytovateľa na overovanie botov.
Ak musíte povoliť stabilný zoznam rozsahov IP adries, použite https://openai.com/searchbot.json a https://openai.com/adsbot.json.
Poznámka k obmedzeniu frekvencie požiadaviek
Nahrávanie veľkých dávok alebo náhle zvýšenie prevádzky prehľadávačov môže niekedy aktivovať automatické obmedzenie frekvencie požiadaviek alebo systémy ochrany pred botmi.
Ak máte podozrenie na obmedzovanie frekvencie požiadaviek, požiadajte technický tím, aby skontroloval kódy odpovedí HTTP, najmä 429 Too Many Requests, záznamy brány firewall alebo siete CDN, udalosti blokovania botov, pravidlá obmedzovania požiadaviek a analýzu prevádzky z času, keď sa prehľadávač pokúšal o prístup. Takto môžete zistiť, či ochranné prvky infraštruktúry požiadavky zámerne spomaľujú alebo blokujú.
Môžete tiež zvážiť nahrávanie reklám v menších dávkach počas dlhšieho obdobia.
Poznámka k službe Cloudflare
OAI-AdsBot je službou Cloudflare oficiálne overený a povolený.
Časté otázky o prehľadávačoch a vstupných stránkach
Ktorý prehľadávač je potrebný na kontrolu reklám?
OAI-AdsBot je potrebný na overovanie a kontrolu vstupných stránok služby ChatGPT Ads. OAI-SearchBot odporúčame, pretože môže OpenAI pomôcť porozumieť verejnému webovému obsahu. Na prípravu reklám by však inzerenti mali uprednostniť prehľadávač OAI-AdsBot.
Môže tím podpory manuálne obísť overenie prehľadávačom?
Nespoliehajte sa na manuálne obídenie kontroly. Sprístupnite vstupnú stránku prehľadávaču OAI-AdsBot odstránením blokovania v súbore robots.txt, systéme WAF, sieti CDN, ochrane pred botmi, overovaní a obmedzovaní frekvencie požiadaviek. Po sprístupnení vstupnej stránky môže byť potrebné reklamy znova nahrať alebo odoslať na opätovnú kontrolu.
Čo by mal môj technický tím skontrolovať ako prvé?
Skontrolujte, či vstupná stránka vracia pre OAI-AdsBot úspešnú odpoveď HTTP, či súbor robots.txt povoľuje príslušnú cestu a či automatizovaný prístup neblokuje systém WAF, sieť CDN, ochrana pred botmi, výzvy JavaScriptu, testy CAPTCHA, overovanie alebo geografické pravidlá.
Sú odkazy na obchody s aplikáciami, priame odkazy do aplikácií alebo iné než webové ciele podporované ako vstupné stránky?
Vždy, keď je to možné, použite priamo dostupnú webovú vstupnú stránku. Odkazy na obchody s aplikáciami, priame odkazy do aplikácií, dokumenty alebo ciele vyžadujúce aplikáciu, prihlásenie, prístup z konkrétneho regiónu či nepodporované presmerovania nemusia poskytovať dostatok prehľadateľného obsahu na overenie alebo kontrolu.
Kedy mám reklamu znova nahrať alebo požiadať o ďalšiu kontrolu?
Ak sa po oprave prístupu prehľadávača stav neaktualizuje automaticky, príslušné reklamy znova nahrajte alebo odošlite. Pri hromadne nahrávaných reklamách môžu menšie dávky obmedziť aktivovanie ochrany pred botmi alebo limitov frekvencie požiadaviek, kým váš tím overuje opravu.