Prečo OpenAI používa webové crawlery?
Crawlery používame na overenie bezpečnosti webových stránok odoslaných ako reklamy v ChatGPT. Keď odošlete reklamu, OpenAI môže navštíviť cieľovú stránku, aby overila súlad s našimi zásadami. Obsah cieľovej stránky môžeme použiť aj na určenie, kedy je najrelevantnejšie zobraziť reklamu používateľom.
Ktoré crawlery OpenAI by ste mali povoliť?
Musíte povoliť OAI-AdsBot. Odporúčame povoliť OAI-AdsBot aj OAI-SearchBot
Crawlery OpenAI nedokážu prehľadať moju webovú stránku. Čo mám urobiť?
Väčšina webových stránok má viacero vrstiev ochrany, kým crawler úspešne získa prístup k webovej stránke. Odporúčame spolupracovať s vaším tímom pre vývoj/bezpečnosť a overiť, že crawlery OpenAI prejdú každou z nasledujúcich vrstiev:
1. robots.txt
Prehľad: Súbor robots.txt oznamuje crawlerom, či majú povolený prístup k určitým častiam vašej webovej stránky. Crawlery OpenAI tieto pravidlá rešpektujú. Ak je prístup v súbore robots.txt zakázaný, prehľadávanie sa okamžite zastaví.
Odporúčanie: Skontrolujte konfiguráciu súboru robots.txt a potvrďte, že crawlery OpenAI majú výslovne povolený prístup k relevantným stránkam a cestám.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Ochrana webu / zmierňovanie botov
Prehľad: Mnohé webové stránky používajú služby ako Cloudflare, Akamai alebo iných poskytovateľov ochrany webu na obranu proti útokom DDoS, scrapingu a neautorizovanej prevádzke. Tieto systémy môžu omylom blokovať legitímne crawlery a často vracajú chyby 403 Forbidden. Keďže crawlery OpenAI môžu pripomínať vzory automatizovanej prevádzky, môžu byť zamietnuté, ak nie sú výslovne zaradené na allowlist.
Odporúčanie: Skontrolujte konfiguráciu ochrany webu alebo firewallu a podľa možností pridajte prevádzku crawlerov OpenAI na allowlist, ideálne na základe user-agentov našich crawlerov. Váš tím pre vývoj alebo infraštruktúru by mal tiež skontrolovať všetky automatizované pravidlá zmierňovania botov, ktoré by mohli spúšťať falošné pozitíva.
3. Overenie človeka / anti-bot logika
Prehľad: Niektoré webové stránky implementujú dodatočné kontroly na úrovni aplikácie na overenie, že návštevník je človek (napríklad: CAPTCHA, JavaScriptové výzvy, analýza správania alebo overenie relácie). Keďže crawlery OpenAI sú automatizované systémy, tieto kontroly môžu blokovať prístup, aj keď crawler úspešne prejde predchádzajúcimi vrstvami.
Odporúčanie: Skontrolujte logiku overovania človeka alebo anti-automatizačnú logiku implementovanú vo vašej aplikácii a zabezpečte, aby crawlery OpenAI boli tam, kde je to vhodné, vyňaté, ideálne pridaním user-agentov našich crawlerov na allowlist.
Poznámka k stabilným rozsahom IP adries
Niektoré bezpečnostné systémy vyžadujú, aby prevádzka crawlerov pochádzala zo stabilných, verejne zdokumentovaných rozsahov IP adries, než ju možno spoľahlivo pridať na allowlist.
Keďže sa infraštruktúra crawlerov môže časom meniť, váš tím pre vývoj by sa nemal spoliehať iba na krátkodobé pozorovania IP adries v logoch. Namiesto toho odporúčame overovať prevádzku kombináciou: identifikácie user-agenta, programov overených botov (ak sú podporované), allowlistov firewallu, správania robots.txt a systémov overovania botov na úrovni poskytovateľa.
Ak musíte povoliť stabilný zoznam rozsahov IP adries, pozrite si:
Poznámka k limitu požiadaviek
Veľké dávkové nahrávania alebo náhle nárasty prevádzky crawlerov môžu niekedy spustiť automatizované systémy limitu požiadaviek alebo ochrany pred botmi.
Ak máte podozrenie, že dochádza k obmedzovaniu, požiadajte svoj tím pre vývoj, aby skontroloval:
Kódy odpovede HTTP (najmä 429 Too Many Requests)
Logy firewallu alebo CDN
Udalosti zmierňovania botov
Pravidlá obmedzovania požiadaviek
Analýzu prevádzky v čase, keď sa crawler pokúsil o prístup
To môže pomôcť určiť, či sú požiadavky úmyselne spomaľované alebo blokované ochranami infraštruktúry.
Môžete tiež zvážiť nahrávanie reklám v menších dávkach počas dlhšieho času.
Poznámka ku Cloudflare
OAI-AdsBot je teraz oficiálne overený a zaradený na allowlist v službe Cloudflare.