Proč OpenAI používá webové crawlery?
Používáme crawlery k ověření bezpečnosti webových stránek odeslaných jako reklamy na ChatGPT. Když odešlete reklamu, OpenAI může navštívit vstupní stránku, aby ověřila, že je v souladu s našimi zásadami. Obsah ze vstupní stránky můžeme také použít k určení, kdy je nejvhodnější reklamu uživatelům zobrazit.
Které crawlery OpenAI byste měli povolit?
Musíte povolit OAI-AdsBot. Doporučujeme povolit OAI-AdsBot i OAI-SearchBot.
Crawlerům OpenAI se nedaří procházet můj web. Co mám dělat?
Většina webů má několik vrstev ochrany, než může crawler úspěšně získat přístup k webové stránce. Spolupracujte se svým technickým nebo bezpečnostním týmem a ověřte, že crawlery OpenAI dokážou projít každou z následujících vrstev.
1. robots.txt
Soubor robots.txt říká crawlerům, zda mají povolený přístup k určitým částem vašeho webu. Crawlery OpenAI tato pravidla respektují. Pokud je přístup v robots.txt zakázán, procházení se okamžitě zastaví.
Zkontrolujte konfiguraci robots.txt a ověřte, že crawlery OpenAI mají výslovně povolen přístup k příslušným stránkám a cestám. Například: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ochrana webu a zmírňování dopadů botů
Mnoho webů používá služby jako Cloudflare, Akamai nebo jiné poskytovatele webové ochrany k obraně před DDoS útoky, scrapingem a neoprávněným provozem. Tyto systémy mohou omylem blokovat legitimní crawlery a často vracet chyby 403 Forbidden. Protože crawlery OpenAI mohou připomínat vzorce automatizovaného provozu, může jim být přístup odepřen, pokud nejsou výslovně zařazeny mezi povolené.
Zkontrolujte konfiguraci ochrany webu nebo firewallu a tam, kde je to možné, povolte provoz crawlerů OpenAI, ideálně na základě user agentů našich crawlerů. Váš technický nebo infrastrukturní tým by měl také prověřit veškerá automatizovaná pravidla pro zmírňování dopadů botů, která by mohla vyvolávat falešně pozitivní výsledky.
3. Ověření člověka a anti-bot logika
Některé weby zavádějí další kontroly na úrovni aplikace, které ověřují, že návštěvník je člověk, například CAPTCHA, JavaScriptové výzvy, analýzu chování nebo ověření relace. Protože crawlery OpenAI jsou automatizované systémy, mohou tyto kontroly zablokovat přístup i v případě, že crawler úspěšně projde předchozími vrstvami.
Zkontrolujte veškerou logiku ověřování člověka nebo ochrany proti automatizaci implementovanou ve vaší aplikaci a zajistěte, aby z ní byly crawlery OpenAI podle potřeby vyňaty, ideálně zařazením user agentů našich crawlerů mezi povolené.
Poznámka ke stabilním rozsahům IP adres
Některé bezpečnostní systémy vyžadují, aby provoz crawlerů pocházel ze stabilních, veřejně zdokumentovaných rozsahů IP adres, než jej lze spolehlivě zařadit mezi povolený provoz. Protože se infrastruktura crawlerů může v průběhu času měnit, váš technický tým by se neměl spoléhat pouze na krátkodobá pozorování IP adres z logů. Místo toho ověřujte provoz kombinací identifikace podle user agenta, ověřených programů pro boty tam, kde jsou podporovány, seznamů povolení ve firewallu, chování robots.txt a systémů pro ověřování botů na úrovni poskytovatele.
Pokud musíte povolit stabilní seznam rozsahů IP adres, použijte https://openai.com/searchbot.json a https://openai.com/adsbot.json.
Poznámka k limitu frekvence požadavků
Velká hromadná nahrání nebo náhlé špičky v provozu crawlerů mohou někdy spustit automatizované omezování limitem frekvence požadavků nebo systémy ochrany proti botům.
Pokud máte podezření, že dochází k omezení limitem frekvence požadavků, požádejte svůj technický tým, aby zkontroloval kódy odpovědí HTTP, zejména 429 Too Many Requests, logy firewallu nebo CDN, události zmírňování dopadů botů, pravidla omezování požadavků a analytiku provozu v době, kdy se crawler pokoušel o přístup. To může pomoci určit, zda jsou požadavky záměrně zpomalovány nebo blokovány ochranami infrastruktury.
Můžete také zvážit nahrávání reklam po delší dobu v menších dávkách.
Poznámka ke Cloudflare
OAI-AdsBot je službou Cloudflare oficiálně ověřený a zařazený mezi povolené.
Časté dotazy k crawlerům a vstupním stránkám
Který crawler je vyžadován pro kontrolu reklam?
OAI-AdsBot je vyžadován k ověření a kontrole vstupních stránek ChatGPT Ads. OAI-SearchBot se doporučuje, protože může OpenAI pomoci porozumět veřejnému webovému obsahu, ale crawler, kterému by inzerenti měli dát prioritu při přípravě reklam, je OAI-AdsBot.
Může podpora ručně obejít ověření crawlerem?
Na ruční obejití se nespoléhejte. Zajistěte, aby byla vstupní stránka pro OAI-AdsBot procházetelná, a opravte blokace v robots.txt, WAF, CDN, zmírňování dopadů botů, ověřování a limitech frekvence požadavků. Jakmile bude vstupní stránka přístupná, může být nutné reklamy znovu nahrát nebo znovu odeslat ke kontrole.
Co by měl můj technický tým zkontrolovat jako první?
Zkontrolujte, zda vstupní stránka vrací OAI-AdsBot úspěšnou odpověď HTTP, zda robots.txt povoluje příslušnou cestu a zda automatizovaný přístup neblokují pravidla WAF, CDN, zmírňování dopadů botů, JavaScriptové výzvy, CAPTCHA, ověřování nebo geografická pravidla.
Jsou jako vstupní stránky podporovány odkazy do obchodů s aplikacemi, přímé odkazy nebo jiné než webové cíle?
Kdykoli je to možné, použijte přímo dostupnou webovou vstupní stránku. Odkazy do obchodů s aplikacemi, přímé odkazy, dokumenty nebo cíle, které vyžadují aplikaci, přihlášení, přístup omezený na určitou oblast nebo nepodporovaná přesměrování, nemusí poskytovat dostatek procházetelného obsahu pro ověření nebo kontrolu.
Kdy mám reklamu znovu nahrát nebo znovu požádat o kontrolu?
Po opravě přístupu crawleru znovu nahrajte nebo znovu odešlete dotčené reklamy, pokud se jejich stav sám neaktualizuje. U hromadně nahraných reklam mohou menší dávky omezit spouštění limitů frekvence požadavků nebo ochrany proti botům, zatímco váš tým ověřuje opravu.