Proč OpenAI používá webové crawlery?
Crawlery používáme k ověření bezpečnosti webových stránek odeslaných jako reklamy v ChatGPT. Když odešlete reklamu, OpenAI může navštívit vstupní stránku, aby ověřila, že je v souladu s našimi zásadami. Obsah ze vstupní stránky můžeme také použít k určení, kdy je nejvhodnější reklamu uživatelům zobrazit.
Které crawlery OpenAI byste měli povolit?
Musíte povolit OAI-AdsBot. Doporučujeme povolit OAI-AdsBot i OAI-SearchBot.
Crawlerům OpenAI se nedaří procházet můj web. Co mám dělat?
Většina webů má několik vrstev ochrany, kterými musí crawler projít, než se úspěšně dostane k webové stránce. Spolupracujte se svým technickým nebo bezpečnostním týmem a ověřte, že crawlery OpenAI dokážou projít každou z následujících vrstev.
1. robots.txt
Soubor robots.txt říká crawlerům, zda mají povoleno přistupovat k určitým částem vašeho webu. Crawlery OpenAI tato pravidla respektují. Pokud je přístup v souboru robots.txt zakázán, procházení se okamžitě zastaví.
Zkontrolujte konfiguraci souboru robots.txt a ověřte, že crawlery OpenAI mají výslovně povolen přístup k příslušným stránkám a cestám. Například: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webová ochrana a ochrana proti botům
Mnoho webů používá služby jako Cloudflare, Akamai nebo jiné poskytovatele webové ochrany k obraně proti útokům DDoS, scrapingu a neoprávněnému provozu. Tyto systémy mohou omylem blokovat legitimní crawlery a často vracejí chyby 403 Forbidden. Protože crawlery OpenAI mohou připomínat vzorce automatizovaného provozu, může jim být přístup odepřen, pokud nejsou výslovně přidány na seznam povolených.
Zkontrolujte konfiguraci webové ochrany nebo firewallu a tam, kde je to možné, povolte provoz crawlerů OpenAI, ideálně na základě našich uživatelských agentů crawlerů. Váš technický tým nebo tým infrastruktury by měl také prověřit všechna automatizovaná pravidla ochrany proti botům, která by mohla vyvolávat falešné pozitivní výsledky.
3. Ověření člověka a logika proti botům
Některé weby zavádějí další kontroly na úrovni aplikace, aby ověřily, že návštěvník je člověk, například CAPTCHA, JavaScriptové výzvy, analýzu chování nebo ověřování relace. Protože crawlery OpenAI jsou automatizované systémy, tyto kontroly mohou přístup zablokovat, i když crawler úspěšně projde předchozími vrstvami.
Zkontrolujte veškerou logiku pro ověření člověka nebo ochranu proti automatizaci implementovanou ve vaší aplikaci a zajistěte, aby crawlery OpenAI byly tam, kde je to vhodné, vyňaty, ideálně přidáním našich uživatelských agentů crawlerů na seznam povolených.
Poznámka ke stabilním rozsahům IP adres
Některé bezpečnostní systémy vyžadují, aby provoz crawlerů pocházel ze stabilních, veřejně zdokumentovaných rozsahů IP adres, než jej lze spolehlivě povolit. Protože se infrastruktura crawlerů může v čase vyvíjet, váš technický tým by se neměl spoléhat pouze na krátkodobá pozorování IP adres z logů. Místo toho ověřujte provoz kombinací identifikace uživatelského agenta, programů pro ověřené boty tam, kde jsou podporovány, seznamů povolených ve firewallu, chování podle robots.txt a systémů pro ověřování botů na úrovni poskytovatele.
Pokud musíte povolit stabilní seznam rozsahů IP adres, použijte https://openai.com/searchbot.json a https://openai.com/adsbot.json.
Poznámka k limitům frekvence požadavků
Velké dávkové nahrávání nebo náhlé špičky v provozu crawlerů mohou někdy spustit automatizované limity frekvence požadavků nebo systémy ochrany proti botům.
Pokud máte podezření, že dochází k omezování frekvence požadavků, požádejte svůj technický tým, aby zkontroloval kódy odpovědí HTTP, zejména 429 Too Many Requests, logy firewallu nebo CDN, události ochrany proti botům, pravidla omezování požadavků a analytiku provozu v době, kdy se crawler pokoušel o přístup. To může pomoci zjistit, zda jsou požadavky záměrně zpomalovány nebo blokovány ochranami infrastruktury.
Můžete také zvážit nahrávání reklam po delší dobu v menších dávkách.
Poznámka ke Cloudflare
OAI-AdsBot je službou Cloudflare oficiálně ověřen a přidán na seznam povolených.
Časté dotazy ke crawlerům a vstupním stránkám
Který crawler je vyžadován pro kontrolu reklam?
OAI-AdsBot je vyžadován pro ověření a kontrolu vstupních stránek reklam v ChatGPT Ads. OAI-SearchBot se doporučuje, protože může OpenAI pomoci porozumět veřejnému webovému obsahu, ale pro připravenost reklam by měli inzerenti upřednostnit crawler OAI-AdsBot.
Může podpora ručně obejít ověření crawlerem?
Nespoléhejte se na ruční obejití. Zajistěte, aby byla vstupní stránka pro OAI-AdsBot procházitelná, opravou blokování v robots.txt, WAF, CDN, ochraně proti botům, ověřování a limitech frekvence požadavků. Po zpřístupnění vstupní stránky může být nutné reklamy znovu nahrát nebo znovu odeslat ke kontrole.
Co by měl můj technický tým zkontrolovat nejdříve?
Zkontrolujte, zda vstupní stránka vrací OAI-AdsBot úspěšnou odpověď HTTP, zda robots.txt povoluje příslušnou cestu a zda WAF, CDN, ochrana proti botům, JavaScriptové výzvy, CAPTCHA, ověřování nebo geografická pravidla neblokují automatizovaný přístup.
Jsou jako vstupní stránky podporovány odkazy do obchodů s aplikacemi, přímé odkazy nebo jiné než webové cíle?
Kdykoli je to možné, použijte přímo dostupnou webovou vstupní stránku. Odkazy do obchodů s aplikacemi, přímé odkazy, dokumenty nebo cíle, které vyžadují aplikaci, přihlášení, přístup specifický pro region nebo nepodporovaná přesměrování, nemusí poskytovat dostatek procházetelného obsahu pro ověření nebo kontrolu.
Kdy mám reklamy znovu nahrát nebo znovu požádat o kontrolu?
Po opravě přístupu pro crawlery znovu nahrajte nebo znovu odešlete dotčené reklamy, pokud se stav sám neaktualizuje. U hromadně nahraných reklam mohou menší dávky omezit spouštění limitů frekvence požadavků nebo ochrany proti botům, zatímco váš tým ověřuje opravu.