Proč OpenAI používá webové prohledávače?
Pomocí prohledávačů ověřujeme bezpečnost webových stránek odeslaných jako reklamy v ChatGPT. Když odešlete reklamu, OpenAI může navštívit cílovou stránku a ověřit, zda splňuje naše zásady. Obsah cílové stránky můžeme také použít k určení, kdy je nejvhodnější reklamu uživatelům zobrazit.
Které prohledávače OpenAI byste měli povolit?
Musíte povolit OAI-AdsBot. Doporučujeme povolit OAI-AdsBot i OAI-SearchBot.
U produktových feedů také povolte prohledávači OAI-SearchBot přístup k adresám URL obrázků produktů. Zkontrolujte pravidla firewallu, CDN a ochrany proti botům u hostitele obrázků. Odpověď 403 může zablokovat zpracování feedu.
Prohledávačům OpenAI se nedaří procházet můj web. Co mám dělat?
Většina webů má několik vrstev ochrany, kterými musí prohledávač projít, než úspěšně získá přístup k webové stránce. Společně s technickým nebo bezpečnostním týmem ověřte, že prohledávače OpenAI mohou projít všemi následujícími vrstvami.
1. robots.txt
Soubor robots.txt určuje, zda mají prohledávače povolen přístup k určitým částem vašeho webu. Prohledávače OpenAI tato pravidla respektují. Pokud soubor robots.txt přístup zakazuje, procházení se okamžitě zastaví.
Zkontrolujte konfiguraci souboru robots.txt a ověřte, že mají prohledávače OpenAI výslovně povolen přístup k příslušným stránkám a cestám. Příklad: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ochrana webu a blokování botů
Mnoho webů používá služby jako Cloudflare, Akamai nebo jiné poskytovatele ochrany webu, aby se bránily útokům DDoS, hromadnému získávání dat a neoprávněnému provozu. Tyto systémy mohou omylem blokovat legitimní prohledávače a často vracejí chybu 403 Forbidden. Protože provoz prohledávačů OpenAI může připomínat automatizovaný provoz, může být odmítnut, pokud není výslovně zařazen na seznam povolených.
Zkontrolujte nastavení ochrany webu nebo firewallu a pokud možno zařaďte provoz prohledávačů OpenAI na seznam povolených, ideálně podle jejich identifikátorů user-agent. Váš technický tým nebo tým infrastruktury by měl také prověřit všechna automatická pravidla blokování botů, která by mohla způsobovat falešně pozitivní detekce.
3. Ověřování uživatelů a ochrana proti botům
Některé weby používají další kontroly na úrovni aplikace, které ověřují, zda je návštěvník člověk. Patří mezi ně CAPTCHA, výzvy JavaScriptu, analýza chování nebo ověření relace. Protože jsou prohledávače OpenAI automatizované systémy, mohou tyto kontroly zablokovat přístup, i když prohledávač úspěšně projde předchozími vrstvami.
Zkontrolujte veškeré mechanismy ověřování uživatelů a ochrany proti automatizaci ve své aplikaci a zajistěte, aby z nich byly prohledávače OpenAI ve vhodných případech vyňaty, ideálně zařazením jejich identifikátorů user-agent na seznam povolených.
Poznámka ke stabilním rozsahům IP adres
Některé bezpečnostní systémy vyžadují, aby provoz prohledávačů pocházel ze stabilních, veřejně zdokumentovaných rozsahů IP adres, jinak jej nelze spolehlivě zařadit na seznam povolených. Infrastruktura prohledávačů se může postupem času měnit, proto by váš technický tým neměl spoléhat pouze na krátkodobá pozorování IP adres v protokolech. Místo toho provoz ověřujte kombinací identifikace user-agent, programů pro ověřené boty, pokud jsou podporovány, seznamů povolených ve firewallu, chování podle robots.txt a systémů poskytovatele pro ověřování botů.
Pokud musíte povolit stabilní seznam rozsahů IP adres, použijte https://openai.com/searchbot.json a https://openai.com/adsbot.json.
Poznámka k omezování četnosti požadavků
Nahrávání velkých dávek nebo náhlý nárůst provozu prohledávačů mohou někdy aktivovat automatické omezování četnosti požadavků nebo systémy ochrany proti botům.
Pokud máte podezření na omezování četnosti požadavků, požádejte technický tým, aby prověřil kódy odpovědí HTTP, zejména 429 Too Many Requests, protokoly firewallu nebo CDN, události blokování botů, pravidla omezování požadavků a analýzu provozu z doby, kdy se prohledávač pokusil o přístup. To může pomoci zjistit, zda ochranné mechanismy infrastruktury požadavky záměrně zpomalují nebo blokují.
Můžete také zvážit nahrávání reklam v menších dávkách a v delším časovém období.
Poznámka ke službě Cloudflare
OAI-AdsBot je službou Cloudflare oficiálně ověřen a zařazen na seznam povolených.
Časté dotazy k prohledávačům a cílovým stránkám
Který prohledávač je nutný ke kontrole reklam?
OAI-AdsBot je nutný k ověření a kontrole cílových stránek pro Reklamy ChatGPT. OAI-SearchBot doporučujeme, protože může OpenAI pomoci porozumět veřejnému webovému obsahu. Pro zajištění připravenosti reklam by však inzerenti měli upřednostnit prohledávač OAI-AdsBot.
Může podpora ručně obejít ověření prohledávačem?
Na ruční obejití nespoléhejte. Zajistěte, aby OAI-AdsBot mohl cílovou stránku procházet: odstraňte blokování v robots.txt, WAF, CDN, ochraně proti botům, ověřování a omezování četnosti požadavků. Jakmile bude cílová stránka přístupná, může být nutné reklamy znovu nahrát nebo odeslat ke kontrole.
Co by měl můj technický tým zkontrolovat jako první?
Zkontrolujte, zda cílová stránka vrací pro OAI-AdsBot úspěšnou odpověď HTTP, zda robots.txt povoluje příslušnou cestu a zda automatizovaný přístup neblokují WAF, CDN, ochrana proti botům, výzvy JavaScriptu, CAPTCHA, ověřování nebo geografická pravidla.
Jsou jako cílové stránky podporovány odkazy do obchodů s aplikacemi, přímé odkazy do aplikací nebo jiné než webové cíle?
Kdykoli je to možné, použijte přímo dostupnou webovou cílovou stránku. Odkazy do obchodů s aplikacemi, přímé odkazy do aplikací, dokumenty nebo cíle vyžadující aplikaci, přihlášení, přístup z určité oblasti či nepodporovaná přesměrování nemusí pro ověření nebo kontrolu poskytovat dostatek obsahu, který lze procházet.
Kdy mám reklamy znovu nahrát nebo znovu požádat o kontrolu?
Po opravě přístupu prohledávače dotčené reklamy znovu nahrajte nebo odešlete, pokud se jejich stav neaktualizuje automaticky. U hromadně nahraných reklam mohou menší dávky omezit aktivaci ochrany proti botům nebo omezení četnosti požadavků, zatímco váš tým ověřuje opravu.