Защо OpenAI използва уеб обхождащи ботове?
Използваме обхождащи ботове, за да проверяваме безопасността на уеб страниците, подадени като реклами в ChatGPT. Когато подадете реклама, OpenAI може да посети целевата страница, за да се увери, че тя спазва нашите правила. Може също да използваме съдържание от целевата страница, за да определим кога е най-уместно рекламата да бъде показана на потребителите.
Кои обхождащи ботове на OpenAI трябва да разрешите?
Трябва да разрешите OAI-AdsBot. Препоръчваме да разрешите както OAI-AdsBot, така и OAI-SearchBot.
Обхождащите ботове на OpenAI не успяват да обходят уебсайта ми. Какво трябва да направя?
Повечето уебсайтове имат няколко слоя защита, преди обхождащ бот да получи успешен достъп до уеб страница. Работете с екипа си по инженеринг или сигурност, за да проверите дали обхождащите ботове на OpenAI могат да преминат през всеки от следните слоеве.
1. robots.txt
Файлът robots.txt указва на обхождащите ботове дали им е разрешен достъп до определени части от уебсайта ви. Обхождащите ботове на OpenAI спазват тези правила. Ако достъпът е забранен в robots.txt, обхождането ще спре незабавно.
Прегледайте конфигурацията на robots.txt и потвърдете, че на обхождащите ботове на OpenAI изрично е разрешен достъп до съответните страници и пътища. Например: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Уеб защита и ограничаване на ботове
Много уебсайтове използват услуги като Cloudflare, Akamai или други доставчици на уеб защита, за да се предпазят от DDoS атаки, scraping и неоторизиран трафик. Тези системи могат погрешно да блокират легитимни обхождащи ботове, като често връщат грешки 403 Forbidden. Тъй като обхождащите ботове на OpenAI могат да наподобяват модели на автоматизиран трафик, достъпът им може да бъде отказан, освен ако не бъдат изрично добавени в списък с разрешени.
Прегледайте конфигурацията на уеб защитата или защитната стена и, където е възможно, добавете трафика от обхождащите ботове на OpenAI в списък с разрешени, най-добре въз основа на нашите user agents за обхождащи ботове. Вашият инженерен или инфраструктурен екип трябва също да провери всички автоматизирани правила за ограничаване на ботове, които може да задействат фалшиви положителни резултати.
3. Проверка за човек и антибот логика
Някои уебсайтове прилагат допълнителни проверки на ниво приложение, за да удостоверят, че посетителят е човек, като CAPTCHA, JavaScript предизвикателства, поведенчески анализ или валидиране на сесията. Тъй като обхождащите ботове на OpenAI са автоматизирани системи, тези проверки може да блокират достъпа дори ако ботът успешно е преминал предишните слоеве.
Прегледайте всяка логика за проверка за човек или срещу автоматизация, внедрена във вашето приложение, и се уверете, че обхождащите ботове на OpenAI са освободени от нея, когато е уместно, най-добре чрез добавяне на нашите user agents за обхождащи ботове в списък с разрешени.
Бележка за стабилните IP диапазони
Някои системи за сигурност изискват трафикът от обхождащи ботове да идва от стабилни, публично документирани IP диапазони, преди да може надеждно да бъде добавен в списък с разрешени. Тъй като инфраструктурата за обхождане може да се променя с времето, инженерният ви екип не бива да разчита само на краткосрочни IP наблюдения от логове. Вместо това валидирайте трафика чрез комбинация от идентификация по user-agent, програми за проверени ботове, когато се поддържат, списъци с разрешени в защитната стена, поведение на robots.txt и системи за проверка на ботове на ниво доставчик.
Ако трябва да разрешите стабилен списък с IP диапазони, използвайте https://openai.com/searchbot.json и https://openai.com/adsbot.json.
Бележка за лимита на заявките
Големи пакетни качвания или внезапни пикове в трафика от обхождащи ботове понякога могат да задействат автоматизирано прилагане на лимит на заявките или системи за защита от ботове.
Ако подозирате, че се прилага лимит на заявките, помолете инженерния си екип да прегледа HTTP кодовете за отговор, особено 429 Too Many Requests, логовете на защитната стена или CDN, събитията за ограничаване на ботове, правилата за забавяне на заявките и анализите на трафика около момента, в който обхождащият бот е опитал достъп. Това може да помогне да се установи дали заявките умишлено се забавят или блокират от инфраструктурни защити.
Може също да обмислите да качвате рекламите за по-дълъг период от време на по-малки партиди.
Бележка за Cloudflare
OAI-AdsBot е официално проверен и добавен в списъка с разрешени от Cloudflare.
ЧЗВ за обхождащи ботове и целеви страници
Кой обхождащ бот е необходим за преглед на реклами?
OAI-AdsBot е необходим за валидиране и преглед на целеви страници за ChatGPT Ads. OAI-SearchBot се препоръчва, защото може да помогне на OpenAI да разбере публично уеб съдържание, но OAI-AdsBot е обхождащият бот, който рекламодателите трябва да приоритизират за готовност на рекламите.
Може ли поддръжката ръчно да заобиколи валидирането от обхождащия бот?
Не разчитайте на ръчно заобикаляне. Направете целевата страница достъпна за обхождане от OAI-AdsBot, като коригирате блокиранията от robots.txt, WAF, CDN, ограничаване на ботове, удостоверяване и лимит на заявките. Може да се наложи рекламите да бъдат качени отново или повторно подадени за преглед, след като целевата страница стане достъпна.
Какво трябва да провери първо инженерният ми екип?
Проверете дали целевата страница връща успешен HTTP отговор към OAI-AdsBot, дали robots.txt разрешава съответния път и дали WAF, CDN, ограничаване на ботове, JavaScript предизвикателства, CAPTCHA, удостоверяване или географски правила блокират автоматизиран достъп.
Поддържат ли се връзки към магазини за приложения, дълбоки връзки или дестинации извън уеб като целеви страници?
Използвайте директно достъпна уеб целева страница винаги когато е възможно. Връзки към магазини за приложения, дълбоки връзки, документи или дестинации, които изискват приложение, вход в профил, достъп за конкретен регион или неподдържани пренасочвания, може да не предоставят достатъчно съдържание, достъпно за обхождане, за валидиране или преглед.
Кога трябва да кача отново или да поискам повторен преглед?
След като коригирате достъпа за обхождащия бот, качете отново или повторно подайте засегнатите реклами, ако състоянието не се актуализира само. При масово качени реклами по-малките партиди могат да намалят задействанията на лимита на заявките или защитата от ботове, докато екипът ви валидира корекцията.