Навіщо OpenAI використовує вебсканери?
Ми використовуємо вебсканери, щоб перевіряти безпеку вебсторінок, поданих як реклама в ChatGPT. Коли ви подаєте рекламу, OpenAI може відвідати цільову сторінку, щоб переконатися, що вона відповідає нашим правилам. Ми також можемо використовувати вміст цільової сторінки, щоб визначити, коли реклама буде найдоречнішою для користувачів.
Яким вебсканерам OpenAI потрібно дозволити доступ?
Ви повинні дозволити доступ OAI-AdsBot. Рекомендуємо дозволити доступ як OAI-AdsBot, так і OAI-SearchBot.
Для фідів товарів також дозвольте OAI-SearchBot сканувати URL-адреси зображень товарів. Перевірте правила брандмауера, CDN і захисту від ботів на хості зображень: відповідь 403 може заблокувати обробку фіду.
Вебсканери OpenAI не можуть просканувати мій сайт. Що робити?
Більшість сайтів мають кілька рівнів захисту, які вебсканер має пройти, щоб успішно отримати доступ до вебсторінки. Разом зі своєю командою розробки або безпеки перевірте, чи можуть вебсканери OpenAI пройти кожен із наведених нижче рівнів.
1. robots.txt
Файл robots.txt повідомляє вебсканерам, чи дозволено їм доступ до певних частин вашого сайту. Вебсканери OpenAI дотримуються цих правил. Якщо файл robots.txt забороняє доступ, сканування негайно припиниться.
Перевірте конфігурацію robots.txt і переконайтеся, що вебсканерам OpenAI явно дозволено доступ до відповідних сторінок і шляхів. Наприклад: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Захист вебресурсів і протидія ботам
Багато сайтів використовують Cloudflare, Akamai або інші служби захисту вебресурсів для протидії DDoS-атакам, збиранню даних і несанкціонованому трафіку. Ці системи можуть помилково блокувати легітимні вебсканери, часто повертаючи помилку 403 Forbidden. Оскільки трафік вебсканерів OpenAI може бути схожим на автоматизований, їм можуть відмовити в доступі, якщо їх явно не додано до списку дозволених.
Перевірте конфігурацію захисту вебресурсів або брандмауера й, за можливості, додайте трафік вебсканерів OpenAI до списку дозволених — бажано за їхніми рядками User-Agent. Вашій команді розробки або інфраструктури також слід перевірити автоматичні правила протидії ботам, які можуть давати хибні спрацювання.
3. Перевірка користувача й захист від ботів
Деякі сайти застосовують додаткові перевірки на рівні програми, щоб упевнитися, що відвідувач є людиною: CAPTCHA, перевірки JavaScript, аналіз поведінки або перевірку сеансу. Оскільки вебсканери OpenAI є автоматизованими системами, ці перевірки можуть блокувати доступ, навіть якщо вебсканер успішно пройшов попередні рівні.
Перевірте реалізовані у вашій програмі механізми перевірки користувача та захисту від автоматизації. За потреби звільніть вебсканери OpenAI від цих перевірок — бажано додавши їхні рядки User-Agent до списку дозволених.
Примітка щодо стабільних діапазонів IP-адрес
Деякі системи безпеки дають змогу надійно додати трафік вебсканерів до списку дозволених, лише якщо він надходить зі стабільних, публічно задокументованих діапазонів IP-адрес. Оскільки інфраструктура вебсканерів із часом може змінюватися, вашій команді розробки не варто покладатися лише на короткострокові спостереження за IP-адресами в журналах. Натомість перевіряйте трафік за допомогою поєднання ідентифікації за рядком User-Agent, програм перевірки ботів (якщо підтримуються), списків дозволених брандмауера, поведінки robots.txt і систем перевірки ботів на рівні постачальника.
Якщо необхідно дозволити стабільний список діапазонів IP-адрес, скористайтеся https://openai.com/searchbot.json і https://openai.com/adsbot.json.
Примітка щодо обмеження частоти запитів
Великі пакетні завантаження або раптові сплески трафіку вебсканерів іноді можуть активувати автоматичне обмеження частоти запитів чи системи захисту від ботів.
Якщо ви підозрюєте, що діє обмеження частоти запитів, попросіть команду розробки перевірити коди відповідей HTTP, особливо 429 Too Many Requests, журнали брандмауера або CDN, події протидії ботам, правила регулювання частоти запитів і аналітику трафіку за час, коли вебсканер намагався отримати доступ. Це допоможе з’ясувати, чи інфраструктурні засоби захисту навмисно сповільнюють або блокують запити.
Також можна завантажувати рекламу меншими пакетами протягом тривалішого часу.
Примітка щодо Cloudflare
OAI-AdsBot офіційно перевірений Cloudflare і доданий до списку дозволених.
Поширені запитання про вебсканери й цільові сторінки
Який вебсканер потрібен для перевірки реклами?
OAI-AdsBot потрібен для перевірки й оцінювання цільових сторінок ChatGPT Ads. OAI-SearchBot рекомендовано, оскільки він може допомогти OpenAI аналізувати загальнодоступний вебвміст, але для готовності реклами рекламодавцям слід насамперед забезпечити доступ OAI-AdsBot.
Чи може служба підтримки вручну обійти перевірку вебсканером?
Не покладайтеся на ручний обхід перевірки. Зробіть цільову сторінку доступною для OAI-AdsBot, усунувши блокування в robots.txt, WAF, CDN, засобах протидії ботам, автентифікації та обмеженні частоти запитів. Коли цільова сторінка стане доступною, рекламу може знадобитися завантажити повторно або знову подати на перевірку.
Що моя команда розробки має перевірити насамперед?
Перевірте, чи повертає цільова сторінка успішну відповідь HTTP для OAI-AdsBot, чи дозволяє robots.txt доступ до відповідного шляху та чи не блокують автоматизований доступ WAF, CDN, засоби протидії ботам, перевірки JavaScript, CAPTCHA, автентифікація або географічні правила.
Чи підтримуються як цільові сторінки посилання на магазини застосунків, глибинні посилання або ресурси, що не є вебсторінками?
За можливості використовуйте цільову вебсторінку з прямим доступом. Посилання на магазини застосунків, глибинні посилання, документи чи ресурси, для доступу до яких потрібні застосунок, вхід в обліковий запис, доступ із певного регіону або непідтримувані переспрямування, можуть не містити достатньо доступного для сканування вмісту, щоб пройти перевірку чи оцінювання.
Коли потрібно повторно завантажити рекламу або знову надіслати її на перевірку?
Після відновлення доступу для вебсканера повторно завантажте або знову подайте відповідну рекламу, якщо її статус не оновиться автоматично. Якщо рекламу завантажено пакетно, менші пакети можуть знизити ймовірність активації обмеження частоти запитів або захисту від ботів, поки ваша команда перевіряє виправлення.