Навіщо OpenAI використовує вебсканери?
Ми використовуємо сканери, щоб перевіряти безпечність вебсторінок, поданих як реклама в ChatGPT. Коли ви подаєте оголошення, OpenAI може відвідати цільову сторінку, щоб переконатися, що вона відповідає нашим правилам. Ми також можемо використовувати вміст цільової сторінки, щоб визначити, коли найдоречніше показувати оголошення користувачам.
Які сканери OpenAI слід дозволити?
Ви маєте дозволити OAI-AdsBot. Рекомендуємо дозволити і OAI-AdsBot, і OAI-SearchBot.
Сканери OpenAI не можуть просканувати мій вебсайт. Що мені робити?
Більшість вебсайтів мають кілька рівнів захисту, які сканер має пройти, щоб успішно отримати доступ до вебсторінки. Попросіть свою інженерну команду або команду безпеки перевірити, чи сканери OpenAI можуть пройти кожен із наведених нижче рівнів.
1. robots.txt
Файл robots.txt повідомляє сканерам, чи дозволено їм доступ до певних частин вашого вебсайту. Сканери OpenAI дотримуються цих правил. Якщо доступ заборонено в robots.txt, сканування негайно зупиниться.
Перегляньте конфігурацію robots.txt і підтвердьте, що сканерам OpenAI явно дозволено доступ до відповідних сторінок і шляхів. Наприклад: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Вебзахист і протидія ботам
Багато вебсайтів використовують сервіси на кшталт Cloudflare, Akamai або інших постачальників вебзахисту для захисту від DDoS-атак, скрейпінгу й неавторизованого трафіку. Такі системи можуть помилково блокувати легітимні сканери, часто повертаючи помилки 403 Forbidden. Оскільки сканери OpenAI можуть бути схожими на автоматизований трафік, їм можуть відмовити в доступі, якщо їх спеціально не додати до списку дозволених.
Перегляньте конфігурацію вебзахисту або брандмауера та, де можливо, додайте трафік сканерів OpenAI до списку дозволених — бажано на основі user agent наших сканерів. Вашій інженерній або інфраструктурній команді також слід перевірити всі автоматизовані правила протидії ботам, які можуть спричиняти хибні спрацювання.
3. Перевірка людини та антибот-логіка
Деякі вебсайти впроваджують додаткові перевірки на рівні застосунку, щоб підтвердити, що відвідувач є людиною, наприклад CAPTCHA, перевірки JavaScript, аналіз поведінки або валідацію сеансу. Оскільки сканери OpenAI є автоматизованими системами, такі перевірки можуть блокувати доступ, навіть якщо сканер успішно пройшов попередні рівні.
Перегляньте всю логіку перевірки людини або захисту від автоматизації, реалізовану у вашому застосунку, і переконайтеся, що сканери OpenAI за потреби звільнені від неї — бажано через додавання user agent наших сканерів до списку дозволених.
Примітка про стабільні діапазони IP-адрес
Деякі системи безпеки вимагають, щоб трафік сканерів надходив зі стабільних, публічно задокументованих діапазонів IP-адрес, перш ніж його можна буде надійно додати до списку дозволених. Оскільки інфраструктура сканерів може з часом змінюватися, вашій інженерній команді не слід покладатися лише на короткострокові спостереження IP-адрес у журналах. Натомість перевіряйте трафік за поєднанням ідентифікації user-agent, програм перевірених ботів, якщо вони підтримуються, списків дозволених у брандмауері, поведінки robots.txt і систем перевірки ботів на рівні постачальника.
Якщо вам потрібно дозволити стабільний список діапазонів IP-адрес, використовуйте https://openai.com/searchbot.json і https://openai.com/adsbot.json.
Примітка про ліміт запитів
Великі пакетні завантаження або раптові сплески трафіку сканерів іноді можуть запускати автоматичні ліміти запитів або системи захисту від ботів.
Якщо ви підозрюєте, що спрацьовує ліміт запитів, попросіть інженерну команду перевірити коди HTTP-відповідей, особливо 429 Too Many Requests, журнали брандмауера або CDN, події протидії ботам, правила обмеження запитів і аналітику трафіку за період, коли сканер намагався отримати доступ. Це допоможе з’ясувати, чи інфраструктурні засоби захисту навмисно уповільнюють або блокують запити.
Також можна розглянути завантаження оголошень меншими пакетами протягом довшого часу.
Примітка про Cloudflare
OAI-AdsBot офіційно перевірений і доданий Cloudflare до списку дозволених.
Поширені запитання про сканери та цільові сторінки
Який сканер потрібен для перевірки оголошень?
OAI-AdsBot потрібен для валідації та перевірки цільових сторінок ChatGPT Ads. OAI-SearchBot рекомендовано, оскільки він може допомогти OpenAI розуміти публічний вебвміст, але саме OAI-AdsBot рекламодавцям слід пріоритезувати для готовності оголошень.
Чи може служба підтримки вручну обійти валідацію сканером?
Не покладайтеся на ручний обхід. Зробіть цільову сторінку доступною для сканування OAI-AdsBot, усунувши блокування в robots.txt, WAF, CDN, засобах протидії ботам, автентифікації та лімітах запитів. Після того як цільова сторінка стане доступною, оголошення може знадобитися завантажити повторно або знову подати на перевірку.
Що моїй інженерній команді слід перевірити насамперед?
Перевірте, чи цільова сторінка повертає успішну HTTP-відповідь для OAI-AdsBot, чи robots.txt дозволяє відповідний шлях, а також чи WAF, CDN, засоби протидії ботам, перевірки JavaScript, CAPTCHA, автентифікація або географічні правила не блокують автоматизований доступ.
Чи підтримуються посилання на магазини застосунків, deep links або не-вебпризначення як цільові сторінки?
За можливості використовуйте цільову вебсторінку, доступну напряму. Посилання на магазини застосунків, deep links, документи або призначення, що потребують застосунку, входу в обліковий запис, доступу для певного регіону чи непідтримуваних переспрямувань, можуть не надавати достатньо вмісту, доступного для сканування, щоб виконати валідацію або перевірку.
Коли слід повторно завантажити оголошення або знову запросити перевірку?
Після виправлення доступу для сканера повторно завантажте або знову подайте на перевірку відповідні оголошення, якщо статус не оновиться самостійно. Для оголошень, завантажених масово, менші пакети можуть зменшити спрацьовування ліміту запитів або захисту від ботів, поки ваша команда перевіряє виправлення.