Чому OpenAI використовує вебсканери?
Ми використовуємо сканери, щоб перевіряти безпеку вебсторінок, поданих як реклама в ChatGPT. Коли ви подаєте рекламу, OpenAI може відвідати цільову сторінку, щоб переконатися, що вона відповідає нашим правилам. Ми також можемо використовувати вміст цільової сторінки, щоб визначити, коли рекламу найдоречніше показувати користувачам.
Які сканери OpenAI слід дозволити?
Ви повинні дозволити OAI-AdsBot. Рекомендуємо дозволити і OAI-AdsBot, і OAI-SearchBot
Сканери OpenAI не можуть просканувати мій вебсайт. Що мені робити?
Більшість вебсайтів мають кілька рівнів захисту, перш ніж сканер зможе успішно отримати доступ до вебсторінки. Рекомендуємо попрацювати з вашою командою інженерів/безпеки, щоб перевірити, що сканери OpenAI можуть пройти через кожен із наведених нижче рівнів:
1. robots.txt
Огляд: Файл robots.txt повідомляє сканерам, чи дозволено їм доступ до певних частин вашого вебсайту. Сканери OpenAI дотримуються цих правил. Якщо доступ заборонено в robots.txt, сканування буде негайно зупинено.
Рекомендація: Перевірте конфігурацію robots.txt і підтвердьте, що сканерам OpenAI явно дозволено доступ до відповідних сторінок і шляхів.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Вебзахист / пом’якшення бот-активності
Огляд: Багато вебсайтів використовують сервіси на кшталт Cloudflare, Akamai або інших постачальників вебзахисту для захисту від DDoS-атак, скрейпінгу та несанкціонованого трафіку. Ці системи можуть помилково блокувати легітимні сканери, часто повертаючи помилки 403 Forbidden. Оскільки сканери OpenAI можуть бути схожими на автоматизовані шаблони трафіку, їм можуть відмовити в доступі, якщо їх окремо не додати до списку дозволених.
Рекомендація: Перевірте конфігурацію вебзахисту або брандмауера та, де можливо, додайте трафік сканерів OpenAI до списку дозволених, в ідеалі на основі user-agent наших сканерів. Вашій команді інженерів або інфраструктури також варто перевірити всі автоматизовані правила захисту від ботів, які можуть спричиняти хибні спрацьовування.
3. Перевірка людини / антибот-логіка
Огляд: Деякі вебсайти впроваджують додаткові перевірки на рівні застосунку, щоб переконатися, що відвідувач — людина (наприклад: CAPTCHA, JavaScript-виклики, поведінковий аналіз або перевірка сесії). Оскільки сканери OpenAI є автоматизованими системами, ці перевірки можуть блокувати доступ, навіть якщо сканер успішно проходить попередні рівні.
Рекомендація: Перевірте будь-яку логіку перевірки людини чи захисту від автоматизації, реалізовану у вашому застосунку, і переконайтеся, що сканери OpenAI звільнені від неї там, де це доречно, в ідеалі шляхом додавання user-agent наших сканерів до списку дозволених.
Примітка щодо стабільних діапазонів IP-адрес
Деякі системи безпеки вимагають, щоб трафік сканерів надходив зі стабільних, публічно задокументованих діапазонів IP-адрес, перш ніж його можна буде надійно додати до списку дозволених.
Оскільки інфраструктура сканерів з часом може змінюватися, вашій команді інженерів не слід покладатися лише на короткострокові спостереження за IP-адресами в журналах. Натомість рекомендуємо перевіряти трафік за поєднанням таких ознак: ідентифікація user-agent, програми перевірених ботів (де підтримуються), списки дозволених у брандмауері, поведінка robots.txt та системи перевірки ботів на рівні постачальника.
Якщо вам потрібно дозволити стабільний список діапазонів IP-адрес, будь ласка, зверніться до:
Примітка щодо ліміту запитів
Великі пакетні завантаження або раптові сплески трафіку сканерів іноді можуть запускати автоматизовані системи обмеження швидкості чи захисту від ботів.
Якщо ви підозрюєте, що застосовується ліміт запитів, попросіть вашу команду інженерів перевірити:
Коди відповіді HTTP (особливо 429 Too Many Requests)
Журнали брандмауера або CDN
Події пом’якшення бот-активності
Правила обмеження запитів
Аналітику трафіку на час, коли сканер намагався отримати доступ
Це може допомогти визначити, чи запити навмисно сповільнюються або блокуються засобами захисту інфраструктури.
Ви також можете розглянути завантаження реклами меншими пакетами протягом довшого часу.
Примітка про Cloudflare
OAI-AdsBot тепер офіційно перевірений і внесений Cloudflare до списку дозволених.