Для чего OpenAI использует веб-сканеры?
Мы используем веб-сканеры, чтобы проверять безопасность веб-страниц, отправленных в качестве рекламы в ChatGPT. При отправке рекламного объявления на проверку OpenAI может посетить целевую страницу, чтобы убедиться, что она соответствует нашим политикам. Мы также можем использовать контент целевой страницы, чтобы определить, когда показ рекламного объявления будет наиболее актуальным для пользователей.
Какие сканеры OpenAI следует разрешить?
Обязательно разрешите доступ для OAI-AdsBot. Мы рекомендуем разрешить доступ как OAI-AdsBot, так и OAI-SearchBot
Сканеры OpenAI не могут просканировать мой веб-сайт. Что мне делать?
Большинство веб-сайтов имеют несколько уровней защиты, прежде чем сканер сможет успешно получить доступ к веб-странице. Мы рекомендуем обратиться к вашей команде разработчиков и/или команде безопасности, чтобы уточнить, могут ли сканеры OpenAI проходить через каждый из следующих уровней:
1. robots.txt
Подробнее: файл robots.txt сообщает сканерам, разрешён ли им доступ к определённым разделам вашего сайта. Сканеры OpenAI соблюдают эти правила. Если доступ в robots.txt запрещен, сканирование будет немедленно остановлено.
Рекомендация: проверьте конфигурацию robots.txt и убедитесь, что сканерам OpenAI разрешен доступ к соответствующим страницам и путям.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Веб-защита / противодействие ботам
Подробнее: многие веб-сайты используют сервисы, такие как Cloudflare, Akamai или другие поставщики веб-защиты, для защиты от DDoS-атак, скрейпинга и несанкционированного трафика. Эти системы могут ошибочно блокировать легитимные сканеры, часто возвращая ошибку «403 Forbidden». Поскольку сканеры OpenAI могут напоминать модели автоматизированного трафика, им может быть отказано в доступе, если они не добавлены в список разрешенных.
Рекомендация: проверьте настройки веб-защиты или брандмауэра и по возможности добавьте трафик сканеров OpenAI в список разрешенных, в идеале на основе пользовательских агентов наших сканеров. Ваша команда разработки или инфраструктуры также должна проверить все автоматизированные правила защиты от ботов, которые могут вызывать ложные срабатывания.
3. Подтверждение, что пользователь не робот / логика защиты от ботов
Подробнее: некоторые веб-сайты реализуют дополнительные проверки на уровне приложения, чтобы убедиться, что посетитель является человеком (например: CAPTCHA, проверки JavaScript, поведенческий анализ или проверка сеанса). Поскольку сканеры OpenAI являются автоматизированными системами, эти проверки могут заблокировать доступ, даже если сканер успешно прошел предыдущие уровни.
Рекомендация: проверьте всю логику подтверждения того, что пользователь не робот, и логику защиты от ботов, реализованную в вашем приложении, и убедитесь, что сканеры OpenAI могут пройти ее там, где это уместно, в идеале — путем добавления пользовательских агентов наших сканеров в список разрешенных.
Примечание о стабильных диапазонах IP-адресов
Некоторые системы безопасности требуют, чтобы трафик сканера исходил из стабильных, публично документированных диапазонов IP-адресов, прежде чем трафик можно будет надежно внести в белый список.
Поскольку инфраструктура сканеров со временем может меняться, вашей инженерной команде не следует полагаться исключительно на краткосрочные наблюдения IP-адресов в журналах. Вместо этого мы рекомендуем проверять трафик с использованием комбинации следующих методов: идентификации user-agent, программ проверенных ботов (где поддерживается), списков разрешений межсетевого экрана, поведения в отношении robots.txt и систем проверки ботов на уровне провайдера.
Если вам необходимо разрешить стабильный список диапазонов IP-адресов, см.:
Примечание об ограничении частоты запросов
Крупные пакетные загрузки или внезапные всплески трафика сканеров иногда могут активировать автоматические системы ограничения частоты запросов или защиты от ботов.
Если вы подозреваете, что происходит ограничение скорости, попросите команду разработки проверить:
Коды ответов HTTP (особенно «429 Too Many Requests»).
Журналы брандмауэра или CDN
События защиты от ботов
Правила ограничения частоты запросов
Аналитику трафика на момент попытки доступа сканера
Это может помочь определить, намеренно ли запросы замедляются или блокируются механизмами защиты инфраструктуры.
Вы также можете рассмотреть возможность загрузки объявлений небольшими партиями в течение более длительного времени.
Заметка о Cloudflare
OAI-AdsBot теперь официально верифицирован и добавлен в список разрешённых Cloudflare.