Для чего OpenAI использует веб-сканеры?
Мы используем веб-сканеры, чтобы проверять безопасность веб-страниц, отправленных в качестве рекламы в ChatGPT. При отправке рекламного объявления на проверку OpenAI может посетить целевую страницу, чтобы убедиться, что она соответствует нашим политикам. Мы также можем использовать контент целевой страницы, чтобы определить, когда показ рекламного объявления будет наиболее актуальным для пользователей.
Какие сканеры OpenAI следует разрешить?
Обязательно разрешите доступ для OAI-AdsBot. Мы рекомендуем разрешить доступ как OAI-AdsBot, так и OAI-SearchBot.
Сканеры OpenAI не могут просканировать мой веб-сайт. Что мне делать?
Большинство веб-сайтов имеют несколько уровней защиты, прежде чем сканер сможет успешно получить доступ к веб-странице. Обратитесь к вашей команде разработчиков или команде безопасности, чтобы убедиться, что сканеры OpenAI могут проходить через каждый из следующих уровней.
1. robots.txt
Файл robots.txt сообщает сканерам, разрешён ли им доступ к определённым разделам вашего сайта. Сканеры OpenAI соблюдают эти правила. Если доступ в robots.txt запрещен, сканирование будет немедленно остановлено.
Проверьте конфигурацию robots.txt и убедитесь, что сканерам OpenAI явно разрешён доступ к соответствующим страницам и путям. Например: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Веб-защита и противодействие ботам
Многие веб-сайты используют сервисы, такие как Cloudflare, Akamai или другие поставщики веб-защиты, для защиты от DDoS-атак, скрейпинга и несанкционированного трафика. Эти системы могут ошибочно блокировать легитимные сканеры, часто возвращая ошибку «403 Forbidden». Поскольку сканеры OpenAI могут напоминать модели автоматизированного трафика, им может быть отказано в доступе, если они не добавлены в список разрешенных.
Проверьте настройки веб-защиты или брандмауэра и по возможности добавьте трафик сканеров OpenAI в список разрешённых, в идеале на основе пользовательских агентов наших сканеров. Ваша команда разработки или инфраструктуры также должна проверить все автоматизированные правила защиты от ботов, которые могут вызывать ложные срабатывания.
3. Подтверждение, что пользователь не робот, и логика защиты от ботов
Некоторые веб-сайты реализуют дополнительные проверки на уровне приложения, чтобы убедиться, что посетитель является человеком, такие как CAPTCHA, JavaScript-челленджи, поведенческий анализ или проверка сессии. Поскольку сканеры OpenAI являются автоматизированными системами, эти проверки могут заблокировать доступ, даже если сканер успешно прошел предыдущие уровни.
Проверьте всю логику подтверждения того, что пользователь не робот, и логику защиты от ботов, реализованную в вашем приложении, и убедитесь, что сканеры OpenAI освобождены от этих проверок там, где это уместно, желательно путем добавления пользовательских агентов наших сканеров в список разрешенных.
Примечание о стабильных диапазонах IP-адресов
Некоторые системы безопасности требуют, чтобы трафик сканера исходил из стабильных, публично документированных диапазонов IP-адресов, прежде чем трафик можно будет надежно внести в белый список. Поскольку инфраструктура сканеров со временем может меняться, вашей инженерной команде не следует полагаться исключительно на краткосрочные наблюдения IP-адресов в журналах. Вместо этого проверяйте трафик с использованием комбинации идентификации user-agent, программ проверенных ботов, где это поддерживается, списков разрешений межсетевого экрана, поведения в отношении robots.txt и систем проверки ботов на уровне провайдера.
Если вам необходимо разрешить постоянный список диапазонов IP-адресов, используйте https://openai.com/searchbot.json и https://openai.com/adsbot.json.
Примечание об ограничении частоты запросов
Крупные пакетные загрузки или внезапные всплески трафика сканеров иногда могут активировать автоматические системы ограничения частоты запросов или защиты от ботов.
Если вы подозреваете, что происходит ограничение частоты запросов, попросите инженерную команду проверить коды ответов HTTP, особенно 429 Too Many Requests, журналы файрвола или CDN, события по противодействию ботам, правила ограничения запросов и аналитику трафика за период, когда сканер пытался получить доступ. Это может помочь определить, намеренно ли запросы замедляются или блокируются механизмами защиты инфраструктуры.
Советуем также загружать объявления небольшими партиями, распределив процесс на более долгий срок.
Примечание о Cloudflare
OAI-AdsBot официально верифицирован и добавлен в список разрешённых Cloudflare.
Часто задаваемые вопросы о сканерах и целевой странице
Какой сканер необходим для проверки рекламы?
OAI-AdsBot необходим для валидации и проверки целевой страницы ChatGPT Ads. OAI-SearchBot рекомендуется, поскольку он может помочь OpenAI понимать общедоступный веб-контент, однако OAI-AdsBot — это сканер, которому рекламодателям следует отдавать приоритет для готовности к рекламе.
Поддерживается ли ручной обход проверки сканера?
Не полагайтесь на ручной обход. Сделайте целевую страницу доступной для сканирования OAI-AdsBot, исправив robots.txt, Блокировки WAF, CDN, защиты от ботов, аутентификации и ограничения частоты запросов. Может потребоваться повторно загрузить объявления или повторно отправить их на проверку после того, как целевая страница станет доступной.
Что моей инженерной команде следует проверить в первую очередь?
Проверьте, возвращает ли целевая страница успешный HTTP-ответ для OAI-AdsBot, разрешает ли robots.txt соответствующий путь и не блокируют ли автоматизированный доступ WAF, CDN, средства защиты от ботов, JavaScript-проверки, CAPTCHA, аутентификация, или географические правила.
Поддерживаются ли в качестве целевых страниц ссылки на магазины приложений, диплинки или места назначения вне веба?
По возможности используйте целевую веб-страницу, доступную напрямую. Ссылки на магазины приложений, диплинки, документы или целевые страницы, для доступа к которым требуется приложение, вход в систему, доступ в определённом регионе или неподдерживаемые перенаправления, могут не предоставлять достаточно контента, доступного для сканирования, для валидации или проверки.
Когда следует повторно загрузить или снова запросить проверку?
После устранения проблем с доступом для сканера повторно загрузите или отправьте заново затронутые объявления, если их статус не обновится автоматически. Для объявлений, загруженных массово, меньшие пакеты могут снизить количество срабатываний лимита запросов или защиты от ботов, пока ваша команда проверяет исправление.