Важные ссылки
Панель мониторинга Service Health (сейчас доступна только клиентам Enterprise API)
Начните с правильных настроек по умолчанию
При открытии панели Service Health по умолчанию выбраны:
Все проекты
Последние 30 дней
Почасовое разрешение
Это представление полезно только для ориентации. Для содержательного устранения неполадок всегда требуется фильтрация.
Сначала примените фильтры
Правильная фильтрация — самый важный шаг. Большинство неверных интерпретаций возникает из-за смешивания моделей, тарифных планов или проектов.
Фильтруйте по модели (по одной за раз)
Всегда фильтруйте до одной модели.
Почему:
Проблемы на моделях с низким трафиком могут быть скрыты более объемным трафиком
Модели с большим объемом трафика могут делать локальные проблемы похожими на глобальные
У разных моделей разные цели производительности
Примечание: выбор нескольких моделей агрегирует их — он не переключает между ними.
Фильтруйте по тарифному плану
Если вы используете более одного тарифа (standard, priority, scale), всегда фильтруйте по тарифу, который исследуете.
Почему:
У тарифных планов разные характеристики производительности
Для тарифов Priority и Scale определены SLA
Смешивание тарифов затрудняет оценку производительности платного тарифа
Это особенно важно для анализа задержки.
Фильтруйте по проекту
По умолчанию Service Health показывает все проекты.
Для устранения неполадок отфильтруйте по проекту или проектам, где наблюдалась проблема.
Почему:
Один проект с большим объемом трафика может доминировать в метриках.
Меньшие затронутые проекты могут быть скрыты несвязанным трафиком.
Оставляйте выбранным «Все проекты» только если считаете, что проблема действительно затрагивает всю организацию.
Устранение ошибок
Используйте представление HTTP Requests
Чтобы исследовать ошибки:
Отфильтруйте по модели и тарифному плану.
Откройте вкладку HTTP Requests вместо вкладки Uptime.
В этом представлении показаны общее число запросов и количество ошибок по коду состояния HTTP. Увеличьте масштаб до поминутного разрешения, чтобы выявить точечные всплески или изменения.
Интерпретируйте долю ошибок, а не их количество
В любой производственной системе ожидается некоторое количество ошибок. Сосредоточьтесь на проценте ошибок, а не на необработанных итоговых значениях.
Чем больше общий объем, тем больше потенциальное число ошибок даже при крайне низкой доле ошибок.
Когда ошибки отсутствуют в Service Health
Если вы видите ошибки на стороне клиента, но в Service Health нет соответствующих данных:
Запросы, вероятно, не достигли OpenAI.
Проблема обычно находится выше по потоку (тайм-ауты, прокси, сеть).
Это часто встречается при агрессивных тайм-аутах на стороне клиента.
Устранение проблем с задержкой
Анализ задержки наиболее информативен на тарифах priority и scale, для которых определены SLA. Стандартный тариф может показывать более широкий разброс задержки и не имеет гарантированной задержки.
Ключевые метрики
Чтобы просмотреть каждую метрику, нажмите соответствующую вкладку:
Скорость генерации токенов: токены, генерируемые в секунду; не зависит от размера промпта.
Время запроса: общая длительность запроса; сильно зависит от размера вывода и рассуждений.
Время до первого токена (TTFT): время до генерации первого токена; сильно зависит от размера некэшированного входного промпта и рассуждений.
Всегда просматривайте процентили P50 / P75 / P95. Средние значения могут скрывать влияние на реальных пользователей.
6. Сопоставление задержки с использованием токенов
Service Health показывает, когда изменилось поведение. Данные об использовании помогают объяснить, почему.
На панели использования выполните следующее, чтобы убедиться, что вы просматриваете данные, относящиеся к вашему представлению на панели Service Health:
Отфильтруйте по тому же проекту и модели.
Сгруппируйте по тарифному плану, если применимо.
Сосредоточьтесь на выходных токенах, которые сильнее всего влияют на задержку.
Для более глубокого анализа экспортируйте Activity Data и изучите количество токенов на запрос с течением времени.
7. Что передать в поддержку (при необходимости)
Если вы обращаетесь в поддержку, укажите:
Идентификаторы затронутых организаций (важно)
Затронутые конечные точки, например Chat Completions или Responses (важно)
Затронутые модели (важно)
Относится ли это к уровню Scale или Priority (важно)
Временные диапазоны с часовым поясом для задержки или ошибок (важно)
Соответствующий x-request-id или X-Client-Request-Id, если доступен
Временные метки с часовым поясом или хотя бы дата для предоставляемых запросов
Если доступно, также укажите:
Идентификатор проекта, связанного с запросами
Затронуты ли запросы с резидентностью данных и какие именно
Описание наблюдаемых вами тенденций
Для типа проблемы укажите:
Ошибки: приблизительный процент неуспешных запросов или запросов с ошибками, коды ответов, сообщения об ошибках и сколько времени заняло получение ответа с ошибкой.
Задержка: какие процентили затронуты (P50 / P90 / P95 / P99), насколько они выше базового уровня клиента, а также примеры медленных запросов с временными метками отправки и получения.
Оба типа: снимки экрана или таблицу с данными об ошибках или задержке, а также как вы определили, что доля ошибок или задержка выше ожидаемой.
Распространенные сценарии устранения неполадок
Происходят тайм-ауты, но Service Health выглядит нормально
Возможная причина: время ожидания запросов истекает до того, как они достигают OpenAI.
Проверьте:
Настройки тайм-аута клиента или прокси
Изменения в локальной сети или балансировщике нагрузки
Наличие ошибок 499 на панели Service Health (в ваших собственных системах они могут отображаться как ошибки 5xx).
Задержка увеличилась без развертывания
Возможная причина: увеличился размер выходных токенов или использование рассуждений и/или трафик сместился между тарифными планами.
Проверьте:
Среднее число выходных токенов на запрос на панели использования (требуется скачать данные и разделить выходные токены на общее число запросов).
Процентили Request Time и TTFT на панели Service Health.
Priority или Уровень производительности кажется медленным
Возможная причина: метрики смешиваются между тарифами, из-за чего трафик стандартного уровня скрывает производительность платного уровня.
Проверьте:
Фильтры ограничены одним тарифным планом и одной моделью.
Сравнение скорости генерации токенов между тарифами.
Всплеск ошибок 5XX
Вероятная причина: временные сбои, затрагивающие небольшой процент трафика.
Проверьте:
Процент ошибок
Изменился ли объем трафика в то же время
Проблема затрагивает только один проект
Вероятная причина: конфигурация или шаблон использования, специфичные для проекта.
Проверьте:
Фильтрация на уровне проекта
Сравнение с незатронутыми проектами
Итоговые выводы
Перед интерпретацией метрик фильтруйте по модели, тарифу и проекту, где это уместно.
Для анализа задержки используйте процентили, а не средние значения.
Небольшие доли ошибок ожидаемы.
Отсутствующие данные обычно указывают на проблемы выше по потоку.
Данные об использовании помогают объяснить, почему изменилась задержка; Service Health показывает, когда изменилось поведение.