Важни врски
Контролна табла за состојбата на услугата (моментално достапна само за корисници на Enterprise API)
Ако прегледот на состојбата на услугата не е достапен за вашата сметка, при контактирање со поддршката приложете ги идентификаторите на барањата од вашата апликација, одговорите со грешки од кои се отстранети чувствителните податоци и записите за времетраењето. Местото на чување на податоците само по себе не обезбедува пристап до контролните табли наменети исклучиво за Enterprise.
Започнете со вистинските стандардни поставки
Кога ќе ја отворите контролната табла за состојба на услугата, таа стандардно прикажува:
Сите проекти
Последните 30 дена
Часовна резолуција
Овој приказ е корисен само за ориентација. Значајното решавање проблеми секогаш бара филтрирање.
Филтрирајте пред да истражувате
Правилното филтрирање е најважниот чекор. Повеќето погрешни толкувања произлегуваат од мешање модели, нивоа или проекти.
Филтрирајте по модел (еден по еден)
Секогаш филтрирајте на еден модел.
Зошто:
Проблемите кај модели со мал сообраќај може да бидат скриени од сообраќај со поголем обем
Моделите со голем обем може да направат локализираните проблеми да изгледаат глобални
Различни модели имаат различни цели за перформанси
Забелешка: избирањето повеќе модели ги агрегира — не префрла меѓу нив.
Филтрирање според Ниво на услуга
Ако користите повеќе од едно ниво (стандардно, Брз режим (порано „Приоритетна обработка“), Ниво на скалирање), секогаш филтрирајте според нивото што го истражувате.
Зошто:
Нивоата имаат различни карактеристики на перформансите
Брз режим и Ниво на скалирање имаат дефинирани SLA
Мешањето на нивоата ги прикрива перформансите на платеното ниво
Ова е особено важно при анализа на латентноста.
Кај постојните модели, сообраќајот во Брз режим и натаму се прикажува како приоритетен на контролната табла за користење.
Филтрирајте по проект
Стандардно, Состојбата на услугата ги прикажува сите проекти.
За решавање проблеми, филтрирајте на проектот/проектите каде што е забележан проблемот.
Зошто:
Еден проект со голем обем може да доминира во метриките.
Помалите засегнати проекти може да бидат прикриени од неповрзан сообраќај.
Оставете „Сите проекти“ избрано само ако верувате дека проблемот навистина ја засега целата организација.
Решавање проблеми со грешки
Користете го приказот за HTTP барања
За да истражите грешки:
Филтрирајте по модел и ниво на услуга.
Отворете го јазичето HTTP барања наместо јазичето Време на работа.
Овој приказ ги покажува вкупните барања и бројот на грешки според HTTP статусниот код. Зумирајте до резолуција на ниво на минута за да идентификувате детални скокови или промени.
Толкувајте ги стапките на грешки, не бројките
Некои грешки се очекувани во секој продукциски систем. Фокусирајте се на процентот на грешки, не на необработените вкупни бројки.
Колку е поголем вашиот вкупен обем, толку е поголем потенцијалниот број грешки дури и со екстремно ниска стапка на грешки.
Кога грешките недостасуваат од Состојбата на услугата
Ако гледате грешки на клиентската страна, но нема соодветни податоци во Состојбата на услугата:
Барањата веројатно не стигнале до OpenAI.
Проблемот обично е нагоре во текот (истек на време, проксија, мрежа).
Ова е често кај агресивни истекувања на време на клиентската страна.
Решавање проблеми со латентноста
Анализата на латентноста е најрелевантна за нивоата Брз режим и Ниво на скалирање, за кои има дефинирани SLA. На стандардното ниво латентноста може повеќе да варира и не е загарантирана.
Клучни метрики
За да ја видите секоја метрика, кликнете на соодветното јазиче:
Брзина на токени: токени генерирани во секунда; независно од големината на промптот.
Време на барање: вкупно времетраење на барањето; силно зависи од големината на излезот и расудувањето.
Време до прв токен (TTFT): време додека не се генерира првиот токен; силно зависи од големината на некешираниот влезен промпт и расудувањето.
Секогаш прегледувајте ги P50 / P75 / P95 процентилите. Просеците можат да го скријат влијанието врз реалните корисници.
Поврзување на латентноста со потрошувачката на токени
Состојбата на услугата покажува кога се променило однесувањето. Податоците за користењето помагаат да се објасни зошто.
Во контролната табла за користење, направете го следново за да бидете сигурни дека ги прегледувате податоците што одговараат на вашиот приказ во контролната табла за состојбата на услугата:
Филтрирајте според истиот проект и модел.
Групирајте според Ниво на услуга, ако е применливо.
Фокусирајте се на излезните токени, кои најмногу влијаат врз латентноста.
За подлабока анализа, извезете ги податоците за активноста и испитајте како се менува бројот на токени по барање со текот на времето.
Што да споделите со поддршката (ако е потребно)
Ако ја контактирате поддршката, наведете:
Идентификатори на засегнатите организации (важно)
Засегнати крајни точки, како Chat Completions или Responses (важно)
Засегнати модели (важно)
Нивото на услуга што се користи за засегнатите барања, како Стандардно, Брз режим или Ниво на скалирање (важно)
Временски периоди во кои се јавуваат доцнења или грешки, со наведена временска зона (важно)
Соодветниот x-request-id или X-Client-Request-Id, ако е достапен
Временски ознаки со временска зона, или барем датумот, за барањата што ги приложувате
Ако ви се достапни, наведете ги и следниве информации:
Идентификаторот на проектот поврзан со барањата
Дали се засегнати барањата со одредено место на чување на податоците и кои од нив, вклучувајќи ги предвидениот регион за чување и употребеното име на регионалниот API хост. Наведете дали проектот има фиксна географска локација или е глобален, со место на чување на податоците одредено за секое барање.
Опис на трендовите што ги забележувате
За тековната поддршка за модели и крајни точки по региони, видете го водичот за местото на чување на податоците за API.
Споделете детали за конфигурацијата и грешките, откако ќе ги отстраните чувствителните податоци. Отстранете ги API клучевите, податоците за најава, промптовите и другите чувствителни содржини на клиентите од примерите и сликите од екранот.
Зависно од видот на проблемот, наведете:
Грешки: Приближен процент на неуспешни барања или барања што враќаат грешка, кодови на одговорите, пораки за грешки и времето потребно за добивање на одговорот со грешка.
Доцнење: Кои перцентили се засегнати (P50 / P90 / P95 / P99), колку се повисоки од вообичаените вредности кај клиентот и примери за бавни барања со временски ознаки за испраќање и прием.
И двете: Слики од екранот или табела со податоци за грешките или доцнењето, како и објаснување како утврдивте дека стапката на грешки или доцнењето се повисоки од очекуваното.
Вообичаени сценарија за решавање проблеми
Се случуваат истекувања на време, но Состојбата на услугата изгледа нормално
Можна причина: барањата истекуваат пред да стигнат до OpenAI.
Проверете:
Поставки за истек на време на клиентот или проксито
Промени во локалната мрежа или балансерот на оптоварување
Присуство на 499 грешки во контролната табла за состојба на услугата (тие може да се прикажат како 5xx грешки во вашите системи).
Латентноста се зголеми без распоредување
Можна причина: се зголемила големината на излезните токени или користењето на расудување и/или сообраќајот се префрлил меѓу нивоата на услуга.
Проверете:
Просечни излезни токени по барање во контролната табла за користење (потребно е преземање на податоците и делење на излезните токени со вкупниот број барања).
Процентили за времето на барање и TTFT во контролната табла за состојба на услугата.
Бавни перформанси во Брз режим или Ниво на скалирање
Можна причина: метриките од различни нивоа се измешани, па сообраќајот од стандардното ниво ги прикрива перформансите на платеното ниво.
Проверете:
Филтрите се ограничени на само едно ниво и еден модел.
Споредба на брзината на токените меѓу нивоата.
Нагло зголемување на 5XX грешки
Веројатна причина: привремени неуспеси што влијаат на мал процент од сообраќајот.
Проверете:
Процент на стапка на грешки
Дали обемот на сообраќај се променил во исто време
Проблемот влијае само на еден проект
Веројатна причина: конфигурација или начин на користење специфични за проектот.
Проверете:
Филтрирање на ниво на проект
Споредба со незасегнатите проекти
За проект со фиксен регион или глобален проект со место на чување на податоците одредено за секое барање, споредете ги името на хостот, моделот, крајната точка и нивото на барањето со информациите во водичот за местото на чување на податоците за API. Ако недостигаат опции за поставување, видете Управување со проекти во API платформата. Додека го решавате проблемот, продолжете да ги испраќате барањата преку задолжителната регионална рута.
Крајни заклучоци
Филтрирајте по модел, ниво и проект каде што е релевантно пред да ги толкувате метриките.
Користете процентили, не просеци, за анализа на латентноста.
Се очекуваат мали стапки на грешки.
Недостигот на податоци обично укажува на проблеми нагоре во текот.
Податоците за користење можат да помогнат да се објасни зошто се променила латентноста; Состојбата на услугата покажува кога се променило однесувањето.