Важни врски
Контролна табла за состојба на услугата (моментално достапна само за Enterprise API корисници)
Започнете со вистинските стандардни поставки
Кога ќе ја отворите контролната табла за состојба на услугата, таа стандардно прикажува:
Сите проекти
Последните 30 дена
Часовна резолуција
Овој приказ е корисен само за ориентација. Значајното решавање проблеми секогаш бара филтрирање.
Филтрирајте пред да истражувате
Правилното филтрирање е најважниот чекор. Повеќето погрешни толкувања произлегуваат од мешање модели, нивоа или проекти.
Филтрирајте по модел (еден по еден)
Секогаш филтрирајте на еден модел.
Зошто:
Проблемите кај модели со мал сообраќај може да бидат скриени од сообраќај со поголем обем
Моделите со голем обем може да направат локализираните проблеми да изгледаат глобални
Различни модели имаат различни цели за перформанси
Забелешка: избирањето повеќе модели ги агрегира — не префрла меѓу нив.
Филтрирање според Ниво на услуга
Ако користите повеќе од едно ниво (стандардно, Брз режим (порано „Приоритетна обработка“), Ниво на скалирање), секогаш филтрирајте според нивото што го истражувате.
Зошто:
Нивоата имаат различни карактеристики на перформансите
Брз режим и Ниво на скалирање имаат дефинирани SLA
Мешањето на нивоата ги прикрива перформансите на платеното ниво
Ова е особено важно при анализа на латентноста.
Кај постојните модели, сообраќајот во Брз режим и натаму се прикажува како приоритетен на контролната табла за користење.
Филтрирајте по проект
Стандардно, Состојбата на услугата ги прикажува сите проекти.
За решавање проблеми, филтрирајте на проектот/проектите каде што е забележан проблемот.
Зошто:
Еден проект со голем обем може да доминира во метриките.
Помалите засегнати проекти може да бидат прикриени од неповрзан сообраќај.
Оставете „Сите проекти“ избрано само ако верувате дека проблемот навистина ја засега целата организација.
Решавање проблеми со грешки
Користете го приказот за HTTP барања
За да истражите грешки:
Филтрирајте по модел и ниво на услуга.
Отворете го јазичето HTTP барања наместо јазичето Време на работа.
Овој приказ ги покажува вкупните барања и бројот на грешки според HTTP статусниот код. Зумирајте до резолуција на ниво на минута за да идентификувате детални скокови или промени.
Толкувајте ги стапките на грешки, не бројките
Некои грешки се очекувани во секој продукциски систем. Фокусирајте се на процентот на грешки, не на необработените вкупни бројки.
Колку е поголем вашиот вкупен обем, толку е поголем потенцијалниот број грешки дури и со екстремно ниска стапка на грешки.
Кога грешките недостасуваат од Состојбата на услугата
Ако гледате грешки на клиентската страна, но нема соодветни податоци во Состојбата на услугата:
Барањата веројатно не стигнале до OpenAI.
Проблемот обично е нагоре во текот (истек на време, проксија, мрежа).
Ова е често кај агресивни истекувања на време на клиентската страна.
Решавање проблеми со латентноста
Анализата на латентноста е најрелевантна за нивоата Брз режим и Ниво на скалирање, за кои има дефинирани SLA. На стандардното ниво латентноста може повеќе да варира и не е загарантирана.
Клучни метрики
За да ја видите секоја метрика, кликнете на соодветното јазиче:
Брзина на токени: токени генерирани во секунда; независно од големината на промптот.
Време на барање: вкупно времетраење на барањето; силно зависи од големината на излезот и расудувањето.
Време до прв токен (TTFT): време додека не се генерира првиот токен; силно зависи од големината на некешираниот влезен промпт и расудувањето.
Секогаш прегледувајте ги P50 / P75 / P95 процентилите. Просеците можат да го скријат влијанието врз реалните корисници.
Поврзување на латентноста со потрошувачката на токени
Состојбата на услугата покажува кога се променило однесувањето. Податоците за користењето помагаат да се објасни зошто.
Во контролната табла за користење, направете го следново за да бидете сигурни дека ги прегледувате податоците што одговараат на вашиот приказ во контролната табла за состојбата на услугата:
Филтрирајте според истиот проект и модел.
Групирајте според Ниво на услуга, ако е применливо.
Фокусирајте се на излезните токени, кои најмногу влијаат врз латентноста.
За подлабока анализа, извезете ги податоците за активноста и испитајте како се менува бројот на токени по барање со текот на времето.
Што да споделите со поддршката (ако е потребно)
Ако ја контактирате поддршката, наведете:
Идентификатори на засегнатите организации (важно)
Засегнати крајни точки, како што се Chat Completions или Responses (важно)
Засегнати модели (важно)
Дали проблемот се јавува во Брз режим или во Ниво на скалирање (важно)
Временски периоди со временска зона во кои се јавуваат латентност или грешки (важно)
Релевантен x-request-id или X-Client-Request-Id, ако е достапен
Временски ознаки со временска зона, или барем датумот, за барањата што ги наведувате
Ако се достапни, наведете и:
Идентификатор на проектот поврзан со барањата
Дали се засегнати барањата со услови за место на чување на податоците и кои од нив
Опис на трендовите што ги забележувате
Во зависност од видот на проблемот, наведете:
Грешки: Приближен процент на барања што не успеваат или враќаат грешка, кодови на одговорите, пораки за грешки и колку време било потребно за да се добие одговорот со грешка.
Латентност: Кои перцентили се засегнати (P50 / P90 / P95 / P99), колку се повисоки во споредба со вообичаените вредности кај клиентот и примери на бавни барања со временски ознаки за испраќање и прием.
И двете: Слики од екранот или табела со податоци за грешките или латентноста, како и начинот на кој утврдивте дека стапката на грешки или латентноста биле повисоки од очекуваното.
Вообичаени сценарија за решавање проблеми
Се случуваат истекувања на време, но Состојбата на услугата изгледа нормално
Можна причина: барањата истекуваат пред да стигнат до OpenAI.
Проверете:
Поставки за истек на време на клиентот или проксито
Промени во локалната мрежа или балансерот на оптоварување
Присуство на 499 грешки во контролната табла за состојба на услугата (тие може да се прикажат како 5xx грешки во вашите системи).
Латентноста се зголеми без распоредување
Можна причина: се зголемила големината на излезните токени или користењето на расудување и/или сообраќајот се префрлил меѓу нивоата на услуга.
Проверете:
Просечни излезни токени по барање во контролната табла за користење (потребно е преземање на податоците и делење на излезните токени со вкупниот број барања).
Процентили за времето на барање и TTFT во контролната табла за состојба на услугата.
Бавни перформанси во Брз режим или Ниво на скалирање
Можна причина: метриките од различни нивоа се измешани, па сообраќајот од стандардното ниво ги прикрива перформансите на платеното ниво.
Проверете:
Филтрите се ограничени на само едно ниво и еден модел.
Споредба на брзината на токените меѓу нивоата.
Нагло зголемување на 5XX грешки
Веројатна причина: привремени неуспеси што влијаат на мал процент од сообраќајот.
Проверете:
Процент на стапка на грешки
Дали обемот на сообраќај се променил во исто време
Проблемот влијае само на еден проект
Веројатна причина: конфигурација или шема на користење специфична за проектот.
Проверете:
Филтрирање на ниво на проект
Споредба со незасегнати проекти
Крајни заклучоци
Филтрирајте по модел, ниво и проект каде што е релевантно пред да ги толкувате метриките.
Користете процентили, не просеци, за анализа на латентноста.
Се очекуваат мали стапки на грешки.
Недостигот на податоци обично укажува на проблеми нагоре во текот.
Податоците за користење можат да помогнат да се објасни зошто се променила латентноста; Состојбата на услугата покажува кога се променило однесувањето.