Маңызды сілтемелер
Қызмет күйі бақылау тақтасы (қазір тек Enterprise API клиенттеріне қолжетімді)
Дұрыс әдепкі параметрлерден бастаңыз
Қызмет күйі бақылау тақтасын ашқанда, ол әдепкі бойынша мынаны көрсетеді:
Барлық жобалар
Соңғы 30 күн
Сағаттық ажыратымдылық
Бұл көрініс тек бағдарлану үшін пайдалы. Мәнді ақау жою әрқашан сүзгілеуді қажет етеді.
Зерттемес бұрын сүзгіден өткізіңіз
Дұрыс сүзгілеу — ең маңызды қадам. Қате түсіндірудің көбі модельдерді, деңгейлерді немесе жобаларды араластырудан туындайды.
Модель бойынша сүзгілеңіз (бір уақытта біреуін)
Әрдайым бір модельге дейін сүзгілеңіз.
Неліктен:
Трафигі төмен модельдердегі мәселелерді көлемі жоғары трафик жасыруы мүмкін
Көлемі жоғары модельдер жергілікті мәселелерді жаһандық сияқты көрсетуі мүмкін
Әртүрлі модельдердің өнімділік мақсаттары әртүрлі
Ескертпе: бірнеше модельді таңдау оларды біріктіреді — олардың арасында ауыстырмайды.
Қызмет деңгейі бойынша сүзу
Бірнеше деңгейді (стандартты, Жылдам режим (бұрынғы Priority processing), Масштабтау деңгейі) пайдалансаңыз, әрдайым зерттеп отырған деңгейіңіз бойынша сүзіңіз.
Себебі:
Деңгейлердің өнімділік сипаттамалары әртүрлі
Жылдам режим мен Масштабтау деңгейінің белгіленген SLA шарттары бар
Деңгейлерді араластыру ақылы деңгейдің өнімділігін жасырады
Бұл әсіресе кідірісті талдау үшін маңызды.
Қолданыстағы модельдер үшін Жылдам режим трафигі Usage бақылау тақтасында әлі де priority ретінде көрсетіледі.
Жоба бойынша сүзгілеңіз
Әдепкі бойынша, Қызмет күйі барлық жобаларды көрсетеді.
Ақау жою үшін мәселе байқалған жоба(лар)ға дейін сүзгілеңіз.
Неліктен:
Көлемі жоғары бір жоба метрикаларда басым болуы мүмкін.
Әсер еткен шағын жобаларды қатысы жоқ трафик бүркемелеуі мүмкін.
Мәселе шынымен бүкіл ұйымға қатысты деп ойласаңыз ғана "Барлық жобалар" таңдауын қалдырыңыз.
Қателерді жою
HTTP сұраулары көрінісін пайдаланыңыз
Қателерді зерттеу үшін:
Модель және қызмет деңгейі бойынша сүзгілеңіз.
Жұмыс уақыты қойындысының орнына HTTP сұраулары қойындысын ашыңыз.
Бұл көрініс жалпы сұраулар мен қателер санын HTTP күй коды бойынша көрсетеді. Ұсақ секірістерді немесе өзгерістерді анықтау үшін минуттық ажыратымдылыққа дейін үлкейтіңіз.
Қате санын емес, қате деңгейін түсіндіріңіз
Кез келген өндірістік жүйеде кейбір қателер болуы қалыпты. Шикі жалпы санға емес, қате пайызына назар аударыңыз.
Жалпы көлеміңіз неғұрлым үлкен болса, қате деңгейі өте төмен болса да, ықтимал қателер саны соғұрлым көп болады.
Қызмет күйінде қателер жоқ болса
Егер клиент жағындағы қателерді көріп, бірақ Қызмет күйінде сәйкес дерек болмаса:
Сұраулар OpenAI-ға жетпеген болуы ықтимал.
Мәселе әдетте жоғары ағында болады (тайм-ауттар, проксилер, желі).
Бұл клиент жағындағы тым қатаң тайм-ауттарда жиі кездеседі.
Кідіріс мәселелерін шешу
Кідірісті талдау белгіленген SLA шарттары бар Жылдам режим және Масштабтау деңгейі үшін барынша маңызды. Стандартты деңгейде кідіріс ауқымы кеңірек өзгеруі мүмкін және кідіріс көрсеткішіне кепілдік берілмейді.
Негізгі метрикалар
Әр метриканы көру үшін тиісті қойындыны басыңыз:
Токен жылдамдығы: секундына жасалатын токендер; көмексөз өлшеміне тәуелсіз.
Сұрау уақыты: сұраудың жалпы ұзақтығы; шығыс өлшемі мен ой қорыту қатты әсер етеді.
Бірінші токенге дейінгі уақыт (TTFT): бірінші токен жасалғанға дейінгі уақыт; кэштелмеген кіріс көмексөз өлшемі мен ой қорыту қатты әсер етеді.
Әрдайым P50 / P75 / P95 процентильдерін қарап шығыңыз. Орташа мәндер нақты пайдаланушыға әсерді жасыруы мүмкін.
6. Кідірісті токен қолданысымен байланыстыру
Қызмет күйі мінез-құлықтың қашан өзгергенін көрсетеді. Пайдалану деректері неге екенін түсіндіруге көмектеседі.
Пайдалану бақылау тақтасында Қызмет күйі бақылау тақтасындағы көрінісіңізге қатысты деректерді қарап отырғаныңызға көз жеткізу үшін мына әрекеттерді орындаңыз:
Сол жоба мен модельге дейін сүзгілеңіз.
Қажет болса, қызмет деңгейі бойынша топтаңыз.
Кідірісіне ең қатты әсер ететін шығыс токендерге назар аударыңыз.
Тереңірек талдау үшін Activity Data деректерін экспорттап, уақыт бойынша әр сұрауға шаққандағы токендерді зерттеңіз.
7. Қолдау қызметіне қандай ақпарат беру керек (қажет болса)
Қолдау қызметіне хабарлассаңыз, мыналарды көрсетіңіз:
Мәселе әсер еткен ұйым идентификаторлары (маңызды)
Мәселе әсер еткен Chat Completions немесе Responses сияқты соңғы нүктелер (маңызды)
Мәселе әсер еткен модельдер (маңызды)
Мәселенің Жылдам режимде немесе Масштабтау деңгейінде болғаны (маңызды)
Кідірістер немесе қателер орын алған уақыт аралықтары және уақыт белдеуі (маңызды)
Бар болса, тиісті x-request-id немесе X-Client-Request-Id
Сіз ұсынған сұраулардың уақыт белдеуі көрсетілген уақыт белгілері немесе кемінде күні
Бар болса, мыналарды да қосыңыз:
Сұрауларға қатысты жоба идентификаторы
Деректердің орналасу аймағына қатысты сұрауларға мәселенің әсер еткен-етпегені және қайсысына әсер еткені
Байқалған үрдістердің сипаттамасы
Мәселе түріне қарай мыналарды көрсетіңіз:
Қателер: сәтсіз аяқталған немесе қате берген сұраулардың шамамен алғандағы пайызы, жауап кодтары, қате туралы хабарлар және қате жауабын алуға кеткен уақыт.
Кідіріс: қай процентильдерге әсер еткені (P50 / P90 / P95 / P99), олардың клиенттің бастапқы көрсеткішімен салыстырғандағы мәні және жіберу мен қабылдау уақыт белгілері бар баяу сұраулардың мысалдары.
Екеуі де: қателер немесе кідірістер туралы деректердің скриншоттары не кестесі, сондай-ақ қате жиілігі немесе кідіріс күткеннен жоғары болғанын қалай анықтағаныңыз.
Жиі кездесетін ақау жою сценарийлері
Тайм-ауттар болады, бірақ Қызмет күйі қалыпты көрінеді
Ықтимал себеп: сұраулар OpenAI-ға жетпей тұрып тайм-аутқа ұшырайды.
Тексеріңіз:
Клиент немесе прокси тайм-аут параметрлері
Жергілікті желі немесе жүктеме теңгергіш өзгерістері
Қызмет күйі бақылау тақтасында 499 қателерінің болуы (олар өз жүйелеріңізде 5xx қателері болып көрінуі мүмкін).
Орналастырусыз кідіріс артты
Ықтимал себеп: шығыс токен өлшемі немесе ой қорыту қолданысы артқан және/немесе трафик қызмет деңгейлері арасында ауысқан.
Тексеріңіз:
Пайдалану бақылау тақтасындағы әр сұрауға шаққандағы орташа шығыс токендер (деректерді жүктеп алып, шығыс токендерді жалпы сұраулар санына бөлуді қажет етеді).
Қызмет күйі бақылау тақтасындағы Сұрау уақыты және TTFT процентильдері.
Жылдам режим немесе Масштабтау деңгейі баяу болып көрінеді
Ықтимал себеп: әртүрлі деңгейлердің метрикалары араласып кеткен, сондықтан стандартты деңгейдегі трафик ақылы деңгейдің өнімділігін жасырып тұр.
Мыналарды тексеріңіз:
Сүзгілер тек бір деңгеймен және модельмен шектелген.
Деңгейлер арасындағы токен жылдамдығын салыстыру.
5XX қателерінің күрт өсуі
Ықтимал себеп: трафиктің шағын пайызына әсер ететін уақытша ақаулар.
Тексеріңіз:
Қате деңгейінің пайызы
Трафик көлемі дәл сол уақытта өзгерген-өзгермегені
Мәселе тек бір жобаға әсер етеді
Ықтимал себеп: жобаға тән конфигурация немесе пайдалану үлгісі.
Тексеріңіз:
Жоба деңгейіндегі сүзгілеу
Әсер етпеген жобалармен салыстыру
Қорытынды тұжырымдар
Метрикаларды түсіндірмес бұрын, қажет жерде модель, деңгей және жоба бойынша сүзгілеңіз.
Кідірісті талдау үшін орташа мәндерді емес, процентильдерді пайдаланыңыз.
Қате деңгейінің аз болуы қалыпты.
Деректердің жоқ болуы әдетте жоғары ағындағы мәселелерді көрсетеді.
Пайдалану деректері кідірістің неге өзгергенін түсіндіруге көмектеседі; Қызмет күйі мінез-құлықтың қашан өзгергенін көрсетеді.