Маңызды сілтемелер
Қызмет күйі бақылау тақтасы (қазір тек Enterprise API клиенттеріне қолжетімді)
Дұрыс әдепкі параметрлерден бастаңыз
Қызмет күйі бақылау тақтасын ашқанда, ол әдепкі бойынша мынаны көрсетеді:
Барлық жобалар
Соңғы 30 күн
Сағаттық ажыратымдылық
Бұл көрініс тек бағдарлану үшін пайдалы. Мәнді ақау жою әрқашан сүзгілеуді қажет етеді.
Зерттемес бұрын сүзгіден өткізіңіз
Дұрыс сүзгілеу — ең маңызды қадам. Қате түсіндірудің көбі модельдерді, деңгейлерді немесе жобаларды араластырудан туындайды.
Модель бойынша сүзгілеңіз (бір уақытта біреуін)
Әрдайым бір модельге дейін сүзгілеңіз.
Неліктен:
Трафигі төмен модельдердегі мәселелерді көлемі жоғары трафик жасыруы мүмкін
Көлемі жоғары модельдер жергілікті мәселелерді жаһандық сияқты көрсетуі мүмкін
Әртүрлі модельдердің өнімділік мақсаттары әртүрлі
Ескертпе: бірнеше модельді таңдау оларды біріктіреді — олардың арасында ауыстырмайды.
Қызмет деңгейі бойынша сүзу
Бірнеше деңгейді (стандартты, Жылдам режим (бұрынғы Priority processing), Масштабтау деңгейі) пайдалансаңыз, әрдайым зерттеп отырған деңгейіңіз бойынша сүзіңіз.
Себебі:
Деңгейлердің өнімділік сипаттамалары әртүрлі
Жылдам режим мен Масштабтау деңгейінің белгіленген SLA шарттары бар
Деңгейлерді араластыру ақылы деңгейдің өнімділігін жасырады
Бұл әсіресе кідірісті талдау үшін маңызды.
Қолданыстағы модельдер үшін Жылдам режим трафигі Usage бақылау тақтасында әлі де priority ретінде көрсетіледі.
Жоба бойынша сүзгілеңіз
Әдепкі бойынша, Қызмет күйі барлық жобаларды көрсетеді.
Ақау жою үшін мәселе байқалған жоба(лар)ға дейін сүзгілеңіз.
Неліктен:
Көлемі жоғары бір жоба метрикаларда басым болуы мүмкін.
Әсер еткен шағын жобаларды қатысы жоқ трафик бүркемелеуі мүмкін.
Мәселе шынымен бүкіл ұйымға қатысты деп ойласаңыз ғана "Барлық жобалар" таңдауын қалдырыңыз.
Қателерді жою
HTTP сұраулары көрінісін пайдаланыңыз
Қателерді зерттеу үшін:
Модель және қызмет деңгейі бойынша сүзгілеңіз.
Жұмыс уақыты қойындысының орнына HTTP сұраулары қойындысын ашыңыз.
Бұл көрініс жалпы сұраулар мен қателер санын HTTP күй коды бойынша көрсетеді. Ұсақ секірістерді немесе өзгерістерді анықтау үшін минуттық ажыратымдылыққа дейін үлкейтіңіз.
Қате санын емес, қате деңгейін түсіндіріңіз
Кез келген өндірістік жүйеде кейбір қателер болуы қалыпты. Шикі жалпы санға емес, қате пайызына назар аударыңыз.
Жалпы көлеміңіз неғұрлым үлкен болса, қате деңгейі өте төмен болса да, ықтимал қателер саны соғұрлым көп болады.
Қызмет күйінде қателер жоқ болса
Егер клиент жағындағы қателерді көріп, бірақ Қызмет күйінде сәйкес дерек болмаса:
Сұраулар OpenAI-ға жетпеген болуы ықтимал.
Мәселе әдетте жоғары ағында болады (тайм-ауттар, проксилер, желі).
Бұл клиент жағындағы тым қатаң тайм-ауттарда жиі кездеседі.
Кідіріс мәселелерін шешу
Кідірісті талдау белгіленген SLA шарттары бар Жылдам режим және Масштабтау деңгейі үшін барынша маңызды. Стандартты деңгейде кідіріс ауқымы кеңірек өзгеруі мүмкін және кідіріс көрсеткішіне кепілдік берілмейді.
Негізгі метрикалар
Әр метриканы көру үшін тиісті қойындыны басыңыз:
Токен жылдамдығы: секундына жасалатын токендер; көмексөз өлшеміне тәуелсіз.
Сұрау уақыты: сұраудың жалпы ұзақтығы; шығыс өлшемі мен ой қорыту қатты әсер етеді.
Бірінші токенге дейінгі уақыт (TTFT): бірінші токен жасалғанға дейінгі уақыт; кэштелмеген кіріс көмексөз өлшемі мен ой қорыту қатты әсер етеді.
Әрдайым P50 / P75 / P95 процентильдерін қарап шығыңыз. Орташа мәндер нақты пайдаланушыға әсерді жасыруы мүмкін.
Кідіріс пен токен қолданысының байланысын анықтау
Қызмет күйі қызметтің жұмысы қашан өзгергенін көрсетеді. Пайдалану деректері оның неліктен өзгергенін түсіндіруге көмектеседі.
Пайдалану тақтасында қарап отырған деректеріңіз Қызмет күйі тақтасындағы көрініске сәйкес болуы үшін мына әрекеттерді орындаңыз:
Сол жоба мен модель бойынша сүзгілеңіз.
Қажет болса, қызмет деңгейі бойынша топтастырыңыз.
Кідіріске ең көп әсер ететін шығыс токендеріне назар аударыңыз.
Тереңірек талдау үшін Әрекет деректерін экспорттап, әр сұрауға шаққандағы токен санының уақыт өте қалай өзгеретінін зерттеңіз.
Қолдау қызметіне қандай ақпарат беру керек (қажет болса)
Қолдау қызметіне хабарлассаңыз, мына ақпаратты беріңіз:
Мәселе туындаған ұйымдардың ID идентификаторлары (маңызды)
Мәселе туындаған түпкі нүктелер, мысалы, Chat Completions немесе Responses (маңызды)
Мәселе туындаған модельдер (маңызды)
Мәселенің Жылдам режимде немесе Масштабтау деңгейінде туындағаны (маңызды)
Кідірістер не қателер байқалған уақыт аралықтары және уақыт белдеуі (маңызды)
Бар болса, тиісті x-request-id немесе X-Client-Request-Id
Сіз көрсеткен сұраулардың уақыт белгілері мен уақыт белдеуі немесе кем дегенде күні
Бар болса, мыналарды да қосыңыз:
Сұрауларға қатысты жобаның ID идентификаторы
Деректердің орналасу аймағы талаптары қолданылатын сұрауларға мәселе әсер еткен-етпегені және нақты қайсысына әсер еткені
Сіз байқаған үрдістердің сипаттамасы
Мәселе түріне қарай мына ақпаратты беріңіз:
Қателер: Орындалмаған немесе қате қайтарған сұраулардың шамамен пайыздық үлесі, жауап кодтары, қате туралы хабарлар және қате жауабын алуға қанша уақыт кеткені.
Кідіріс: Қай процентильдерге әсер еткені (P50 / P90 / P95 / P99), олардың мәндері клиенттің қалыпты деңгейінен қаншалықты жоғары екені және жіберу мен алу уақыт белгілері көрсетілген баяу сұраулардың мысалдары.
Екеуіне де қатысты: Қате не кідіріс деректерінің скриншоттары немесе кестесі, сондай-ақ қате жиілігі не кідіріс күтілгеннен жоғары болғанын қалай анықтағаныңыз.
Жиі кездесетін ақау жою сценарийлері
Тайм-ауттар болады, бірақ Қызмет күйі қалыпты көрінеді
Ықтимал себеп: сұраулар OpenAI-ға жетпей тұрып тайм-аутқа ұшырайды.
Тексеріңіз:
Клиент немесе прокси тайм-аут параметрлері
Жергілікті желі немесе жүктеме теңгергіш өзгерістері
Қызмет күйі бақылау тақтасында 499 қателерінің болуы (олар өз жүйелеріңізде 5xx қателері болып көрінуі мүмкін).
Орналастырусыз кідіріс артты
Ықтимал себеп: шығыс токен өлшемі немесе ой қорыту қолданысы артқан және/немесе трафик қызмет деңгейлері арасында ауысқан.
Тексеріңіз:
Пайдалану бақылау тақтасындағы әр сұрауға шаққандағы орташа шығыс токендер (деректерді жүктеп алып, шығыс токендерді жалпы сұраулар санына бөлуді қажет етеді).
Қызмет күйі бақылау тақтасындағы Сұрау уақыты және TTFT процентильдері.
Жылдам режим немесе Масштабтау деңгейі баяу болып көрінеді
Ықтимал себеп: әртүрлі деңгейлердің метрикалары араласып кеткен, сондықтан стандартты деңгейдегі трафик ақылы деңгейдің өнімділігін жасырып тұр.
Мыналарды тексеріңіз:
Сүзгілер тек бір деңгеймен және модельмен шектелген.
Деңгейлер арасындағы токен жылдамдығын салыстыру.
5XX қателерінің күрт өсуі
Ықтимал себеп: трафиктің шағын пайызына әсер ететін уақытша ақаулар.
Тексеріңіз:
Қате деңгейінің пайызы
Трафик көлемі дәл сол уақытта өзгерген-өзгермегені
Мәселе тек бір жобаға әсер етеді
Ықтимал себеп: жобаға тән конфигурация немесе пайдалану үлгісі.
Тексеріңіз:
Жоба деңгейіндегі сүзгілеу
Әсер етпеген жобалармен салыстыру
Қорытынды тұжырымдар
Метрикаларды түсіндірмес бұрын, қажет жерде модель, деңгей және жоба бойынша сүзгілеңіз.
Кідірісті талдау үшін орташа мәндерді емес, процентильдерді пайдаланыңыз.
Қате деңгейінің аз болуы қалыпты.
Деректердің жоқ болуы әдетте жоғары ағындағы мәселелерді көрсетеді.
Пайдалану деректері кідірістің неге өзгергенін түсіндіруге көмектеседі; Қызмет күйі мінез-құлықтың қашан өзгергенін көрсетеді.