Маңызды сілтемелер
Қызмет күйі бақылау тақтасы (қазір тек Enterprise API клиенттеріне қолжетімді)
Дұрыс әдепкі параметрлерден бастаңыз
Қызмет күйі бақылау тақтасын ашқанда, ол әдепкі бойынша мынаны көрсетеді:
Барлық жобалар
Соңғы 30 күн
Сағаттық ажыратымдылық
Бұл көрініс тек бағдарлану үшін пайдалы. Мәнді ақау жою әрқашан сүзгілеуді қажет етеді.
Зерттемес бұрын сүзгіден өткізіңіз
Дұрыс сүзгілеу — ең маңызды қадам. Қате түсіндірудің көбі модельдерді, деңгейлерді немесе жобаларды араластырудан туындайды.
Модель бойынша сүзгілеңіз (бір уақытта біреуін)
Әрдайым бір модельге дейін сүзгілеңіз.
Неліктен:
Трафигі төмен модельдердегі мәселелерді көлемі жоғары трафик жасыруы мүмкін
Көлемі жоғары модельдер жергілікті мәселелерді жаһандық сияқты көрсетуі мүмкін
Әртүрлі модельдердің өнімділік мақсаттары әртүрлі
Ескертпе: бірнеше модельді таңдау оларды біріктіреді — олардың арасында ауыстырмайды.
Қызмет деңгейі бойынша сүзгілеңіз
Егер бірнеше деңгей қолдансаңыз (стандартты, priority, scale), әрдайым зерттеп жатқан деңгейге дейін сүзгілеңіз.
Неліктен:
Деңгейлердің өнімділік сипаттамалары әртүрлі
Priority және scale деңгейлерінде анықталған SLA-лар бар
Деңгейлерді араластыру ақылы деңгей өнімділігін көмескілейді
Бұл кідірісті талдау үшін әсіресе маңызды.
Жоба бойынша сүзгілеңіз
Әдепкі бойынша, Қызмет күйі барлық жобаларды көрсетеді.
Ақау жою үшін мәселе байқалған жоба(лар)ға дейін сүзгілеңіз.
Неліктен:
Көлемі жоғары бір жоба метрикаларда басым болуы мүмкін.
Әсер еткен шағын жобаларды қатысы жоқ трафик бүркемелеуі мүмкін.
Мәселе шынымен бүкіл ұйымға қатысты деп ойласаңыз ғана "Барлық жобалар" таңдауын қалдырыңыз.
Қателерді жою
HTTP сұраулары көрінісін пайдаланыңыз
Қателерді зерттеу үшін:
Модель және қызмет деңгейі бойынша сүзгілеңіз.
Жұмыс уақыты қойындысының орнына HTTP сұраулары қойындысын ашыңыз.
Бұл көрініс жалпы сұраулар мен қателер санын HTTP күй коды бойынша көрсетеді. Ұсақ секірістерді немесе өзгерістерді анықтау үшін минуттық ажыратымдылыққа дейін үлкейтіңіз.
Қате санын емес, қате деңгейін түсіндіріңіз
Кез келген өндірістік жүйеде кейбір қателер болуы қалыпты. Шикі жалпы санға емес, қате пайызына назар аударыңыз.
Жалпы көлеміңіз неғұрлым үлкен болса, қате деңгейі өте төмен болса да, ықтимал қателер саны соғұрлым көп болады.
Қызмет күйінде қателер жоқ болса
Егер клиент жағындағы қателерді көріп, бірақ Қызмет күйінде сәйкес дерек болмаса:
Сұраулар OpenAI-ға жетпеген болуы ықтимал.
Мәселе әдетте жоғары ағында болады (тайм-ауттар, проксилер, желі).
Бұл клиент жағындағы тым қатаң тайм-ауттарда жиі кездеседі.
Кідірісті жою
Кідірісті талдау анықталған SLA-лары бар priority және scale деңгейлерінде ең мәнді болады. Стандартты деңгейде кідіріс ауытқуы кеңірек болуы мүмкін және кепілдендірілген кідіріс жоқ.
Негізгі метрикалар
Әр метриканы көру үшін тиісті қойындыны басыңыз:
Токен жылдамдығы: секундына жасалатын токендер; көмексөз өлшеміне тәуелсіз.
Сұрау уақыты: сұраудың жалпы ұзақтығы; шығыс өлшемі мен ой қорыту қатты әсер етеді.
Бірінші токенге дейінгі уақыт (TTFT): бірінші токен жасалғанға дейінгі уақыт; кэштелмеген кіріс көмексөз өлшемі мен ой қорыту қатты әсер етеді.
Әрдайым P50 / P75 / P95 процентильдерін қарап шығыңыз. Орташа мәндер нақты пайдаланушыға әсерді жасыруы мүмкін.
6. Кідірісті токен қолданысымен байланыстыру
Қызмет күйі мінез-құлықтың қашан өзгергенін көрсетеді. Пайдалану деректері неге екенін түсіндіруге көмектеседі.
Пайдалану бақылау тақтасында Қызмет күйі бақылау тақтасындағы көрінісіңізге қатысты деректерді қарап отырғаныңызға көз жеткізу үшін мына әрекеттерді орындаңыз:
Сол жоба мен модельге дейін сүзгілеңіз.
Қажет болса, қызмет деңгейі бойынша топтаңыз.
Кідірісіне ең қатты әсер ететін шығыс токендерге назар аударыңыз.
Тереңірек талдау үшін Activity Data деректерін экспорттап, уақыт бойынша әр сұрауға шаққандағы токендерді зерттеңіз.
7. Қажет болса, қолдау қызметімен бөлісетін мәліметтер
Қолдау қызметіне хабарлассаңыз, мыналарды қосыңыз:
Әсер еткен ұйым идентификаторлары (маңызды)
Әсер еткен соңғы нүктелер, мысалы Chat Completions немесе Responses (маңызды)
Әсер еткен модельдер (маңызды)
Бұл Масштабтау немесе Priority деңгейінде ме (маңызды)
Кідіріс немесе қателер үшін уақыт белдеуі көрсетілген уақыт аралықтары (маңызды)
Қолжетімді болса, тиісті x-request-id немесе X-Client-Request-Id
Ұсынатын сұрауларыңыз үшін уақыт белдеуі көрсетілген уақыт белгілері немесе кемінде күні
Қолжетімді болса, мыналарды да қосыңыз:
Сұрауларға қатысты жоба идентификаторы
Деректердің орналасу аймағы сұрауларына әсер еткен-етпегені және қайсысына әсер еткені
Көріп отырған үрдістердің сипаттамалары
Мәселе түрі үшін мыналарды қосыңыз:
Қателер: сәтсіз немесе қате беретін сұраулардың шамамен пайызы, жауап кодтары, қате хабарлары және қате жауабын алу қанша уақыт алғаны.
Кідіріс: қай процентильдерге әсер еткені (P50 / P90 / P95 / P99), олардың клиенттің бастапқы деңгейімен салыстырғанда қаншалықты жоғары екені және жіберу мен алу уақыт белгілері бар баяу сұраулар мысалдары.
Екеуі де: қате немесе кідіріс деректерінің скриншоттары немесе кестесі, сондай-ақ қате деңгейлері немесе кідіріс күтілгеннен жоғары екенін қалай анықтағаныңыз.
Жиі кездесетін ақау жою сценарийлері
Тайм-ауттар болады, бірақ Қызмет күйі қалыпты көрінеді
Ықтимал себеп: сұраулар OpenAI-ға жетпей тұрып тайм-аутқа ұшырайды.
Тексеріңіз:
Клиент немесе прокси тайм-аут параметрлері
Жергілікті желі немесе жүктеме теңгергіш өзгерістері
Қызмет күйі бақылау тақтасында 499 қателерінің болуы (олар өз жүйелеріңізде 5xx қателері болып көрінуі мүмкін).
Орналастырусыз кідіріс артты
Ықтимал себеп: шығыс токен өлшемі немесе ой қорыту қолданысы артқан және/немесе трафик қызмет деңгейлері арасында ауысқан.
Тексеріңіз:
Пайдалану бақылау тақтасындағы әр сұрауға шаққандағы орташа шығыс токендер (деректерді жүктеп алып, шығыс токендерді жалпы сұраулар санына бөлуді қажет етеді).
Қызмет күйі бақылау тақтасындағы Сұрау уақыты және TTFT процентильдері.
Priority немесе Масштабтау деңгейі баяу көрінеді
Ықтимал себеп: метрикалар деңгейлер арасында араласқан, яғни стандартты деңгей трафигі ақылы деңгей өнімділігін бүркемелеп тұр.
Тексеріңіз:
Сүзгілер бір деңгеймен және бір модельмен шектелген.
Деңгейлер арасындағы токен жылдамдығын салыстыру.
5XX қателерінің күрт өсуі
Ықтимал себеп: трафиктің шағын пайызына әсер ететін уақытша ақаулар.
Тексеріңіз:
Қате деңгейінің пайызы
Трафик көлемі дәл сол уақытта өзгерген-өзгермегені
Мәселе тек бір жобаға әсер етеді
Ықтимал себеп: жобаға тән конфигурация немесе пайдалану үлгісі.
Тексеріңіз:
Жоба деңгейіндегі сүзгілеу
Әсер етпеген жобалармен салыстыру
Қорытынды тұжырымдар
Метрикаларды түсіндірмес бұрын, қажет жерде модель, деңгей және жоба бойынша сүзгілеңіз.
Кідірісті талдау үшін орташа мәндерді емес, процентильдерді пайдаланыңыз.
Қате деңгейінің аз болуы қалыпты.
Деректердің жоқ болуы әдетте жоғары ағындағы мәселелерді көрсетеді.
Пайдалану деректері кідірістің неге өзгергенін түсіндіруге көмектеседі; Қызмет күйі мінез-құлықтың қашан өзгергенін көрсетеді.