Կարևոր հղումներ
Ծառայության առողջության վահանակ (ներկայում հասանելի է միայն Enterprise API հաճախորդներին)
Սկսեք ճիշտ լռելյայններից
Ծառայության առողջության վահանակը բացելիս լռելյայն ընտրված են՝
Բոլոր նախագծերը
Վերջին 30 օրը
Ժամային լուծաչափ
Այս տեսքը օգտակար է միայն կողմնորոշման համար։ Իմաստալից խնդիրների շտկումը միշտ պահանջում է զտում։
Զտեք նախքան ուսումնասիրելը
Ճիշտ զտումը ամենակարևոր քայլն է։ Սխալ մեկնաբանությունների մեծ մասը առաջանում է մոդելների, մակարդակների կամ նախագծերի խառնումից։
Զտեք ըստ մոդելի (մեկ առ մեկ)
Միշտ զտեք մինչև մեկ մոդել։
Ինչու՝
Ցածր տրաֆիկ ունեցող մոդելների խնդիրները կարող են թաքնվել ավելի մեծ ծավալի տրաֆիկի հետևում
Մեծ ծավալ ունեցող մոդելները կարող են տեղային խնդիրները ներկայացնել որպես գլոբալ
Տարբեր մոդելներ ունեն կատարողականի տարբեր նպատակներ
Նշում. մի քանի մոդել ընտրելը ագրեգացնում է դրանք. դա չի փոխարկում դրանց միջև։
Զտել ըստ Ծառայության մակարդակի
Եթե օգտագործում եք մեկից ավելի մակարդակ (ստանդարտ, Արագ ռեժիմ՝ նախկինում Priority processing, Մասշտաբավորման մակարդակ), միշտ ընտրեք այն մակարդակը, որն ուսումնասիրում եք։
Պատճառները՝
Մակարդակներն ունեն արդյունավետության տարբեր բնութագրեր։
Արագ ռեժիմը և Մասշտաբավորման մակարդակն ունեն սահմանված SLA-ներ։
Մակարդակների խառնումը քողարկում է վճարովի մակարդակի արդյունավետությունը։
Սա հատկապես կարևոր է ուշացումը վերլուծելիս։
Գոյություն ունեցող մոդելների դեպքում Արագ ռեժիմի երթևեկությունն Usage վահանակում դեռ ցուցադրվում է որպես priority։
Զտեք ըստ նախագծի
Լռելյայն Ծառայության առողջությունը ցույց է տալիս բոլոր նախագծերը։
Խնդիրների շտկման համար զտեք ըստ այն նախագծի (նախագծերի), որտեղ խնդիրը նկատվել է։
Ինչու՝
Մեծ ծավալ ունեցող մեկ նախագիծ կարող է գերիշխել չափորոշիչներում։
Ազդված փոքր նախագծերը կարող են ծածկվել չկապված տրաֆիկով։
«Բոլոր նախագծերը» թողեք ընտրված միայն այն դեպքում, եթե կարծում եք, որ խնդիրն իսկապես ամբողջ կազմակերպության մասշտաբով է։
Սխալների շտկում
Օգտագործեք HTTP հարցումների տեսքը
Սխալները ուսումնասիրելու համար՝
Զտեք ըստ մոդելի և ծառայության մակարդակի։
Բացեք HTTP հարցումներ ներդիրը՝ Անխափան աշխատանքի ժամանակ ներդիրի փոխարեն։
Այս տեսքը ցույց է տալիս հարցումների ընդհանուր թիվը և սխալների քանակը ըստ HTTP կարգավիճակի կոդի։ Մանրակրկիտ կտրուկ աճերը կամ փոփոխությունները հայտնաբերելու համար մոտեցրեք մինչև րոպեային լուծաչափ։
Մեկնաբանեք սխալների տոկոսադրույքները, ոչ թե քանակները
Ցանկացած արտադրական համակարգում որոշ սխալներ սպասելի են։ Կենտրոնացեք սխալների տոկոսի վրա, ոչ թե հում ընդհանուր թվերի։
Որքան մեծ է ձեր ընդհանուր ծավալը, այնքան մեծ կարող է լինել սխալների հնարավոր թիվը՝ նույնիսկ չափազանց ցածր սխալների տոկոսադրույքի դեպքում։
Երբ սխալները բացակայում են Ծառայության առողջությունից
Եթե տեսնում եք հաճախորդի կողմի սխալներ, բայց Ծառայության առողջությունում համապատասխան տվյալներ չկան՝
Հարցումները, հավանաբար, չեն հասել OpenAI-ին։
Խնդիրը սովորաբար վերին հոսքում է (ժամանակի սպառումներ, պրոքսիներ, ցանցային կապ)։
Սա տարածված է հաճախորդի կողմի ագրեսիվ ժամանակի սպառումների դեպքում։
Ուշացման խնդիրների լուծում
Ուշացման վերլուծությունն առավել օգտակար է սահմանված SLA-ներ ունեցող Արագ ռեժիմի և Մասշտաբավորման մակարդակի համար։ Ստանդարտ մակարդակում ուշացումը կարող է ավելի շատ տատանվել, և երաշխավորված ուշացման ցուցանիշ չկա։
Հիմնական չափորոշիչներ
Յուրաքանչյուր չափորոշիչ դիտելու համար սեղմեք համապատասխան ներդիրը՝
Թոքենների արագություն՝ վայրկյանում գեներացված թոքեններ. կախված չէ հարցման չափից։
Հարցման ժամանակ՝ հարցման ընդհանուր տևողությունը. մեծապես կախված է ելքի չափից և հիմնավորումից։
Մինչև առաջին թոքենի ժամանակ (TTFT)՝ ժամանակը մինչև առաջին թոքենի գեներացումը. մեծապես կախված է չքեշավորված մուտքային հարցման չափից և հիմնավորումից։
Միշտ դիտարկեք P50 / P75 / P95 տոկոսիլները։ Միջինները կարող են թաքցնել իրական օգտատերերի վրա ազդեցությունը։
Ուշացման և թոքենների օգտագործման միջև կապը
Ծառայության վիճակը ցույց է տալիս, թե երբ է փոխվել աշխատանքի ընթացքը։ Օգտագործման տվյալներն օգնում են հասկանալ, թե ինչու։
Որպեսզի Օգտագործման վահանակում դիտեք Ծառայության վիճակի վահանակում ընտրված տեսքին համապատասխան տվյալները, կատարեք հետևյալը․
Զտեք՝ ընտրելով նույն նախագիծն ու մոդելը։
Խմբավորեք ըստ ծառայության մակարդակի, եթե կիրառելի է։
Ուշադրություն դարձրեք ելքային թոքեններին, որոնք առավել մեծ ազդեցություն ունեն ուշացման վրա։
Ավելի խորքային վերլուծության համար արտահանեք Գործունեության տվյալները և ուսումնասիրեք, թե ժամանակի ընթացքում ինչպես է փոխվում մեկ հարցմանը բաժին ընկնող թոքենների քանակը։
Ինչ տեղեկություններ տրամադրել աջակցման ծառայությանը (անհրաժեշտության դեպքում)
Աջակցման ծառայությանը դիմելիս նշեք՝
Խնդրին առնչվող կազմակերպությունների ID-ները (կարևոր է)
Խնդրին առնչվող վերջնակետերը, օրինակ՝ Chat Completions կամ Responses (կարևոր է)
Խնդրին առնչվող մոդելները (կարևոր է)
Արդյոք խնդիրը ծագում է Արագ ռեժիմում, թե Մասշտաբավորման մակարդակում (կարևոր է)
Ուշացումների կամ սխալների ժամանակահատվածները՝ նշելով ժամային գոտին (կարևոր է)
Համապատասխան x-request-id կամ X-Client-Request-Id արժեքները, եթե առկա են
Ձեր տրամադրած հարցումների ժամադրոշմները՝ ժամային գոտու նշմամբ, կամ առնվազն ամսաթիվը
Առկայության դեպքում նշեք նաև՝
Հարցումներին առնչվող նախագծի ID-ն
Արդյոք խնդիրը ազդում է տվյալների մշակման հավելվածի հարցումների վրա, և եթե այո՝ որոնց
Ձեր նկատած միտումների նկարագրությունը
Կախված խնդրի տեսակից՝ նշեք հետևյալը․
Սխալներ․ Չհաջողված կամ սխալով ավարտված հարցումների մոտավոր տոկոսը, պատասխանի կոդերը, սխալի հաղորդագրությունները և սխալի պատասխանը ստանալու համար պահանջված ժամանակը։
Ուշացում․ Որ պերսենտիլներն են փոխվել (P50 / P90 / P95 / P99), որքանով են դրանք գերազանցում հաճախորդի սովորական ցուցանիշները, ինչպես նաև դանդաղ հարցումների օրինակներ՝ ուղարկման և ստացման ժամադրոշմներով։
Երկուսն էլ․ Սխալների կամ ուշացման տվյալների էկրանակադրերը կամ աղյուսակը, ինչպես նաև այն, թե ինչպես եք պարզել, որ սխալների հաճախականությունը կամ ուշացումը սպասվածից բարձր են։
Խնդիրների շտկման տարածված սցենարներ
Ժամանակի սպառումներ են տեղի ունենում, բայց Ծառայության առողջությունը նորմալ է թվում
Հնարավոր պատճառը՝ հարցումների ժամանակը սպառվում է մինչև OpenAI-ին հասնելը։
Ստուգեք՝
Հաճախորդի կամ պրոքսիի ժամանակի սպառման կարգավորումներ
Տեղական ցանցի կամ բեռի բալանսավորիչի փոփոխություններ
499 սխալների առկայությունը Ծառայության առողջության վահանակում (ձեր սեփական համակարգերում դրանք կարող են երևալ որպես 5xx սխալներ)։
Հապաղումն աճել է առանց տեղակայման
Հնարավոր պատճառը՝ ելքային թոքենների չափը կամ հիմնավորման օգտագործումը աճել է և/կամ տրաֆիկը տեղափոխվել է ծառայության մակարդակների միջև։
Ստուգեք՝
Մեկ հարցման միջին ելքային թոքենները Օգտագործման վահանակում (պահանջվում է ներբեռնել տվյալները և ելքային թոքենները բաժանել հարցումների ընդհանուր թվի վրա)։
Հարցման ժամանակի և TTFT-ի տոկոսիլները Ծառայության առողջության վահանակում։
Արագ ռեժիմը կամ Մասշտաբավորման մակարդակը դանդաղ է թվում
Հնարավոր պատճառը՝ տարբեր մակարդակների ցուցանիշները խառնված են, ուստի ստանդարտ մակարդակի երթևեկությունը քողարկում է վճարովի մակարդակի արդյունավետությունը։
Ստուգեք՝
Զտիչները սահմանափակված են մեկ մակարդակով և մեկ մոդելով։
Թոքենների մշակման արագության համեմատությունը տարբեր մակարդակներում։
5XX սխալների կտրուկ աճ
Հավանական պատճառը՝ ժամանակավոր խափանումներ, որոնք ազդում են տրաֆիկի փոքր տոկոսի վրա։
Ստուգեք՝
Սխալների տոկոսադրույք
Արդյոք տրաֆիկի ծավալը փոխվել է նույն պահին
Խնդիրը ազդում է միայն մեկ նախագծի վրա
Հավանական պատճառը՝ նախագծին հատուկ կարգավորում կամ օգտագործման ձև։
Ստուգեք՝
Նախագծի մակարդակի զտում
Համեմատություն չազդված նախագծերի հետ
Վերջնական եզրակացություններ
Չափորոշիչները մեկնաբանելուց առաջ անհրաժեշտության դեպքում զտեք ըստ մոդելի, մակարդակի և նախագծի։
Հապաղման վերլուծության համար օգտագործեք տոկոսիլներ, ոչ թե միջիններ։
Սխալների փոքր տոկոսադրույքները սպասելի են։
Բացակայող տվյալները սովորաբար մատնանշում են վերին հոսքի խնդիրներ։
Օգտագործման տվյալները կարող են օգնել բացատրել, թե ինչու է հապաղումը փոխվել. Ծառայության առողջությունը ցույց է տալիս, թե երբ է վարքագիծը փոխվել։