Կարևոր հղումներ
Ծառայության առողջության վահանակ (ներկայում հասանելի է միայն Enterprise API հաճախորդներին)
Սկսեք ճիշտ լռելյայններից
Ծառայության առողջության վահանակը բացելիս լռելյայն ընտրված են՝
Բոլոր նախագծերը
Վերջին 30 օրը
Ժամային լուծաչափ
Այս տեսքը օգտակար է միայն կողմնորոշման համար։ Իմաստալից խնդիրների շտկումը միշտ պահանջում է զտում։
Զտեք նախքան ուսումնասիրելը
Ճիշտ զտումը ամենակարևոր քայլն է։ Սխալ մեկնաբանությունների մեծ մասը առաջանում է մոդելների, մակարդակների կամ նախագծերի խառնումից։
Զտեք ըստ մոդելի (մեկ առ մեկ)
Միշտ զտեք մինչև մեկ մոդել։
Ինչու՝
Ցածր տրաֆիկ ունեցող մոդելների խնդիրները կարող են թաքնվել ավելի մեծ ծավալի տրաֆիկի հետևում
Մեծ ծավալ ունեցող մոդելները կարող են տեղային խնդիրները ներկայացնել որպես գլոբալ
Տարբեր մոդելներ ունեն կատարողականի տարբեր նպատակներ
Նշում. մի քանի մոդել ընտրելը ագրեգացնում է դրանք. դա չի փոխարկում դրանց միջև։
Զտեք ըստ Ծառայության մակարդակի
Եթե օգտագործում եք մեկից ավելի մակարդակ (ստանդարտ, առաջնահերթ, մասշտաբավորման), միշտ զտեք այն մակարդակով, որը ուսումնասիրում եք։
Ինչու՝
Մակարդակները ունեն կատարողականի տարբեր բնութագրեր
Priority և մասշտաբավորման մակարդակներն ունեն սահմանված SLA-ներ
Մակարդակների խառնումը մշուշում է վճարովի մակարդակի կատարողականը
Սա հատկապես կարևոր է հապաղման վերլուծության համար։
Զտեք ըստ նախագծի
Լռելյայն Ծառայության առողջությունը ցույց է տալիս բոլոր նախագծերը։
Խնդիրների շտկման համար զտեք ըստ այն նախագծի (նախագծերի), որտեղ խնդիրը նկատվել է։
Ինչու՝
Մեծ ծավալ ունեցող մեկ նախագիծ կարող է գերիշխել չափորոշիչներում։
Ազդված փոքր նախագծերը կարող են ծածկվել չկապված տրաֆիկով։
«Բոլոր նախագծերը» թողեք ընտրված միայն այն դեպքում, եթե կարծում եք, որ խնդիրն իսկապես ամբողջ կազմակերպության մասշտաբով է։
Սխալների շտկում
Օգտագործեք HTTP հարցումների տեսքը
Սխալները ուսումնասիրելու համար՝
Զտեք ըստ մոդելի և ծառայության մակարդակի։
Բացեք HTTP հարցումներ ներդիրը՝ Անխափան աշխատանքի ժամանակ ներդիրի փոխարեն։
Այս տեսքը ցույց է տալիս հարցումների ընդհանուր թիվը և սխալների քանակը ըստ HTTP կարգավիճակի կոդի։ Մանրակրկիտ կտրուկ աճերը կամ փոփոխությունները հայտնաբերելու համար մոտեցրեք մինչև րոպեային լուծաչափ։
Մեկնաբանեք սխալների տոկոսադրույքները, ոչ թե քանակները
Ցանկացած արտադրական համակարգում որոշ սխալներ սպասելի են։ Կենտրոնացեք սխալների տոկոսի վրա, ոչ թե հում ընդհանուր թվերի։
Որքան մեծ է ձեր ընդհանուր ծավալը, այնքան մեծ կարող է լինել սխալների հնարավոր թիվը՝ նույնիսկ չափազանց ցածր սխալների տոկոսադրույքի դեպքում։
Երբ սխալները բացակայում են Ծառայության առողջությունից
Եթե տեսնում եք հաճախորդի կողմի սխալներ, բայց Ծառայության առողջությունում համապատասխան տվյալներ չկան՝
Հարցումները, հավանաբար, չեն հասել OpenAI-ին։
Խնդիրը սովորաբար վերին հոսքում է (ժամանակի սպառումներ, պրոքսիներ, ցանցային կապ)։
Սա տարածված է հաճախորդի կողմի ագրեսիվ ժամանակի սպառումների դեպքում։
Հապաղման շտկում
Հապաղման վերլուծությունն առավել իմաստալից է առաջնահերթ և մասշտաբավորման մակարդակներում, որոնք ունեն սահմանված SLA-ներ։ Ստանդարտ մակարդակը կարող է ցույց տալ հապաղման ավելի լայն տատանում և չունի երաշխավորված հապաղում։
Հիմնական չափորոշիչներ
Յուրաքանչյուր չափորոշիչ դիտելու համար սեղմեք համապատասխան ներդիրը՝
Թոքենների արագություն՝ վայրկյանում գեներացված թոքեններ. կախված չէ հարցման չափից։
Հարցման ժամանակ՝ հարցման ընդհանուր տևողությունը. մեծապես կախված է ելքի չափից և հիմնավորումից։
Մինչև առաջին թոքենի ժամանակ (TTFT)՝ ժամանակը մինչև առաջին թոքենի գեներացումը. մեծապես կախված է չքեշավորված մուտքային հարցման չափից և հիմնավորումից։
Միշտ դիտարկեք P50 / P75 / P95 տոկոսիլները։ Միջինները կարող են թաքցնել իրական օգտատերերի վրա ազդեցությունը։
6. Հապաղման կապակցումը թոքենների օգտագործման հետ
Ծառայության առողջությունը ցույց է տալիս, թե երբ է վարքագիծը փոխվել։ Օգտագործման տվյալները օգնում են բացատրել՝ ինչու։
Օգտագործման վահանակում կատարեք հետևյալը՝ համոզվելու համար, որ դիտում եք Ծառայության առողջության վահանակի ձեր տեսքին վերաբերող տվյալները՝
Զտեք նույն նախագծով և մոդելով։
Խմբավորեք ըստ ծառայության մակարդակի, եթե կիրառելի է։
Կենտրոնացեք ելքային թոքենների վրա, որոնք ամենաշատն են ազդում հապաղման վրա։
Ավելի խոր վերլուծության համար արտահանեք Գործունեության տվյալները և ժամանակի ընթացքում ուսումնասիրեք մեկ հարցման թոքենները։
7. Ինչ կիսել աջակցության հետ (անհրաժեշտության դեպքում)
Եթե կապվեք աջակցության հետ, ներառեք՝
Ազդված կազմակերպության ID-ները (կարևոր է)
Ազդված վերջնակետերը, օրինակ՝ Chat Completions կամ Responses (կարևոր է)
Ազդված մոդելները (կարևոր է)
Արդյոք սա Scale կամ Priority մակարդակում է (կարևոր է)
Հապաղման կամ սխալների ժամանակային միջակայքերը՝ ժամային գոտիով (կարևոր է)
Համապատասխան x-request-id կամ X-Client-Request-Id, եթե հասանելի է
Ձեր տրամադրած հարցումների ժամանակային դրոշմները՝ ժամային գոտիով, կամ առնվազն ամսաթիվը
Եթե հասանելի է, նաև ներառեք՝
Հարցումներին առնչվող նախագծի ID-ն
Արդյոք տվյալների մշակման հավելվածի հարցումները ազդված են, և որոնք
Ձեր նկատած միտումների նկարագրություններ
Խնդրի տեսակի համար ներառեք՝
Սխալներ՝ ձախողվող կամ սխալով ավարտվող հարցումների մոտավոր տոկոսը, պատասխանների կոդերը, սխալի հաղորդագրությունները և որքան ժամանակ է պահանջվել սխալի պատասխանը ստանալու համար։
Հապաղում՝ որ տոկոսիլներն են ազդված (P50 / P90 / P95 / P99), որքան բարձր են դրանք հաճախորդի ելակետայինի համեմատ, և դանդաղ հարցումների օրինակներ՝ ուղարկման և ստացման ժամանակային դրոշմներով։
Երկուսն էլ՝ սխալի կամ հապաղման տվյալների սքրինշոթներ կամ աղյուսակ, ինչպես նաև ինչպես եք որոշել, որ սխալների տոկոսադրույքները կամ հապաղումը սպասվածից բարձր էին։
Խնդիրների շտկման տարածված սցենարներ
Ժամանակի սպառումներ են տեղի ունենում, բայց Ծառայության առողջությունը նորմալ է թվում
Հնարավոր պատճառը՝ հարցումների ժամանակը սպառվում է մինչև OpenAI-ին հասնելը։
Ստուգեք՝
Հաճախորդի կամ պրոքսիի ժամանակի սպառման կարգավորումներ
Տեղական ցանցի կամ բեռի բալանսավորիչի փոփոխություններ
499 սխալների առկայությունը Ծառայության առողջության վահանակում (ձեր սեփական համակարգերում դրանք կարող են երևալ որպես 5xx սխալներ)։
Հապաղումն աճել է առանց տեղակայման
Հնարավոր պատճառը՝ ելքային թոքենների չափը կամ հիմնավորման օգտագործումը աճել է և/կամ տրաֆիկը տեղափոխվել է ծառայության մակարդակների միջև։
Ստուգեք՝
Մեկ հարցման միջին ելքային թոքենները Օգտագործման վահանակում (պահանջվում է ներբեռնել տվյալները և ելքային թոքենները բաժանել հարցումների ընդհանուր թվի վրա)։
Հարցման ժամանակի և TTFT-ի տոկոսիլները Ծառայության առողջության վահանակում։
Priority կամ Մասշտաբավորման մակարդակը դանդաղ է թվում
Հնարավոր պատճառը՝ չափորոշիչները խառնված են տարբեր մակարդակների միջև, ինչի հետևանքով ստանդարտ մակարդակի տրաֆիկը ծածկում է վճարովի մակարդակի կատարողականը։
Ստուգեք՝
Զտիչները սահմանափակված են մեկ մակարդակով և մոդելով։
Թոքենների արագության համեմատություն մակարդակների միջև։
5XX սխալների կտրուկ աճ
Հավանական պատճառը՝ ժամանակավոր խափանումներ, որոնք ազդում են տրաֆիկի փոքր տոկոսի վրա։
Ստուգեք՝
Սխալների տոկոսադրույք
Արդյոք տրաֆիկի ծավալը փոխվել է նույն պահին
Խնդիրը ազդում է միայն մեկ նախագծի վրա
Հավանական պատճառը՝ նախագծին հատուկ կարգավորում կամ օգտագործման ձև։
Ստուգեք՝
Նախագծի մակարդակի զտում
Համեմատություն չազդված նախագծերի հետ
Վերջնական եզրակացություններ
Չափորոշիչները մեկնաբանելուց առաջ անհրաժեշտության դեպքում զտեք ըստ մոդելի, մակարդակի և նախագծի։
Հապաղման վերլուծության համար օգտագործեք տոկոսիլներ, ոչ թե միջիններ։
Սխալների փոքր տոկոսադրույքները սպասելի են։
Բացակայող տվյալները սովորաբար մատնանշում են վերին հոսքի խնդիրներ։
Օգտագործման տվյալները կարող են օգնել բացատրել, թե ինչու է հապաղումը փոխվել. Ծառայության առողջությունը ցույց է տալիս, թե երբ է վարքագիծը փոխվել։