Ակնարկ

Թոքեններն այն միավորներն են, որոնք OpenAI-ի մոդելներն օգտագործում են տեքստը մշակելու համար։ Թոքենը կարող է ներկայացնել նիշ, բառի մաս, ամբողջական բառ կամ կետադրական նշան։ Բացատները նույնպես ազդում են տեքստը թոքենների բաժանելու վրա։

Թոքենների քանակը նույնը չէ, ինչ բառերի քանակը։ Նույն տեքստը կարող է ունենալ թոքենների տարբեր քանակ՝ կախված մոդելից, դրա կոդավորումից և լեզվից։

Հասկացեք, թե տեքստն ինչպես է վերածվում թոքենների

Երբ տեքստ եք ուղարկում մոդելին՝

1. Տեքստը բաժանվում է թոքենների։

2. Մոդելը մշակում է այդ թոքենները։

3. Մոդելը ստեղծում է ելքային թոքեններ։ Դրանք կարող են ներառել ձեր ստացած տեքստը, իսկ հիմնավորման մոդելների դեպքում՝ նաև ներքին դատողության թոքենները, որոնք պատասխանի տեքստում չեն ցուցադրվում։

Անգլերեն տեքստի համար օգտագործեք մոտավոր գնահատականներ

Այս գնահատականները կօգնեն մոտավոր որոշել անգլերեն տեքստի չափը՝

• 1 թոքենը մոտավորապես 4 նիշ է։

• 1 թոքենը մոտավորապես բառի երեք քառորդն է։

• 100 թոքենը մոտավորապես 75 բառ է։

Սրանք մոտավոր գնահատականներ են, ոչ թե ճշգրիտ քանակներ։ Նախադասությունների և պարբերությունների երկարությունները տարբեր են, իսկ այլ լեզուներում նիշերի, բառերի և թոքենների հարաբերակցությունը կարող է այլ լինել։

Հաշվի առեք բացատներն ու տառերի մեծատառացումը

Բառը կարող է բաժանվել տարբեր թոքենների՝ կախված դրա ուղղագրությունից, մեծատառացումից և շրջակա տեքստից։

Օրինակ՝ red, Red և red տարբեր տեքստեր են. վերջին օրինակը սկզբում բացատ ունի։ Կոդավորումը կարող է դրանք տարբեր կերպ ներկայացնել։

Թոքենների ID-ները նույնպես կախված են կոդավորումից։ Մի՛ ենթադրեք, որ թոքենի օրինակում նշված ID-ն կիրառելի է բոլոր մոդելների համար։

Տարբերակեք մուտքային և ելքային թոքենները

Դատողության թոքենները տեսանելի չեն պատասխանի տեքստում, սակայն հաշվառվում են ելքային օգտագործման մեջ և վճարվում որպես ելքային թոքեններ։

Հետևաբար, կարճ տեսանելի պատասխանը կարող է ավելի շատ թոքեն օգտագործել, քան ենթադրում է ցուցադրվող տեքստը։

Հաշվեք թոքենները՝ նախքան հարցումն ուղարկելը

Հաշվեք պարզ տեքստը

Տեքստի՝ թոքենների բաժանումը տեսնելու համար օգտագործեք Tokenizer-ը։

Պարզ տեքստը ծրագրային եղանակով թոքենիզացնելու համար օգտագործեք tiktoken-ը։ Ընտրեք ձեր նպատակային մոդելի կոդավորումը, օրինակ՝ tiktoken.encoding_for_model(model)-ի միջոցով։

Պարզ տեքստի թոքենների քանակը պարտադիր չէ, որ ներառի API հարցման բոլոր թոքենները։ Հաղորդագրության կառուցվածքը, գործիքները, սխեմաները, պատկերներն ու ֆայլերը կարող են ազդել մուտքային թոքենների ընդհանուր քանակի վրա։

Հաշվեք Responses-ի ամբողջական մուտքը

Responses API-ի ամբողջական մուտքի համար օգտագործեք մուտքային թոքենների հաշվման API-ն։

Այն ընդունում է Responses-ի մուտքային ձևաչափերը, այդ թվում՝ հաղորդագրություններ, պատկերներ, ֆայլեր, գործիքներ և զրույցներ։ Դրա հաշվարկը ներառում է հարցման կառուցվածքի ձևաչափման թոքենները, օրինակ՝ հաղորդագրությունների դերերն ու սահմանները։

Մուտքային թոքենների քանակով հնարավոր չէ կանխատեսել, թե մոդելը քանի ելքային թոքեն կստեղծի։

Ստուգեք թոքենների իրական օգտագործումը

Հարցումից հետո ստուգեք դրա օգտագործման տվյալները։ Դաշտերի անունները տարբերվում են ըստ վերջնակետի՝

• Chat Completions-ը հաղորդում է prompt_tokens, completion_tokens և total_tokens արժեքները։

• Responses-ը հաղորդում է input_tokens, output_tokens և total_tokens արժեքները։

Ժամանակի ընթացքում գրանցված ակտիվությունը կարող եք նաև դիտել Usage Dashboard-ում։ Հրահանգների, այդ թվում՝ հոսքային օգտագործման մասին տեղեկությունների համար տե՛ս API-ի օգտագործման և ծախսերի ստուգում։

Պահպանեք մոդելի սահմանաչափերը

Ձեր մոդելի համատեքստային պատուհանի և առավելագույն ելքի մասին տեղեկությունները ստուգեք դրա փաստաթղթերում։ Այս սահմանաչափերը կարող են տարբեր լինել՝ կախված մոդելից։

Համատեքստային պատուհանը սահմանափակում է այն թոքենների քանակը, որոնց հետ մոդելը կարող է աշխատել մեկ հարցման ընթացքում։ Մոդելներն ունեն նաև ելքի սահմանաչափ։ Հիմնավորման մոդելների դեպքում տեղ նախատեսեք ինչպես դատողության թոքենների, այնպես էլ տեսանելի պատասխանի համար։

Եթե մուտքային տվյալները չափազանց մեծ են, կարող եք՝

• Կրճատել կամ վերաձևակերպել հարցումը։

• Հեռացնել ավելորդ կամ կրկնվող համատեքստը։

• Մեծ մուտքային տվյալները բաժանել փոքր մասերի։

• Տեքստն ուղարկելուց առաջ ամփոփել կամ նախապես մշակել այն։

Օգտագործեք ձեր վերջնակետի և մոդելի աջակցած ելքային թոքենների կարգավորումը։ Chat Completions-ն օգտագործում է max_completion_tokens, իսկ Responses-ը՝ max_output_tokens։

Հարցման չափի այս սահմանաչափերն առանձին են API-ի հաճախականության, ամսական օգտագործման և ծախսերի սահմանաչափերից։ Ձեր օգտագործած մոդելի համար ուսումնասիրեք մոդելի փաստաթղթերը։

Հասկացեք թոքենների գնագոյացումը

Թոքենների վրա հիմնված API գնագոյացման դեպքում սակագինը կախված է մոդելից և թոքենի կատեգորիայից։ Մուտքային, քեշավորված մուտքային և ելքային թոքենները կարող են տարբեր գներ ունենալ։ API-ի մյուս հնարավորությունների համար կարող են կիրառվել վճարման այլ միավորներ։

Ընթացիկ սակագների համար ստուգեք API-ի գնագոյացման էջը։

Մոդելները համեմատելիս հաշվի առեք ձեր առաջադրանքն ավարտելու համար անհրաժեշտ թոքենների ընդհանուր քանակն ու արժեքը։ Մեկ միլիոն թոքենի ավելի ցածր գինը պարտադիր չէ, որ նվազեցնի ընդհանուր ծախսը. մոդելները կարող են նույն տեքստը տարբեր կերպ թոքենիզացնել և տարբեր ծավալի ելք կամ դատողություն ստեղծել։

Միայն տեսանելի պատասխանի երկարությունը համեմատելու փոխարեն փորձարկեք բնորոշ առաջադրանքներ։

Հաշվի առեք մի քանի ավարտումները

Երբ վերջնակետն ու մոդելն աջակցում են մի քանի ավարտման ստեղծմանը, լրացուցիչ ավարտումները նույնպես թոքեններ են օգտագործում։

Chat Completions-ում n-ը 1-ից մեծ սահմանելու դեպքում ստեղծվում են մի քանի տարբերակներ։ Այդ տարբերակներում ստեղծված թոքենների համար ձեզանից վճար է գանձվում։

Հին Completions API-ի դեպքում best_of-ը կարող է ստեղծել թեկնածուներ, որոնք ոչ բոլորն են վերադարձվում։ Օրինակ՝ best_of = 3-ը կարող է թեկնածուների համար ստեղծել մինչև 3 × max_tokens ավարտման թոքեն։

Այս պարամետրերը հատուկ են տվյալ վերջնակետին։ Մի՛ ենթադրեք, որ մեկ այլ API կամ մոդել աջակցում է n կամ best_of պարամետրին։