Muhtasari

Tokeni ni vipimo ambavyo miundo ya OpenAI hutumia kuchakata maandishi. Tokeni inaweza kuwakilisha kibambo, sehemu ya neno, neno zima au alama ya uakifishaji. Nafasi pia huathiri jinsi maandishi yanavyogawanywa kuwa tokeni.

Idadi ya tokeni si sawa na idadi ya maneno. Maandishi yale yale yanaweza kutoa idadi tofauti ya tokeni kulingana na muundo, usimbaji wake na lugha.

Elewa jinsi maandishi yanavyogeuzwa kuwa tokeni

Unapotuma maandishi kwa muundo:

1. Maandishi hugawanywa kuwa tokeni.

2. Muundo huchakata tokeni hizo.

3. Muundo huzalisha tokeni za towe. Hizi zinaweza kujumuisha maandishi unayopokea na, kwa miundo ya uwazaji, tokeni za uwazaji wa ndani ambazo hazionyeshwi kama maandishi ya jibu.

Tumia makadirio ya jumla kwa maandishi ya Kiingereza

Makadirio haya yanaweza kukusaidia kutathmini ukubwa wa maandishi ya Kiingereza:

• Tokeni 1 ni takribani vibambo 4.

• Tokeni 1 ni takribani robo tatu ya neno.

• Tokeni 100 ni takribani maneno 75.

Haya ni makadirio, si hesabu kamili. Urefu wa sentensi na aya hutofautiana, na lugha nyingine zinaweza kuwa na uhusiano tofauti kati ya vibambo, maneno na tokeni.

Zingatia nafasi na matumizi ya herufi kubwa

Neno linaweza kugawanywa kuwa tokeni tofauti kulingana na tahajia yake, matumizi ya herufi kubwa na maandishi yanayolizunguka.

Kwa mfano, red, Red na red hazina maandishi yanayofanana: mfano wa mwisho una nafasi mwanzoni. Usimbaji unaweza kuziwakilisha kwa njia tofauti.

Vitambulisho vya tokeni pia hutegemea usimbaji. Usidhani kuwa mfano wa kitambulisho cha tokeni unatumika kwa kila muundo.

Tofautisha tokeni za ingizo na za towe

Tokeni za uwazaji hazionekani kama maandishi ya jibu, lakini huhesabiwa katika matumizi ya towe na hutozwa kama tokeni za towe.

Kwa hivyo, jibu fupi linaloonekana linaweza kutumia tokeni nyingi kuliko maandishi yake yanavyoonyesha.

Hesabu tokeni kabla ya kutuma ombi

Hesabu maandishi wazi

Tumia Tokenizer kuona jinsi maandishi yanavyogawanywa kuwa tokeni.

Kwa ugawaji wa tokeni wa maandishi wazi kwa njia ya programu, tumia tiktoken. Chagua usimbaji wa muundo unaolenga, kwa mfano kwa kutumia tiktoken.encoding_for_model(model).

Idadi ya tokeni za maandishi wazi si lazima ijumuishe tokeni zote katika ombi la API. Muundo wa ujumbe, zana, skima, picha na faili zinaweza kuathiri jumla ya idadi ya ingizo.

Hesabu ingizo kamili la Responses

Kwa ingizo kamili la Responses API, tumia API ya kuhesabu tokeni za ingizo.

Inakubali miundo ya ingizo ya Responses, ikiwemo ujumbe, picha, faili, zana na mazungumzo. Hesabu yake inajumuisha tokeni za uumbizaji zinazotumika katika muundo wa ombi, kama vile majukumu na mipaka ya ujumbe.

Idadi ya ingizo haitabiri idadi ya tokeni za towe ambazo muundo utazalisha.

Angalia matumizi halisi ya tokeni

Baada ya ombi, kagua taarifa zake za matumizi. Majina ya sehemu hutofautiana kulingana na mwisho:

• Chat Completions huripoti prompt_tokens, completion_tokens na total_tokens.

• Responses huripoti input_tokens, output_tokens na total_tokens.

Pia unaweza kukagua shughuli za kipindi fulani katika Dashibodi ya Matumizi. Kwa maagizo, yakiwemo ya matumizi ya utiririshaji, angalia: Kukagua matumizi na gharama za API.

Zingatia vikomo vya muundo

Angalia hati za muundo wako ili ujue dirisha lake la muktadha na kiwango cha juu cha towe. Vikomo hivi vinaweza kutofautiana baina ya miundo.

Dirisha la muktadha huweka kikomo cha tokeni ambazo muundo unaweza kushughulikia katika ombi. Miundo pia ina kikomo cha towe. Kwa miundo ya uwazaji, tenga nafasi kwa ajili ya tokeni za uwazaji pamoja na jibu linaloonekana.

Ikiwa ingizo lako ni kubwa mno, unaweza:

• Kufupisha au kuandika upya dokeza.

• Kuondoa muktadha usiohitajika au unaojirudia.

• Kugawanya maingizo makubwa katika sehemu ndogo.

• Kufupisha au kuchakata maandishi mapema kabla ya kuyatuma.

Tumia mpangilio wa tokeni za towe unaotumika kwenye mwisho na muundo wako. Chat Completions hutumia max_completion_tokens; Responses hutumia max_output_tokens.

Vikomo hivi vya ukubwa wa ombi ni tofauti na vikomo vya kasi ya API na vikomo vya matumizi au matumizi ya fedha ya kila mwezi. Kagua hati za muundo kwa muundo unaotumia.

Elewa bei za tokeni

Kwa bei ya API inayotegemea tokeni, kiwango hutegemea muundo na aina ya tokeni. Tokeni za ingizo, ingizo lililohifadhiwa na towe zinaweza kuwa na bei tofauti. Uwezo mwingine wa API unaweza kutumia vipimo tofauti vya bili.

Angalia viwango vya sasa kwenye ukurasa wa bei za API.

Unapolinganisha miundo, zingatia jumla ya tokeni na gharama zinazohitajika kukamilisha kazi yako. Bei ya chini kwa tokeni milioni moja si lazima ipunguze jumla ya gharama: miundo inaweza kugawa tokeni katika maandishi yale yale kwa njia tofauti na kutoa kiasi tofauti cha towe au uwazaji.

Jaribu kazi zinazowakilisha matumizi yako badala ya kulinganisha urefu wa jibu linaloonekana pekee.

Zingatia majibu mengi yanayokamilisha ombi

Mwisho na muundo vinaporuhusu kutoa majibu mengi yanayokamilisha ombi, majibu hayo ya ziada pia hutumia tokeni.

Kwa Chat Completions, kuweka n juu ya 1 huzalisha machaguo mengi. Unatozwa kwa tokeni zinazozalishwa katika machaguo hayo.

Kwa Completions API ya zamani, best_of inaweza kuzalisha majibu teule ambayo si yote yanayorejeshwa. Kwa mfano, best_of = 3 inaweza kuzalisha hadi tokeni 3 × max_tokens za majibu yanayokamilisha ombi katika majibu teule.

Vigezo hivi hutegemea mwisho mahususi. Usidhani kuwa n au best_of inatumika kwenye API au muundo mwingine.