Ħarsa ġenerali
It-tokens huma l-unitajiet li l-mudelli ta' OpenAI jużaw biex jipproċessaw it-test. Token jista' jirrappreżenta karattru, parti minn kelma, kelma sħiħa jew punteġġjatura. L-ispazji jaffettwaw ukoll kif it-test jinqasam f'tokens.
L-għadd tat-tokens mhuwiex l-istess bħall-għadd tal-kliem. L-istess test jista' jipproduċi għadd differenti ta' tokens skont il-mudell, l-encoding tiegħu u l-lingwa.
Ifhem kif it-test jinbidel f'tokens
Meta tibgħat test lil mudell:
It-test jinqasam f'tokens.
Il-mudell jipproċessa dawk it-tokens.
Il-mudell jiġġenera tokens tal-output. Dawn jistgħu jinkludu t-test li tirċievi u, għall-mudelli tar-raġunament, tokens interni tar-raġunament li ma jidhrux bħala test tat-tweġiba.
Uża stimi approssimattivi għat-test bl-Ingliż
Dawn l-istimi jistgħu jgħinuk tevalwa d-daqs tat-test bl-Ingliż:
Token wieħed huwa madwar 4 karattri.
Token wieħed huwa madwar tliet kwarti ta' kelma.
100 token huma madwar 75 kelma.
Dawn huma stimi, mhux għadd eżatt. It-tul tas-sentenzi u tal-paragrafi jvarja, u lingwi oħra jista' jkollhom relazzjonijiet differenti bejn il-karattri, il-kliem u t-tokens.
Ikkunsidra l-ispazji u l-ittri kapitali
Kelma tista' tinqasam f'tokens differenti skont l-ortografija tagħha, l-użu tal-ittri kapitali u t-test ta' madwarha.
Pereżempju, aħmar, Aħmar u aħmar ma fihomx test identiku: l-aħħar eżempju jinkludi spazju fil-bidu. Encoding jista' jirrappreżentahom b'mod differenti.
L-IDs tat-tokens jiddependu wkoll mill-encoding. Tassumix li ID ta' token f'eżempju japplika għal kull mudell.
Iddistingwi bejn it-tokens tal-input u tal-output
| Kategorija | X'jiddeskrivi |
| Tokens tal-input | Tokens mogħtija lill-mudell f'talba. Dawn jissejħu wkoll tokens tal-prompt. |
| Tokens tal-output | Tokens iġġenerati mill-mudell. Chat Completions isejjaħ lil dawn tokens ta' completion. |
| Tokens tal-input fil-cache | Tokens tal-input użati mill-ġdid permezz tal-caching tal-prompt. L-ipprezzar tagħhom jista' jkun differenti minn dak tat-tokens tal-input li mhumiex fil-cache. |
| Tokens tar-raġunament | Tokens li mudell tar-raġunament juża internament qabel jipproduċi t-tweġiba viżibbli tiegħu. |
It-tokens tar-raġunament ma jidhrux bħala test tat-tweġiba, iżda jingħaddu mal-użu tal-output u jiġu ċċarġjati bħala tokens tal-output.
Għalhekk, tweġiba viżibbli qasira tista' tuża aktar tokens milli jissuġġerixxi t-test muri tagħha.
Għodd it-tokens qabel tibgħat talba
Għodd it-test sempliċi
Uża t-Tokenizer biex tara kif it-test jinqasam f'tokens.
Għat-tokenizzazzjoni programmatika ta' test sempliċi, uża tiktoken. Agħżel l-encoding għall-mudell fil-mira tiegħek, pereżempju b'tiktoken.encoding_for_model(model).
L-għadd tat-tokens ta' test sempliċi mhux bilfors jinkludi t-tokens kollha f'talba tal-API. L-istruttura tal-messaġġi, l-għodod, l-iskemi, l-immaġnijiet u l-fajls jistgħu jaffettwaw l-għadd sħiħ tal-input.
Għodd input sħiħ ta' Responses
Għal input sħiħ tal-API Responses, uża l-API għall-għadd tat-tokens tal-input.
Din taċċetta l-formati tal-input ta' Responses, inklużi messaġġi, immaġnijiet, fajls, għodod u konverżazzjonijiet. L-għadd tagħha jinkludi t-tokens tal-ifformattjar użati għall-istruttura tat-talba, bħar-rwoli u l-konfini tal-messaġġi.
L-għadd tal-input ma jbassarx kemm se jiġġenera tokens tal-output il-mudell.
Iċċekkja l-użu effettiv tat-tokens
Wara talba, eżamina l-informazzjoni dwar l-użu tagħha. L-ismijiet tal-oqsma jvarjaw skont il-punt ta' tmiem:
Chat Completions jirrapporta prompt_tokens, completion_tokens u total_tokens.
Responses jirrapporta input_tokens, output_tokens u total_tokens.
Tista' wkoll tirrevedi l-attività matul iż-żmien fid-Dashboard tal-Użu. Għal istruzzjonijiet, inkluż dwar l-użu tal-istreaming, ara: Kif tirrevedi l-użu u l-ispejjeż tal-API.
Ibqa' fil-limiti tal-mudell
Iċċekkja d-dokumentazzjoni tal-mudell tiegħek għat-tieqa tal-kuntest u l-output massimu tiegħu. Dawn il-limiti jistgħu jvarjaw bejn il-mudelli.
It-tieqa tal-kuntest tillimita t-tokens li mudell jista' jaħdem bihom f'talba. Il-mudelli għandhom ukoll limitu tal-output. Għall-mudelli tar-raġunament, ħalli spazju kemm għat-tokens tar-raġunament kif ukoll għat-tweġiba viżibbli.
Jekk l-input tiegħek huwa kbir wisq, tista':
Tqassar jew tifformula mill-ġdid il-prompt.
Tneħħi kuntest mhux meħtieġ jew ripetut.
Taqsam inputs kbar f'partijiet iżgħar.
Tiġbor fil-qosor jew tipproċessa t-test minn qabel qabel ma tibagħtu.
Uża l-issettjar tat-tokens tal-output appoġġjat mill-punt ta' tmiem u l-mudell tiegħek. Chat Completions juża max_completion_tokens; Responses juża max_output_tokens.
Dawn il-limiti tad-daqs tat-talba huma separati mil-limiti tar-rata tal-API u mil-limiti tal-użu jew tal-infiq ta' kull xahar. Irrevedi d-dokumentazzjoni tal-mudell għall-mudell li tuża.
Ifhem l-ipprezzar tat-tokens
Għall-ipprezzar tal-API bbażat fuq it-tokens, ir-rata tiddependi mill-mudell u mill-kategorija tat-token. It-tokens tal-input, tal-input fil-cache u tal-output jista' jkollhom prezzijiet differenti. Kapaċitajiet oħra tal-API jistgħu jużaw unitajiet ta' kontijiet differenti.
Iċċekkja l-paġna tal-ipprezzar tal-API għar-rati attwali.
Meta tqabbel il-mudelli, ikkunsidra t-total ta' tokens u l-ispiża meħtieġa biex tlesti l-kompitu tiegħek. Prezz aktar baxx għal kull miljun token mhux bilfors iwassal għal spiża totali aktar baxxa: il-mudelli jistgħu jitokenizzaw l-istess test b'mod differenti u jiġġeneraw ammonti differenti ta' output jew raġunament.
Ittestja kompiti rappreżentattivi minflok tqabbel biss it-tul tat-tweġiba viżibbli.
Ikkunsidra completions multipli
Meta punt ta' tmiem u mudell jappoġġjaw il-ġenerazzjoni ta' completions multipli, dawk addizzjonali jużaw it-tokens ukoll.
Għal Chat Completions, jekk n jiġi ssettjat għal aktar minn 1, jiġu ġġenerati diversi għażliet. Tiġi ċċarġjat għat-tokens iġġenerati f'dawk l-għażliet.
Għall-API Completions antika, best_of jista' jiġġenera kandidati li ma jiġux irritornati kollha. Pereżempju, best_of = 3 jista' jiġġenera sa 3 × max_tokens tokens ta' completion fost il-kandidati.
Dawn il-parametri huma speċifiċi għall-punt ta' tmiem. Tassumix li n jew best_of huwa appoġġjat minn API jew mudell ieħor.