Ringkesan
Token yaiku unit sing digunakake model OpenAI kanggo ngolah teks. Token bisa makili karakter, bagean tembung, tembung wutuh, utawa tandha wacan. Spasi uga mengaruhi carane teks dipérang dadi token.
Cacah token ora padha karo cacah tembung. Teks sing padha bisa ngasilake cacah token sing beda gumantung marang model, enkoding, lan basane.
Mangerteni carane teks dadi token
Nalika sampeyan ngirim teks menyang model:
Teks dipérang dadi token.
Model ngolah token kasebut.
Model ngasilake token output. Iki bisa nyakup teks sing sampeyan tampa lan, kanggo model nalar, token nalar internal sing ora ditampilake minangka teks jawaban.
Gunakake prakiraan kasar kanggo teks Inggris
Prakiraan iki bisa mbantu sampeyan ngira ukuran teks Inggris:
1 token kira-kira padha karo 4 karakter.
1 token kira-kira padha karo telung prapat tembung.
100 token kira-kira padha karo 75 tembung.
Iki mung prakiraan, dudu cacah sing pas. Dawane ukara lan paragraf beda-beda, lan basa liyane bisa duwe sesambungan sing beda antarane karakter, tembung, lan token.
Gatekna spasi lan kapitalisasi
Tembung bisa dipérang dadi token sing beda-beda gumantung ejaan, kapitalisasi, lan teks ing sakiwa-tengene.
Contone, red, Red, lan red ora ngemot teks sing padha: conto pungkasan nduweni spasi ing ngarep. Enkoding bisa makili teks kasebut kanthi cara sing beda.
ID token uga gumantung marang enkoding. Aja nganggep yen conto ID token ditrapake kanggo saben model.
Mbedakake token input lan output
| Kategori | Sing diterangake |
| Token input | Token sing diwenehake menyang model sajrone panjaluk. Token iki uga diarani token prompt. |
| Token output | Token sing digawe dening model. Chat Completions nyebut iki token completion. |
| Token input sing kacache | Token input sing digunakake maneh liwat panyimpenan pituduh. Regane bisa beda karo token input sing ora kacache. |
| Token nalar | Token sing digunakake model nalar sacara internal sadurunge ngasilake jawaban sing katon. |
Token nalar ora katon minangka teks jawaban, nanging tetep dietung ing panggunaan output lan ditagih minangka token output.
Mula, jawaban sing katon cekak bisa nggunakake token luwih akeh tinimbang sing katon saka teks sing ditampilake.
Ngetung token sadurunge ngirim panjaluk
Ngetung teks biasa
Gunakake Tokenizer kanggo ndeleng carane teks dipérang dadi token.
Kanggo tokenisasi teks biasa kanthi program, gunakake tiktoken. Pilih enkoding kanggo model tujuan, kayata nganggo tiktoken.encoding_for_model(model).
Cacah token teks biasa durung mesthi nyakup kabeh token ing panjaluk API. Struktur pesen, alat, skema, gambar, lan file bisa mengaruhi cacah input sakabehe.
Ngetung input Responses kanthi lengkap
Kanggo input Responses API kanthi lengkap, gunakake API kanggo ngetung token input.
API iki nampa format input Responses, kalebu pesen, gambar, file, alat, lan pacelathon. Cacahe nyakup token pemformatan sing digunakake kanggo struktur panjaluk, kayata peran lan wates pesen.
Cacah input ora bisa prédhiksi jumlah token output sing bakal digawe model.
Priksa panggunaan token nyata
Sawise ngirim panjaluk, priksa informasi panggunaane. Jeneng kolom beda-beda miturut titik pungkasan:
Chat Completions nglaporake prompt_tokens, completion_tokens, lan total_tokens.
Responses nglaporake input_tokens, output_tokens, lan total_tokens.
Sampeyan uga bisa mriksa aktivitas saka wektu menyang wektu ing Usage Dashboard. Kanggo pituduh, kalebu panggunaan streaming, deleng: Mriksa panggunaan lan biaya API.
Tetep manut watesan model
Priksa dokumentasi model kanggo ngerti jendhela konteks lan output maksimume. Watesan iki bisa beda-beda ing saben model.
Jendhela konteks matesi token sing bisa diolah model sajrone panjaluk. Model uga duwe watesan output. Kanggo model nalar, cawisna ruang kanggo token nalar lan jawaban sing katon.
Yen input kegedhen, sampeyan bisa:
Cekakna utawa owahi ukara prompt.
Busak konteks sing ora perlu utawa dibaleni.
Pérang input gedhe dadi bagean sing luwih cilik.
Ringkes utawa olah teks dhisik sadurunge dikirim.
Gunakake setelan token output sing didhukung titik pungkasan lan model sampeyan. Chat Completions nggunakake max_completion_tokens; Responses nggunakake max_output_tokens.
Watesan ukuran panjaluk iki kapisah saka watesan laju API lan watesan panggunaan utawa pambelanjaan saben wulan. Priksa dokumentasi model kanggo model sing sampeyan gunakake.
Mangerteni rega token
Kanggo rega API adhedhasar token, tarife gumantung marang model lan kategori token. Rega token input, input sing kacache, lan output bisa beda-beda. Kapabilitas API liyane bisa nggunakake unit tagihan sing beda.
Priksa kaca rega API kanggo ndeleng tarif saiki.
Nalika mbandhingake model, gatekna total token lan biaya sing dibutuhake kanggo ngrampungake tugas. Rega sing luwih murah saben yuta token durung mesthi ngasilake total biaya sing luwih murah: saben model bisa ngowahi teks sing padha dadi token kanthi cara beda lan ngasilake jumlah output utawa nalar sing beda.
Tes tugas sing makili panggunaan nyata, aja mung mbandhingake dawa respons sing katon.
Gatekna manawa ana luwih saka siji completion
Yen titik pungkasan lan model ndhukung nggawe luwih saka siji completion, completion tambahan kasebut uga nggunakake token.
Ing Chat Completions, nyetel n luwih saka 1 bakal ngasilake sawetara pilihan. Sampeyan dikenani biaya kanggo token sing digawe ing kabeh pilihan kasebut.
Kanggo Completions API lawas, best_of bisa nggawe kandidat sing ora kabeh dibalekake. Contone, best_of = 3 bisa ngasilake nganti 3 × max_tokens token completion saka kabeh kandidat.
Parameter iki mligi kanggo titik pungkasan tartamtu. Aja nganggep n utawa best_of didhukung dening API utawa model liyane.