Apa kuwi token?

Token yaiku unsur panyusun teks sing diproses dening model OpenAI. Token bisa cekak mung siji aksara utawa dawa nganti sak tembung wutuh, gumantung basa lan konteks. Spasi, tandha wacan, lan perangan tembung uga melu nambah cacah token. Iki cara API mecah teks sampeyan sacara internal sadurunge ngasilake tanggapan.

Patokan praktis sing migunani kanggo basa Inggris:

• 1 token ≈ 4 aksara

• 1 token ≈ ¾ saka siji tembung

• 100 token ≈ 75 tembung

• 1–2 ukara ≈ 30 token

• 1 paragraf ≈ 100 token

• ~1.500 tembung ≈ 2.048 token

Tokenisasi beda-beda miturut model lan enkoding. Gunakake piranti Tokenizer utawa tiktoken.encoding_for_model(model) kanggo entuk cacah persis kanggo model target sampeyan.

Conto

Iki sawetara conto teks saka kahanan nyata lan kira-kira cacah token-e:

• Pethikan Wayne Gretzky “Sampeyan ora bakal kena 100% tembakan sing ora sampeyan lakoni” = 11 token

• Piagam OpenAI = 476 token

• Deklarasi Kamardikan AS = 1.695 token

Cara ngitung cacah token

Nalika sampeyan ngirim teks menyang API:

1. Teks dipérang dadi token.

2. Model ngolah token-token iki.

3. Tanggapan digawe minangka urutan token, banjur diowahi maneh dadi teks.

Panggunaan token dilacak ing sawetara kategori:

• Token input – token ing panjaluk sampeyan.

• Token output – token sing diasilake ing tanggapan.

• Token cache – token sing digunakake maneh ing riwayat pacelathon (asring ditagih kanthi tarif luwih murah).

• Token nalar – ing sawetara model canggih, “langkah mikir” tambahan dilebokake sacara internal sadurunge ngasilake output pungkasan.

Cacah iki katon ing metadata tanggapan API sampeyan lan digunakake kanggo tagihan lan pelacakan panggunaan.

Kanggo njelajah tokenisasi luwih jero, sampeyan bisa nggunakake piranti Tokenizer interaktif, sing ngidini sampeyan ngitung jumlah token lan ndeleng carane teks dipérang dadi token.

Utawa, yen sampeyan pengin ngowahi teks dadi token kanthi programatik, gunakake Tiktoken minangka tokenizer BPE cepet sing khusus digunakake kanggo model OpenAI.

Wates Token

Saben model nduwé wates token gabungan maksimal (input + output). Model kapasitas dhuwur saiki ndhukung nganti atusan ewu token ing konteks, sanadyan wates praktis bisa beda-beda gumantung versi model lan tingkat panggunaan sampeyan.

Yen sampeyan ngluwihi wates, sampeyan bisa:

• Nyekakake utawa nyusun maneh prompt.

• Mecah teks gedhé dadi perangan-perangan luwih cilik.

• Ngringkes utawa pra-proses input sadurunge dikirim.

Regane Token

Panggunaan API diregani saben token, beda-beda miturut model lan apa token kuwi input, output, utawa cache. Deleng kaca rega OpenAI kanggo tarif saiki. Sawetara model nalar bisa nggunakake token luwih akeh sacara internal, nanging tujuane nambah efisiensi kanthi nyuda jumlah token sing dibutuhake saben tugas rampung.

Njelajah token

API nganggep tembung miturut konteksé ing data korpus. Model njupuk prompt, ngowahi input dadi dhaptar token, ngolah prompt, banjur ngowahi token sing dipredhiksi bali dadi tembung sing katon ing tanggapan.

Sing kanggo kita katon kaya rong tembung sing padha bisa wae digawe dadi token sing beda gumantung carané disusun ing teks. Gatekna carané API ngasilake nilai token kanggo tembung ‘red’ adhedhasar konteksé ing teks:

Ing conto pisanan ing ndhuwur, token “2266” kanggo ‘ red’ nyakup spasi ing mburi (Cathetan, iki ID token conto kanggo tujuan demonstrasi).

Token “2296” kanggo ‘ Red’ (kanthi spasi ing ngarep lan diwiwiti nganggo aksara gedhé) beda karo token “2266” kanggo ‘ red’ nganggo aksara cilik.

Nalika ‘Red’ digunakake ing wiwitan ukara, token sing diasilake ora nyakup spasi ing ngarep. Token “7738” beda karo rong conto sadurunge kanggo tembung kasebut.

Pangamatan:

Sansaya mungkin utawa kerep sawijining token muncul, sansaya cilik nomer token sing diwènèhaké marang token kuwi:

• Token sing diasilake kanggo tandha titik padha (“13”) ing kabeh 3 ukara. Iki amarga, sacara konteks, tandha titik digunakake cukup padha ing saindhenging data korpus.

• Token sing diasilake kanggo ‘red’ beda-beda gumantung panggonané ing ukara:

  • Aksara cilik ing tengah ukara: ‘ red’ - (token: “2266”)

  • Aksara gedhé ing tengah ukara: ‘ Red’ - (token: “2297”)

  • Aksara gedhé ing wiwitan ukara: ‘Red’ - (token: “7738”)