Тойм
Токен бол OpenAI-н загваруудын текст боловсруулахдаа ашигладаг нэгж юм. Токен нь тэмдэгт, үгийн хэсэг, бүтэн үг эсвэл цэг тэмдэгтийг илэрхийлж болно. Зай ч мөн текстийг токен болгон хуваахад нөлөөлнө.
Токены тоо нь үгийн тоотой адил биш. Ижил текстийн токены тоо загвар, кодчилол болон хэлээс хамаарч өөр байж болно.
Текст хэрхэн токен болдгийг ойлгох
Текстийг загварт илгээхэд:
Текстийг токенуудад хуваана.
Загвар тэдгээр токеныг боловсруулна.
Загвар гаралтын токен үүсгэнэ. Үүнд таны хүлээн авах текст болон сэтгэн бодох загварын хувьд хариултын текстээр харагддаггүй дотоод сэтгэн бодох токенууд багтаж болно.
Англи текстэд ойролцоо тооцоо ашиглах
Англи текстийн хэмжээг дараах байдлаар ойролцоолж болно:
1 токен ойролцоогоор 4 тэмдэгттэй тэнцэнэ.
1 токен ойролцоогоор үгийн дөрөвний гуравтай тэнцэнэ.
100 токен ойролцоогоор 75 үгтэй тэнцэнэ.
Эдгээр нь нарийн тоо бус, ойролцоо тооцоо юм. Өгүүлбэр, догол мөрийн урт харилцан адилгүй бөгөөд бусад хэлэнд тэмдэгт, үг, токены харьцаа өөр байж болно.
Зай ба том, жижиг үсгийг тооцох
Үгийн бичлэг, том жижиг үсэг болон эргэн тойрны текстээс хамаарч үгийг өөр өөр токенд хувааж болно.
Жишээлбэл, red, Red, red нь ижил текст биш: сүүлийн жишээний өмнө зай бий. Кодчилол тэдгээрийг өөр өөрөөр дүрсэлж болно.
Токены ID мөн кодчиллоос хамаарна. Жишээ токены ID бүх загварт адил үйлчилнэ гэж бүү үзээрэй.
Оролтын ба гаралтын токеныг ялгах
| Ангилал | Тайлбар |
| Оролтын токен | Хүсэлтээр загварт өгсөн токенууд. Эдгээрийг мөн өгөгдлийн токен гэж нэрлэдэг. |
| Гаралтын токен | Загварын үүсгэсэн токенууд. Chat Completions эдгээрийг гүйцээлтийн токен гэж нэрлэдэг. |
| Кэшлэгдсэн оролтын токен | Промптын кэшлэлтээр дахин ашигласан оролтын токенууд. Тэдгээрийн үнэ кэшлэгдээгүй оролтын токеноос ялгаатай байж болно. |
| Сэтгэн бодох токен | Сэтгэн бодох загвар харагдах хариултаа гаргахаас өмнө дотооддоо ашигладаг токенууд. |
Сэтгэн бодох токенууд хариултын текстээр харагдахгүй ч гаралтын ашиглалтад тооцогдож, гаралтын токеноор төлбөр бодогдоно.
Тиймээс богино харагдах хариулт дэлгэцэд үзүүлсэн текстээсээ олон токен ашиглаж болно.
Хүсэлт илгээхийн өмнө токеныг тоолох
Энгийн текстийг тоолох
Текстийг токен болгон хэрхэн хуваадгийг харахын тулд Tokenizer-ийг ашиглана уу.
Энгийн текстийг программаар токенжуулахдаа tiktoken-ийг ашиглана уу. Зорилтот загвартаа тохирох кодчиллыг сонгоно уу. Жишээлбэл, tiktoken.encoding_for_model(model)-ийг ашиглаж болно.
Энгийн текстийн токены тоонд API хүсэлтийн бүх токен заавал багтахгүй. Мессежийн бүтэц, хэрэгсэл, схем, зураг, файл нь оролтын нийт тоонд нөлөөлж болно.
Responses-ийн бүрэн оролтыг тоолох
Responses API-н бүрэн оролтыг тоолохдоо оролтын токен тоолох API-г ашиглана уу.
Энэ нь мессеж, зураг, файл, хэрэгсэл, харилцан яриа зэрэг Responses оролтын форматыг хүлээн авна. Тооцоонд мессежийн үүрэг, зааг зэрэг хүсэлтийн бүтцэд ашигладаг форматлах токенууд багтана.
Оролтын тоо нь загвар хэдэн гаралтын токен үүсгэхийг урьдчилан хэлэхгүй.
Токены бодит ашиглалтыг шалгах
Хүсэлт илгээсний дараа ашиглалтын мэдээллийг нь шалгана уу. Талбарын нэр эцсийн цэгээс хамаарч ялгаатай:
Chat Completions нь prompt_tokens, completion_tokens, total_tokens-ийг мэдээлдэг.
Responses нь input_tokens, output_tokens, total_tokens-ийг мэдээлдэг.
Мөн Usage Dashboard-аас ашиглалтын түүхээ хянах боломжтой. Стриминг ашиглалт зэрэг зааврыг API ашиглалт ба зардлыг хянах хэсгээс үзнэ үү.
Загварын хязгаарт багтаах
Загварынхаа контекстийн цонх болон гаралтын дээд хязгаарыг баримт бичгээс нь шалгана уу. Эдгээр хязгаар загвар бүрд ялгаатай байж болно.
Контекстийн цонх нь нэг хүсэлтэд загварын боловсруулах токены тоог хязгаарладаг. Загварууд мөн гаралтын хязгаартай. Сэтгэн бодох загварт харагдах хариултаас гадна сэтгэн бодох токенуудад зай тооцоорой.
Хэрэв оролт хэт том бол дараах аргыг хэрэглэж болно:
Өгөгдлийг богиносгох эсвэл өөрөөр найруулах.
Шаардлагагүй эсвэл давтагдсан контекстийг хасах.
Том оролтыг жижиг хэсгүүдэд хуваах.
Текстийг илгээхийн өмнө хураангуйлах эсвэл урьдчилан боловсруулах.
Эцсийн цэг болон загварынхаа дэмждэг гаралтын токены тохиргоог ашиглана уу. Chat Completions нь max_completion_tokens, Responses нь max_output_tokens ашигладаг.
Эдгээр хүсэлтийн хэмжээний хязгаар нь API хурдны хязгаар болон сарын ашиглалт, зардлын хязгаараас тусдаа. Ашиглаж буй загварынхаа баримт бичгийг үзнэ үү.
Токены үнийг ойлгох
Токенд суурилсан API үнэ нь загвар болон токены ангиллаас хамаарна. Оролтын, кэшлэгдсэн оролтын болон гаралтын токенууд өөр өөр үнэтэй байж болно. API-н бусад боломж өөр төлбөрийн нэгж ашиглаж болно.
Одоогийн үнийг API үнийн хуудаснаас шалгана уу.
Загваруудыг харьцуулахдаа даалгавраа гүйцэтгэхэд шаардагдах нийт токен, зардлыг тооцоорой. Нэг сая токены үнэ бага байлаа гээд нийт зардал заавал бага байхгүй. Загварууд ижил текстийг өөрөөр токенжуулж, өөр хэмжээний гаралт эсвэл сэтгэн бодох үйлдэл үүсгэж болно.
Зөвхөн харагдах хариултын уртыг харьцуулахын оронд бодит хэрэглээг төлөөлөх даалгавруудаар туршаарай.
Олон гүйцээлтийг тооцох
Эцсийн цэг болон загвар олон гүйцээлт үүсгэхийг дэмждэг бол нэмэлт гүйцээлтүүд мөн токен ашиглана.
Chat Completions-д n-ийг 1-ээс их болговол олон сонголт үүснэ. Эдгээр сонголтын үүсгэсэн бүх токены төлбөрийг тооцно.
Хуучин Completions API-д best_of нь бүгдийг нь буцаахгүй нэр дэвшигч хариултууд үүсгэж болно. Жишээлбэл, best_of = 3 нь нэр дэвшигчдийн хүрээнд 3 × max_tokens хүртэл гүйцээлтийн токен үүсгэж болно.
Эдгээр параметр нь эцсийн цэг тус бүрд өөр. n эсвэл best_of-ийг өөр API эсвэл загвар дэмждэг гэж бүү үзээрэй.