Шолу
Токендер — OpenAI модельдері мәтінді өңдеу үшін пайдаланатын бірліктер. Токен бір таңбаны, сөздің бөлігін, тұтас сөзді немесе тыныс белгісін білдіруі мүмкін. Бос орындар да мәтіннің токендерге бөлінуіне әсер етеді.
Токен саны мен сөз саны бірдей емес. Бір мәтіндегі токендер саны модельге, оның кодтауына және тілге қарай әртүрлі болуы мүмкін.
Мәтіннің токендерге қалай айналатынын түсіну
Модельге мәтін жібергенде:
Мәтін токендерге бөлінеді.
Модель сол токендерді өңдейді.
Модель шығыс токендерін жасайды. Оларға сіз алатын мәтін және ойлайтын модельдерде жауап мәтіні ретінде көрсетілмейтін ішкі ой қорыту токендері кіруі мүмкін.
Ағылшын мәтіні үшін жуық шамаларды пайдалану
Мына жуық шамалар ағылшын мәтінінің көлемін бағалауға көмектеседі:
1 токен шамамен 4 таңбаға тең.
1 токен шамамен сөздің төрттен үшіне тең.
100 токен шамамен 75 сөзге тең.
Бұл нақты сандар емес, жуық шамалар. Сөйлемдер мен абзацтардың ұзындығы әртүрлі болады, ал басқа тілдерде таңбалар, сөздер және токендер арасындағы қатынас өзгеше болуы мүмкін.
Бос орындар мен бас әріптерді ескеру
Сөз жазылуына, бас әріппен не кіші әріппен басталуына және айналасындағы мәтінге қарай әртүрлі токендерге бөлінуі мүмкін.
Мысалы, red, Red және red мәтіндері бірдей емес: соңғы мысалдың алдында бос орын бар. Кодтау оларды әртүрлі көрсетуі мүмкін.
Токен идентификаторлары да кодтауға байланысты. Мысалдағы токен идентификаторы әр модельге қолданылады деп есептемеңіз.
Кіріс және шығыс токендерін ажырату
| Санат | Нені сипаттайды |
| Кіріс токендері | Сұрауда модельге берілетін токендер. Олар көмексөз токендері деп те аталады. |
| Шығыс токендері | Модель жасайтын токендер. Chat Completions оларды толықтыру токендері деп атайды. |
| Кэштелген кіріс токендері | Көмексөзді кэштеу арқылы қайта пайдаланылатын кіріс токендері. Олардың бағасы кэштелмеген кіріс токендерінің бағасынан өзгеше болуы мүмкін. |
| Ой қорыту токендері | Ойлайтын модель көрінетін жауабын шығармас бұрын іштей пайдаланатын токендер. |
Ой қорыту токендері жауап мәтінінде көрінбейді, бірақ шығыс қолданысына есептеліп, шығыс токендері ретінде төленеді.
Сондықтан қысқа көрінетін жауаптың өзіне көрсетілген мәтіннен көбірек токен жұмсалуы мүмкін.
Сұрауды жібермес бұрын токендерді санау
Кәдімгі мәтінді санау
Мәтіннің токендерге қалай бөлінетінін көру үшін Tokenizer құралын пайдаланыңыз.
Кәдімгі мәтінді бағдарламалық жолмен токенизациялау үшін tiktoken пайдаланыңыз. Мақсатты модельге арналған кодтауды таңдаңыз, мысалы, tiktoken.encoding_for_model(model) арқылы.
Кәдімгі мәтіндегі токен саны API сұрауындағы барлық токенді қамтуы міндетті емес. Хабар құрылымы, құралдар, схемалар, кескіндер және файлдар кірістің толық санына әсер етуі мүмкін.
Responses кірісін толық санау
Responses API толық кірісін санау үшін кіріс токендерін санау API интерфейсін пайдаланыңыз.
Ол хабарларды, кескіндерді, файлдарды, құралдарды және сөйлесулерді қоса алғанда, Responses кіріс пішімдерін қабылдайды. Оның есебіне хабар рөлдері мен шекаралары сияқты сұрау құрылымына қолданылатын пішімдеу токендері кіреді.
Кіріс токендерінің саны модель қанша шығыс токенін жасайтынын болжамайды.
Токендердің нақты қолданысын тексеру
Сұраудан кейін оның қолданыс туралы ақпаратын тексеріңіз. Өріс атаулары соңғы нүктеге қарай өзгереді:
Chat Completions ішінде prompt_tokens, completion_tokens және total_tokens көрсетіледі.
Responses ішінде input_tokens, output_tokens және total_tokens көрсетіледі.
Usage Dashboard тақтасынан уақыт бойынша әрекеттерді де қарап шығуға болады. Ағындық қолданыс туралы нұсқауларды қоса алғанда, толық ақпаратты API қолданысы мен шығындарын тексеру бөлімінен қараңыз.
Модель шектеулерінен аспау
Модельдің мәнмәтін терезесі мен ең үлкен шығыс көлемін оның құжаттамасынан тексеріңіз. Бұл шектеулер әр модельде әртүрлі болуы мүмкін.
Мәнмәтін терезесі модель бір сұрауда өңдей алатын токендер санын шектейді. Модельдерде шығыс көлеміне де шектеу бар. Ойлайтын модельдер үшін көрінетін жауаппен қатар ой қорыту токендеріне де орын қалдырыңыз.
Кіріс тым үлкен болса, мына әрекеттерді орындауға болады:
Көмексөзді қысқартыңыз немесе басқаша тұжырымдаңыз.
Қажетсіз немесе қайталанатын мәнмәтінді алып тастаңыз.
Үлкен кірістерді шағын бөліктерге бөліңіз.
Мәтінді жібермес бұрын қорытындылаңыз немесе алдын ала өңдеңіз.
Соңғы нүкте мен модель қолдайтын шығыс токендерінің параметрін пайдаланыңыз. Chat Completions ішінде max_completion_tokens, ал Responses ішінде max_output_tokens қолданылады.
Бұл сұрау өлшемінің шектеулері API жиілік шектеулерінен және айлық қолданыс не шығын шектеулерінен бөлек. Қолданатын моделіңіз үшін модель құжаттамасын қарап шығыңыз.
Токен бағасын түсіну
Токенге негізделген API бағасы модель мен токен санатына байланысты. Кіріс, кэштелген кіріс және шығыс токендерінің бағалары әртүрлі болуы мүмкін. API-дің басқа мүмкіндіктерінде өзге есеп айырысу бірліктері қолданылуы мүмкін.
Ағымдағы тарифтерді API бағалары бетінен тексеріңіз.
Модельдерді салыстырғанда, тапсырманы орындауға қажет токендердің жалпы саны мен шығынды ескеріңіз. Миллион токеннің төмен бағасы жалпы шығынның да төмен болатынын білдірмейді: модельдер бір мәтінді әртүрлі токендерге бөліп, шығыс немесе ой қорыту көлемін әртүрлі етіп жасай алады.
Тек көрінетін жауап ұзындығын салыстырмай, үлгілік тапсырмаларды сынап көріңіз.
Бірнеше толықтыруды ескеру
Соңғы нүкте мен модель бірнеше толықтыру жасауға мүмкіндік берсе, сол қосымша толықтыруларға да токендер жұмсалады.
Chat Completions үшін n параметрін 1-ден жоғары қою бірнеше нұсқа жасайды. Сол нұсқалардың барлығында жасалған токендер үшін ақы алынады.
Бұрынғы Completions API интерфейсінде best_of қайтарылмайтын кандидаттарды да жасай алады. Мысалы, best_of = 3 параметрі кандидаттар арасында ең көбі 3 × max_tokens толықтыру токенін жасай алады.
Бұл параметрлер әр соңғы нүктеге тән. n немесе best_of параметрін басқа API не модель қолдайды деп есептемеңіз.