Yfirlit
Tókar eru einingarnar sem líkön OpenAI nota til að vinna úr texta. Tóki getur táknað staf, hluta úr orði, heilt orð eða greinarmerki. Bil hafa einnig áhrif á hvernig texta er skipt í tóka.
Fjöldi tóka er ekki sá sami og fjöldi orða. Sami texti getur gefið mismunandi fjölda tóka eftir líkani, kóðun þess og tungumáli.
Skildu hvernig texti verður að tókum
Þegar þú sendir líkani texta:
Textanum er skipt í tóka.
Líkanið vinnur úr tókunum.
Líkanið myndar úttakstóka. Þeir geta falið í sér textann sem þú færð og, hjá rakalíkönum, innri röktóka sem birtast ekki sem svartexti.
Notaðu gróft mat fyrir enskan texta
Þetta grófa mat getur hjálpað þér að áætla stærð ensks texta:
1 tóki samsvarar um það bil 4 stöfum.
1 tóki samsvarar um það bil þremur fjórðu úr orði.
100 tókar samsvara um það bil 75 orðum.
Þetta er gróft mat, ekki nákvæm talning. Lengd málsgreina og efnisgreina er mismunandi og í öðrum tungumálum geta tengsl stafa, orða og tóka verið önnur.
Taktu tillit til bila og há- og lágstafa
Orði getur verið skipt í mismunandi tóka eftir stafsetningu þess, há- og lágstöfum og textanum í kring.
Til dæmis innihalda red, Red og red ekki sams konar texta: síðasta dæmið hefst á bili. Kóðun getur táknað þau á mismunandi hátt.
Auðkenni tóka ráðast einnig af kóðuninni. Ekki gera ráð fyrir að dæmi um tókaauðkenni eigi við um öll líkön.
Greindu á milli inntaks- og úttakstóka
| Flokkur | Lýsing |
| Inntakstókar | Tókar sem líkaninu eru sendir í beiðni. Þeir eru einnig kallaðir kvaðningartókar. |
| Úttakstókar | Tókar sem líkanið myndar. Í Chat Completions eru þeir kallaðir útfyllingartókar. |
| Inntakstókar úr skyndiminni | Inntakstókar sem eru endurnýttir með kvaðningarskyndiminni. Verðlagning þeirra getur verið önnur en inntakstóka sem ekki koma úr skyndiminni. |
| Röktókar | Tókar sem rakalíkan notar innanhúss áður en sýnilega svarið er myndað. |
Röktókar birtast ekki sem svartexti en teljast með í úttaksnotkun og eru innheimtir sem úttakstókar.
Stutt sýnilegt svar getur því notað fleiri tóka en textinn sem birtist gefur til kynna.
Teldu tóka áður en beiðni er send
Teldu tóka í óformattuðum texta
Notaðu tókavæðinn til að sjá hvernig texta er skipt í tóka.
Notaðu tiktoken til að tóka óformattan texta með forritskóða. Veldu kóðunina fyrir marklíkanið, til dæmis með tiktoken.encoding_for_model(model).
Talning tóka í óformattuðum texta nær ekki endilega yfir alla tóka í API-beiðni. Uppbygging skilaboða, verkfæri, skemu, myndir og skrár geta haft áhrif á heildarfjölda inntakstóka.
Teldu tóka í öllu Responses-inntakinu
Notaðu API fyrir talningu inntakstóka til að telja allt inntak Responses API.
Það tekur við inntakssniðum Responses, meðal annars skilaboðum, myndum, skrám, verkfærum og samtölum. Talningin nær yfir sniðtóka sem eru notaðir fyrir uppbyggingu beiðninnar, svo sem hlutverk og mörk skilaboða.
Fjöldi inntakstóka segir ekki til um hve marga úttakstóka líkanið myndar.
Athugaðu raunverulega tókanotkun
Skoðaðu notkunarupplýsingarnar eftir að beiðni hefur verið send. Heiti reita eru mismunandi eftir endapunktum:
Chat Completions tilgreinir prompt_tokens, completion_tokens og total_tokens.
Responses tilgreinir input_tokens, output_tokens og total_tokens.
Þú getur einnig skoðað notkun yfir tiltekið tímabil á stjórnborði notkunar. Leiðbeiningar, meðal annars um notkun streymis, eru í: Yfirferð API-notkunar og kostnaðar.
Haltu þig innan marka líkansins
Skoðaðu samhengisglugga líkansins og hámarksúttak í skjölun þess. Þessi mörk geta verið mismunandi eftir líkönum.
Samhengisglugginn takmarkar fjölda tóka sem líkan getur unnið með í hverri beiðni. Líkön hafa einnig úttaksmörk. Fyrir rakalíkön þarf að gera ráð fyrir röktókum auk sýnilega svarsins.
Ef inntakið er of stórt geturðu:
Stytt eða umorðað kvaðninguna.
Fjarlægt óþarft eða endurtekið samhengi.
Skipt stóru inntaki í smærri hluta.
Dregið saman eða forunnið textann áður en hann er sendur.
Notaðu stillinguna fyrir úttakstóka sem endapunkturinn og líkanið styðja. Chat Completions notar max_completion_tokens; Responses notar max_output_tokens.
Þessi mörk á stærð beiðna eru óháð hraðatakmörkunum API og mánaðarlegum notkunar- eða útgjaldamörkum. Skoðaðu skjölun líkansins sem þú notar.
Skildu verðlagningu tóka
Þegar API-verðlagning byggist á tókum fer gjaldið eftir líkani og flokki tóka. Inntakstókar, inntakstókar úr skyndiminni og úttakstókar geta verið verðlagðir á mismunandi hátt. Önnur API-virkni getur notað aðrar innheimtueiningar.
Núverandi gjöld má sjá á verðsíðu API.
Þegar líkön eru borin saman skaltu taka mið af heildarfjölda tóka og kostnaðinum við að ljúka verkefninu. Lægra verð á hverja milljón tóka leiðir ekki endilega til lægri heildarkostnaðar: líkön geta tókað sama texta á mismunandi hátt og myndað mismikið úttak eða rök.
Prófaðu dæmigerð verkefni í stað þess að bera aðeins saman lengd sýnilegra svara.
Taktu tillit til margra útfyllinga
Þegar endapunktur og líkan styðja myndun margra útfyllinga nota viðbótarútfyllingarnar einnig tóka.
Ef n er stillt hærra en 1 fyrir Chat Completions eru nokkrir valkostir myndaðir. Gjald er innheimt fyrir alla tóka sem eru myndaðir í þessum valkostum.
Í eldra Completions API getur best_of myndað möguleg svör sem eru ekki öll birt. Til dæmis getur best_of = 3 myndað allt að 3 × max_tokens útfyllingartóka samanlagt fyrir mögulegu svörin.
Þessar breytur eru bundnar við tiltekna endapunkta. Ekki gera ráð fyrir að annað API eða líkan styðji n eða best_of.