አጠቃላይ እይታ
Tokens የOpenAI ሞዴሎች ጽሑፍን ለማስኬድ የሚጠቀሙባቸው አሃዶች ናቸው። አንድ token ቁምፊን፣ የቃል ክፍልን፣ ሙሉ ቃልን ወይም ሥርዓተ ነጥብን ሊወክል ይችላል። ክፍተቶችም ጽሑፍ ወደ tokens በሚከፈልበት መንገድ ላይ ተጽዕኖ ያሳድራሉ።
የToken ብዛት ከቃላት ብዛት ጋር ተመሳሳይ አይደለም። ተመሳሳይ ጽሑፍ እንደ ሞዴሉ፣ encodingኡ እና ቋንቋው የተለያየ የtoken ብዛት ሊያስገኝ ይችላል።
ጽሑፍ እንዴት ወደ tokens እንደሚለወጥ ይረዱ
ጽሑፍ ወደ ሞዴል ሲልኩ፦
ጽሑፉ ወደ tokens ይከፈላል።
ሞዴሉ እነዚያን tokens ያስኬዳል።
ሞዴሉ የውጤት tokensን ያመነጫል። እነዚህ እርስዎ የሚቀበሉትን ጽሑፍ እና በማመዛዘን ሞዴሎች ላይ እንደ መልስ ጽሑፍ የማይታዩ ውስጣዊ የማመዛዘን tokensን ሊያካትቱ ይችላሉ።
ለእንግሊዝኛ ጽሑፍ ግምታዊ ስሌቶችን ይጠቀሙ
እነዚህ ግምቶች የእንግሊዝኛ ጽሑፍን መጠን ለመገመት ሊረዱዎት ይችላሉ፦
1 token በግምት 4 ቁምፊዎች ነው።
1 token በግምት የአንድ ቃል ሦስት አራተኛ ነው።
100 tokens በግምት 75 ቃላት ናቸው።
እነዚህ ግምቶች እንጂ ትክክለኛ ቆጠራዎች አይደሉም። የዓረፍተ ነገሮች እና የአንቀጾች ርዝመት ይለያያል፤ ሌሎች ቋንቋዎችም በቁምፊዎች፣ በቃላት እና በtokens መካከል የተለየ ግንኙነት ሊኖራቸው ይችላል።
ክፍተቶችን እና የፊደል አጻጻፍን ከግምት ያስገቡ
አንድ ቃል እንደ አጻጻፉ፣ የፊደል አጠቃቀሙ እና በዙሪያው እንዳለው ጽሑፍ ወደ ተለያዩ tokens ሊከፈል ይችላል።
ለምሳሌ red፣ Red እና red ተመሳሳይ ጽሑፍ የላቸውም፤ የመጨረሻው ምሳሌ ከፊቱ ክፍተት አለው። አንድ encoding እነዚህን በተለያየ መንገድ ሊወክላቸው ይችላል።
የToken መለያዎችም በencoding ላይ የተመሠረቱ ናቸው። የምሳሌ token መለያ ለእያንዳንዱ ሞዴል እንደሚሠራ አይገምቱ።
የግብዓት እና የውጤት tokensን ለይተው ይወቁ
| ምድብ | የሚገልጸው ነገር |
| የግብዓት tokens | በጥያቄ ውስጥ ለሞዴሉ የሚቀርቡ tokens። እነዚህ የእርምጃ tokens ተብለውም ይጠራሉ። |
| የውጤት tokens | በሞዴሉ የሚመነጩ tokens። የውይይት ማጠናቀቂያዎች እነዚህን የማጠናቀቂያ tokens ብለው ይጠሯቸዋል። |
| የተሸጎጡ የግብዓት tokens | በየጥያቄዎች መሸጎጫ በኩል እንደገና ጥቅም ላይ የዋሉ የግብዓት tokens። ዋጋ አሰጣጣቸው ካልተሸጎጡ የግብዓት tokens ሊለይ ይችላል። |
| የማመዛዘን tokens | የማመዛዘን ሞዴል የሚታየውን መልስ ከማዘጋጀቱ በፊት በውስጥ የሚጠቀምባቸው tokens። |
የማመዛዘን tokens እንደ መልስ ጽሑፍ አይታዩም፤ ነገር ግን በውጤት አጠቃቀም ውስጥ ይቆጠራሉ እና እንደ የውጤት tokens ክፍያ ይከፈልባቸዋል።
ስለዚህ አጭር የሚታይ መልስ በሚታየው ጽሑፍ ከሚጠቁመው በላይ tokensን ሊጠቀም ይችላል።
ጥያቄ ከመላክዎ በፊት tokensን ይቁጠሩ
ግልጽ ጽሑፍን ይቁጠሩ
ጽሑፍ ወደ tokens እንዴት እንደሚከፈል ለማየት Tokenizerን ይጠቀሙ።
ግልጽ ጽሑፍን በፕሮግራም tokenization ለማድረግ tiktokenን ይጠቀሙ። ለዒላማ ሞዴልዎ ተገቢውን encoding ይምረጡ፤ ለምሳሌ tiktoken.encoding_for_model(model)ን ይጠቀሙ።
የግልጽ ጽሑፍ token ብዛት በAPI ጥያቄ ውስጥ ያሉትን ሁሉንም tokens የግድ አያካትትም። የመልዕክት አወቃቀር፣ መሣሪያዎች፣ schemas፣ ምስሎች እና ፋይሎች በአጠቃላይ የግብዓት ብዛቱ ላይ ተጽዕኖ ሊያሳድሩ ይችላሉ።
የተሟላ የResponses ግብዓትን ይቁጠሩ
ለተሟላ የResponses API ግብዓት የግብዓት-token መቁጠሪያ APIን ይጠቀሙ።
መልዕክቶችን፣ ምስሎችን፣ ፋይሎችን፣ መሣሪያዎችን እና ውይይቶችን ጨምሮ የResponses ግብዓት ቅርጸቶችን ይቀበላል። ቆጠራው እንደ የመልዕክት ሚናዎች እና ድንበሮች ያሉ ለጥያቄው አወቃቀር የሚያገለግሉ የቅርጸት tokensን ያካትታል።
የግብዓት ብዛት ሞዴሉ ምን ያህል የውጤት tokens እንደሚያመነጭ አይተነብይም።
ትክክለኛውን የtoken አጠቃቀም ይፈትሹ
ጥያቄ ከላኩ በኋላ የአጠቃቀም መረጃውን ይመልከቱ። የመስክ ስሞች እንደ መጨረሻ ነጥቡ ይለያያሉ፦
የውይይት ማጠናቀቂያዎች prompt_tokens፣ completion_tokens እና total_tokensን ሪፖርት ያደርጋሉ።
Responses input_tokens፣ output_tokens እና total_tokensን ሪፖርት ያደርጋል።
በUsage Dashboard ውስጥ በጊዜ ሂደት ያለውን እንቅስቃሴም መገምገም ይችላሉ። የዥረት አጠቃቀምን ጨምሮ መመሪያዎችን ለማየት፣ የAPI አጠቃቀምን እና ወጪዎችን መገምገምን ይመልከቱ።
በሞዴሉ ገደቦች ውስጥ ይቆዩ
የሞዴልዎን የአውድ መስኮት እና ከፍተኛ ውጤት ለማወቅ ሰነዶቹን ይመልከቱ። እነዚህ ገደቦች በሞዴሎች መካከል ሊለያዩ ይችላሉ።
የአውድ መስኮቱ አንድ ሞዴል በጥያቄ ውስጥ ሊያስኬዳቸው የሚችላቸውን tokens ይገድባል። ሞዴሎች የውጤት ገደብም አላቸው። ለማመዛዘን ሞዴሎች፣ ከሚታየው መልስ በተጨማሪ ለማመዛዘን tokensም ቦታ ያስቀምጡ።
ግብዓትዎ በጣም ትልቅ ከሆነ የሚከተሉትን ማድረግ ይችላሉ፦
እርምጃውን ያሳጥሩ ወይም በሌላ አገላለጽ ይጻፉ።
አላስፈላጊ ወይም የተደጋገመ አውድን ያስወግዱ።
ትላልቅ ግብዓቶችን ወደ ትናንሽ ክፍሎች ይከፋፍሉ።
ጽሑፉን ከመላክዎ በፊት ያጠቃልሉ ወይም ቅድመ-ሂደት ያድርጉበት።
መጨረሻ ነጥብዎ እና ሞዴልዎ የሚደግፉትን የውጤት-token ቅንብር ይጠቀሙ። የውይይት ማጠናቀቂያዎች max_completion_tokensን፤ Responses ደግሞ max_output_tokensን ይጠቀማል።
እነዚህ የጥያቄ መጠን ገደቦች ከAPI የፍጥነት ገደቦች እና ከወርሃዊ የአጠቃቀም ወይም የወጪ ገደቦች የተለዩ ናቸው። ለሚጠቀሙበት ሞዴል የሞዴሉን ሰነዶች ይመልከቱ።
የToken ዋጋ አሰጣጥን ይረዱ
በtoken ላይ ለተመሠረተ የAPI ዋጋ አሰጣጥ፣ ተመኑ በሞዴሉ እና በtoken ምድብ ይወሰናል። የግብዓት፣ የተሸጎጠ ግብዓት እና የውጤት tokens የተለያዩ ዋጋዎች ሊኖራቸው ይችላል። ሌሎች የAPI ችሎታዎች የተለያዩ የክፍያ አሃዶችን ሊጠቀሙ ይችላሉ።
የአሁኑን ተመኖች ለማየት የAPI ዋጋ አሰጣጥ ገጽን ይመልከቱ።
ሞዴሎችን ሲያወዳድሩ፣ ተግባርዎን ለማጠናቀቅ የሚያስፈልጉትን አጠቃላይ tokens እና ወጪ ከግምት ያስገቡ። በአንድ ሚሊዮን tokens ያነሰ ዋጋ መኖሩ የግድ አነስተኛ አጠቃላይ ወጪ አያስከትልም፤ ሞዴሎች ተመሳሳይ ጽሑፍን በተለያየ መንገድ tokenize ሊያደርጉ እና የተለያየ መጠን ያለው ውጤት ወይም ማመዛዘን ሊያመነጩ ይችላሉ።
የሚታየውን የምላሽ ርዝመት ብቻ ከማወዳደር ይልቅ ተወካይ ተግባራትን ይፈትሹ።
በርካታ ማጠናቀቂያዎችን ከግምት ያስገቡ
አንድ መጨረሻ ነጥብ እና ሞዴል በርካታ ማጠናቀቂያዎችን ማመንጨት ሲደግፉ፣ ተጨማሪዎቹ ማጠናቀቂያዎችም tokensን ይጠቀማሉ።
ለውይይት ማጠናቀቂያዎች nን ከ1 በላይ ማዘጋጀት በርካታ ምርጫዎችን ያመነጫል። በእነዚያ ምርጫዎች ውስጥ ለተመነጩት tokens ክፍያ ይጠየቃሉ።
ለቀድሞው Completions API፣ best_of ሁሉም የማይመለሱ እጩዎችን ሊያመነጭ ይችላል። ለምሳሌ best_of = 3 በእጩዎቹ ውስጥ እስከ 3 × max_tokens የማጠናቀቂያ tokens ሊያመነጭ ይችላል።
እነዚህ መለኪያዎች ለየመጨረሻ ነጥቡ የተወሰኑ ናቸው። n ወይም best_of በሌላ API ወይም ሞዴል እንደሚደገፍ አይገምቱ።