അവലോകനം

ടെക്സ്റ്റ് പ്രോസസ്സ് ചെയ്യാൻ OpenAI മോഡലുകൾ ഉപയോഗിക്കുന്ന യൂണിറ്റുകളാണ് ടോക്കണുകൾ. ഒരു ടോക്കണിന് ഒരു അക്ഷരത്തെയോ വാക്കിന്റെ ഭാഗത്തെയോ പൂർണ വാക്കിനെയോ വിരാമചിഹ്നത്തെയോ പ്രതിനിധീകരിക്കാം. ടെക്സ്റ്റ് ടോക്കണുകളായി വിഭജിക്കുന്ന രീതിയെ സ്‌പെയ്‌സുകളും ബാധിക്കുന്നു.

ടോക്കണുകളുടെ എണ്ണവും വാക്കുകളുടെ എണ്ണവും ഒന്നല്ല. മോഡൽ, അതിന്റെ എൻകോഡിംഗ്, ഭാഷ എന്നിവയനുസരിച്ച് ഒരേ ടെക്സ്റ്റിന് വ്യത്യസ്ത ടോക്കൺ എണ്ണങ്ങൾ ലഭിക്കാം.

ടെക്സ്റ്റ് ടോക്കണുകളാകുന്നത് എങ്ങനെയെന്ന് മനസ്സിലാക്കുക

ഒരു മോഡലിലേക്ക് ടെക്സ്റ്റ് അയയ്ക്കുമ്പോൾ:

1. ടെക്സ്റ്റ് ടോക്കണുകളായി വിഭജിക്കപ്പെടുന്നു.

2. മോഡൽ ആ ടോക്കണുകൾ പ്രോസസ്സ് ചെയ്യുന്നു.

3. മോഡൽ ഔട്ട്‌പുട്ട് ടോക്കണുകൾ സൃഷ്ടിക്കുന്നു. ഇവയിൽ നിങ്ങൾക്ക് ലഭിക്കുന്ന ടെക്സ്റ്റും റീസണിംഗ് മോഡലുകളിൽ ഉത്തരമായി ദൃശ്യമാകാത്ത ആന്തരിക റീസണിംഗ് ടോക്കണുകളും ഉൾപ്പെടാം.

ഇംഗ്ലീഷ് ടെക്സ്റ്റിന് ഏകദേശ കണക്കുകൾ ഉപയോഗിക്കുക

ഇംഗ്ലീഷ് ടെക്സ്റ്റിന്റെ വലുപ്പം വിലയിരുത്താൻ ഈ ഏകദേശ കണക്കുകൾ സഹായിക്കും:

• 1 ടോക്കൺ ഏകദേശം 4 അക്ഷരങ്ങളാണ്.

• 1 ടോക്കൺ ഒരു വാക്കിന്റെ ഏകദേശം മുക്കാൽ ഭാഗമാണ്.

• 100 ടോക്കണുകൾ ഏകദേശം 75 വാക്കുകളാണ്.

ഇവ ഏകദേശ കണക്കുകളാണ്, കൃത്യമായ എണ്ണമല്ല. വാക്യങ്ങളുടെയും ഖണ്ഡികകളുടെയും നീളം വ്യത്യാസപ്പെടാം; മറ്റ് ഭാഷകളിൽ അക്ഷരങ്ങൾ, വാക്കുകൾ, ടോക്കണുകൾ എന്നിവ തമ്മിലുള്ള ബന്ധവും വ്യത്യസ്തമായിരിക്കാം.

സ്‌പെയ്‌സുകളും അക്ഷരവലുപ്പവും കണക്കിലെടുക്കുക

ഒരു വാക്കിന്റെ അക്ഷരവിന്യാസം, അക്ഷരവലുപ്പം, ചുറ്റുമുള്ള ടെക്സ്റ്റ് എന്നിവയനുസരിച്ച് അത് വ്യത്യസ്ത ടോക്കണുകളായി വിഭജിക്കപ്പെടാം.

ഉദാഹരണത്തിന്, red, Red, red എന്നിവയിലെ ടെക്സ്റ്റ് ഒരുപോലെയല്ല: അവസാന ഉദാഹരണത്തിന്റെ തുടക്കത്തിൽ ഒരു സ്‌പെയ്‌സ് ഉണ്ട്. ഒരു എൻകോഡിംഗ് അവയെ വ്യത്യസ്തമായി പ്രതിനിധീകരിക്കാം.

ടോക്കൺ ഐഡികളും എൻകോഡിംഗിനെ ആശ്രയിച്ചിരിക്കുന്നു. ഒരു ഉദാഹരണ ടോക്കൺ ഐഡി എല്ലാ മോഡലുകൾക്കും ബാധകമാണെന്ന് കരുതരുത്.

ഇൻപുട്ട്, ഔട്ട്‌പുട്ട് ടോക്കണുകൾ വേർതിരിച്ചറിയുക

റീസണിംഗ് ടോക്കണുകൾ ഉത്തരത്തിന്റെ ടെക്സ്റ്റായി ദൃശ്യമാകില്ല. എന്നാൽ അവ ഔട്ട്‌പുട്ട് ഉപയോഗത്തിൽ ഉൾപ്പെടുകയും ഔട്ട്‌പുട്ട് ടോക്കണുകളായി ബിൽ ചെയ്യപ്പെടുകയും ചെയ്യും.

അതിനാൽ ദൃശ്യമാകുന്ന ഒരു ചെറിയ ഉത്തരം, പ്രദർശിപ്പിക്കുന്ന ടെക്സ്റ്റ് സൂചിപ്പിക്കുന്നതിലധികം ടോക്കണുകൾ ഉപയോഗിക്കാം.

അഭ്യർഥന അയയ്ക്കുന്നതിനുമുമ്പ് ടോക്കണുകൾ എണ്ണുക

പ്ലെയിൻ ടെക്സ്റ്റ് എണ്ണുക

ടെക്സ്റ്റ് ടോക്കണുകളായി വിഭജിക്കുന്നത് എങ്ങനെയെന്ന് കാണാൻ ടോക്കനൈസർ ഉപയോഗിക്കുക.

പ്രോഗ്രാം മുഖേന പ്ലെയിൻ ടെക്സ്റ്റ് ടോക്കനൈസ് ചെയ്യാൻ tiktoken ഉപയോഗിക്കുക. tiktoken.encoding_for_model(model) ഉപയോഗിക്കുന്നതുപോലെ, ലക്ഷ്യ മോഡലിനുള്ള എൻകോഡിംഗ് തിരഞ്ഞെടുക്കുക.

പ്ലെയിൻ ടെക്സ്റ്റിലെ ടോക്കൺ എണ്ണത്തിൽ ഒരു API അഭ്യർഥനയിലെ എല്ലാ ടോക്കണുകളും ഉൾപ്പെടണമെന്നില്ല. സന്ദേശഘടന, ടൂളുകൾ, സ്കീമകൾ, ചിത്രങ്ങൾ, ഫയലുകൾ എന്നിവ ഇൻപുട്ടിന്റെ ആകെ എണ്ണത്തെ ബാധിക്കാം.

Responses-ലെ പൂർണ ഇൻപുട്ട് എണ്ണുക

Responses API-യിലെ പൂർണ ഇൻപുട്ടിനായി ഇൻപുട്ട് ടോക്കൺ എണ്ണൽ API ഉപയോഗിക്കുക.

സന്ദേശങ്ങൾ, ചിത്രങ്ങൾ, ഫയലുകൾ, ടൂളുകൾ, സംഭാഷണങ്ങൾ എന്നിവ ഉൾപ്പെടെയുള്ള Responses ഇൻപുട്ട് ഫോർമാറ്റുകൾ ഇത് സ്വീകരിക്കുന്നു. സന്ദേശ റോളുകളും അതിരുകളും പോലുള്ള അഭ്യർഥനാ ഘടനയ്ക്കായി ഉപയോഗിക്കുന്ന ഫോർമാറ്റിംഗ് ടോക്കണുകളും ഇതിന്റെ എണ്ണത്തിൽ ഉൾപ്പെടുന്നു.

മോഡൽ എത്ര ഔട്ട്‌പുട്ട് ടോക്കണുകൾ സൃഷ്ടിക്കുമെന്ന് ഇൻപുട്ട് എണ്ണം പ്രവചിക്കുന്നില്ല.

യഥാർഥ ടോക്കൺ ഉപയോഗം പരിശോധിക്കുക

ഒരു അഭ്യർഥനയ്ക്കുശേഷം അതിന്റെ ഉപയോഗവിവരങ്ങൾ പരിശോധിക്കുക. എൻഡ്‌പോയിന്റ് അനുസരിച്ച് ഫീൽഡുകളുടെ പേരുകൾ വ്യത്യാസപ്പെടും:

• ചാറ്റ് പൂർത്തീകരണങ്ങൾ prompt_tokens, completion_tokens, total_tokens എന്നിവ റിപ്പോർട്ട് ചെയ്യുന്നു.

• Responses input_tokens, output_tokens, total_tokens എന്നിവ റിപ്പോർട്ട് ചെയ്യുന്നു.

കാലക്രമത്തിലുള്ള പ്രവർത്തനം ഉപയോഗ ഡാഷ്ബോർഡിലും അവലോകനം ചെയ്യാം. സ്ട്രീമിംഗ് ഉപയോഗം ഉൾപ്പെടെയുള്ള നിർദേശങ്ങൾക്ക് API ഉപയോഗവും ചെലവുകളും അവലോകനം ചെയ്യൽ കാണുക.

മോഡൽ പരിധികൾക്കുള്ളിൽ തുടരുക

മോഡലിന്റെ സന്ദർഭ പരിധിയും പരമാവധി ഔട്ട്‌പുട്ടും അറിയാൻ അതിന്റെ ഡോക്യുമെന്റേഷൻ പരിശോധിക്കുക. ഈ പരിധികൾ മോഡലുകൾക്കനുസരിച്ച് വ്യത്യാസപ്പെടാം.

ഒരു അഭ്യർഥനയിൽ മോഡലിന് കൈകാര്യം ചെയ്യാനാകുന്ന ടോക്കണുകളെ സന്ദർഭ പരിധി നിയന്ത്രിക്കുന്നു. മോഡലുകൾക്ക് ഔട്ട്‌പുട്ട് പരിധിയുമുണ്ട്. റീസണിംഗ് മോഡലുകളിൽ ദൃശ്യമാകുന്ന ഉത്തരത്തിനൊപ്പം റീസണിംഗ് ടോക്കണുകൾക്കും ഇടം അനുവദിക്കുക.

ഇൻപുട്ട് വളരെ വലുതാണെങ്കിൽ, നിങ്ങൾക്ക് ഇവ ചെയ്യാം:

• പ്രോംപ്റ്റ് ചുരുക്കുകയോ മറ്റൊരു രീതിയിൽ എഴുതുകയോ ചെയ്യുക.

• ആവശ്യമില്ലാത്തതോ ആവർത്തിക്കുന്നതോ ആയ സന്ദർഭം നീക്കം ചെയ്യുക.

• വലിയ ഇൻപുട്ടുകൾ ചെറിയ ഭാഗങ്ങളായി വിഭജിക്കുക.

• ടെക്സ്റ്റ് അയയ്ക്കുന്നതിനുമുമ്പ് സംഗ്രഹിക്കുകയോ മുൻകൂട്ടി പ്രോസസ്സ് ചെയ്യുകയോ ചെയ്യുക.

നിങ്ങളുടെ എൻഡ്‌പോയിന്റും മോഡലും പിന്തുണയ്ക്കുന്ന ഔട്ട്‌പുട്ട് ടോക്കൺ ക്രമീകരണം ഉപയോഗിക്കുക. ചാറ്റ് പൂർത്തീകരണങ്ങൾ max_completion_tokens ഉപയോഗിക്കുന്നു; Responses max_output_tokens ഉപയോഗിക്കുന്നു.

ഈ അഭ്യർഥനാ വലുപ്പപരിധികൾ API നിരക്ക് പരിധികളിൽനിന്നും പ്രതിമാസ ഉപയോഗ അല്ലെങ്കിൽ ചെലവ് പരിധികളിൽനിന്നും വേറിട്ടതാണ്. നിങ്ങൾ ഉപയോഗിക്കുന്ന മോഡലിന്റെ മോഡൽ ഡോക്യുമെന്റേഷൻ അവലോകനം ചെയ്യുക.

ടോക്കൺ നിരക്കുകൾ മനസ്സിലാക്കുക

ടോക്കൺ അടിസ്ഥാനമാക്കിയുള്ള API നിരക്ക് മോഡലിനെയും ടോക്കൺ വിഭാഗത്തെയും ആശ്രയിച്ചിരിക്കുന്നു. ഇൻപുട്ട്, കാഷ് ചെയ്‌ത ഇൻപുട്ട്, ഔട്ട്‌പുട്ട് ടോക്കണുകൾ എന്നിവയ്ക്ക് വ്യത്യസ്ത നിരക്കുകളാകാം. മറ്റ് API ശേഷികൾക്ക് വ്യത്യസ്ത ബില്ലിംഗ് യൂണിറ്റുകൾ ഉപയോഗിക്കാം.

നിലവിലെ നിരക്കുകൾക്കായി API നിരക്ക് പേജ് പരിശോധിക്കുക.

മോഡലുകൾ താരതമ്യം ചെയ്യുമ്പോൾ, നിങ്ങളുടെ ജോലി പൂർത്തിയാക്കാൻ ആവശ്യമായ ആകെ ടോക്കണുകളും ചെലവും പരിഗണിക്കുക. പത്ത് ലക്ഷം ടോക്കണുകളുടെ നിരക്ക് കുറവാണെന്നതുകൊണ്ട് ആകെ ചെലവ് കുറയണമെന്നില്ല: മോഡലുകൾ ഒരേ ടെക്സ്റ്റിനെ വ്യത്യസ്തമായി ടോക്കനൈസ് ചെയ്യുകയും വ്യത്യസ്ത അളവിൽ ഔട്ട്‌പുട്ടോ റീസണിംഗോ സൃഷ്ടിക്കുകയും ചെയ്യാം.

ദൃശ്യമാകുന്ന പ്രതികരണത്തിന്റെ നീളം മാത്രം താരതമ്യം ചെയ്യാതെ പ്രതിനിധാനപരമായ ജോലികൾ പരീക്ഷിക്കുക.

ഒന്നിലധികം പൂർത്തീകരണങ്ങൾ കണക്കിലെടുക്കുക

ഒരു എൻഡ്‌പോയിന്റും മോഡലും ഒന്നിലധികം പൂർത്തീകരണങ്ങൾ സൃഷ്ടിക്കാൻ പിന്തുണയ്ക്കുമ്പോൾ, ആ അധിക പൂർത്തീകരണങ്ങളും ടോക്കണുകൾ ഉപയോഗിക്കും.

ചാറ്റ് പൂർത്തീകരണങ്ങളിൽ n എന്നത് 1-ൽ കൂടുതലായി ക്രമീകരിച്ചാൽ ഒന്നിലധികം തിരഞ്ഞെടുപ്പുകൾ സൃഷ്ടിക്കും. ആ തിരഞ്ഞെടുപ്പുകളിലുടനീളം സൃഷ്ടിക്കുന്ന ടോക്കണുകൾക്ക് നിരക്ക് ഈടാക്കും.

പഴയ Completions API-യിൽ best_of ഉപയോഗിച്ച് സൃഷ്ടിക്കുന്ന എല്ലാ സാധ്യതകളും തിരികെ ലഭിക്കണമെന്നില്ല. ഉദാഹരണത്തിന്, best_of = 3 ഉപയോഗിച്ചാൽ സാധ്യതകളിലുടനീളം 3 × max_tokens വരെ പൂർത്തീകരണ ടോക്കണുകൾ സൃഷ്ടിക്കാം.

ഈ പാരാമീറ്ററുകൾ ഓരോ എൻഡ്‌പോയിന്റിനും പ്രത്യേകമാണ്. മറ്റൊരു API അല്ലെങ്കിൽ മോഡൽ n അല്ലെങ്കിൽ best_of പിന്തുണയ്ക്കുമെന്ന് കരുതരുത്.