વિહંગાવલોકન

OpenAIનાં મોડલ લખાણ પર પ્રક્રિયા કરવા માટે ટોકનનો એકમ તરીકે ઉપયોગ કરે છે. ટોકન કોઈ અક્ષર, શબ્દનો ભાગ, આખો શબ્દ અથવા વિરામચિહ્ન રજૂ કરી શકે છે. જગ્યાઓ પણ લખાણને ટોકનમાં કેવી રીતે વહેંચવામાં આવે છે તેના પર અસર કરે છે.

ટોકનની ગણતરી અને શબ્દોની ગણતરી એકસરખી નથી. મોડલ, તેના એન્કોડિંગ અને ભાષાના આધારે એક જ લખાણ માટે ટોકનની સંખ્યા અલગ હોઈ શકે છે.

લખાણ ટોકનમાં કેવી રીતે ફેરવાય છે તે સમજો

જ્યારે તમે મોડલને લખાણ મોકલો છો:

1. લખાણને ટોકનમાં વહેંચવામાં આવે છે.

2. મોડલ એ ટોકન પર પ્રક્રિયા કરે છે.

3. મોડલ આઉટપુટ ટોકન બનાવે છે. તેમાં તમને મળતું લખાણ અને রিজনিং মডেল માટે જવાબના લખાણ તરીકે ન દેખાતા આંતરિક রিজনিং ટોકન સામેલ હોઈ શકે છે.

અંગ્રેજી લખાણ માટે અંદાજ વાપરો

અંગ્રેજી લખાણનું કદ નક્કી કરવામાં આ અંદાજ મદદરૂપ થઈ શકે છે:

• 1 ટોકન લગભગ 4 અક્ષર જેટલું હોય છે.

• 1 ટોકન લગભગ શબ્દના ત્રણ-ચતુર્થાંશ જેટલું હોય છે.

• 100 ટોકન લગભગ 75 શબ્દ જેટલા હોય છે.

આ અંદાજ છે, ચોક્કસ ગણતરી નહીં. વાક્ય અને ફકરાની લંબાઈ અલગ-અલગ હોય છે અને અન્ય ભાષાઓમાં અક્ષરો, શબ્દો તથા ટોકન વચ્ચેનો સંબંધ પણ અલગ હોઈ શકે છે.

જગ્યાઓ અને અક્ષરોના કદને ધ્યાનમાં લો

કોઈ શબ્દની જોડણી, મોટા-નાના અક્ષરો અને આસપાસના લખાણના આધારે તે અલગ ટોકનમાં વહેંચાઈ શકે છે.

ઉદાહરણ તરીકે, red, Red અને red એકસરખું લખાણ ધરાવતા નથી: છેલ્લા ઉદાહરણની શરૂઆતમાં જગ્યા છે. એન્કોડિંગ તેમને અલગ રીતે રજૂ કરી શકે છે.

ટોકન ID પણ એન્કોડિંગ પર આધાર રાખે છે. ઉદાહરણમાં આપેલું ટોકન ID દરેક મોડલને લાગુ પડે છે એવું માનશો નહીં.

ઇનપુટ અને આઉટપુટ ટોકન વચ્ચેનો તફાવત સમજો

রিজনিং ટોકન જવાબના લખાણ તરીકે દેખાતા નથી, પણ આઉટપુટના ઉપયોગમાં ગણાય છે અને તેમનું બિલિંગ આઉટપુટ ટોકન તરીકે થાય છે.

તેથી ટૂંકો દેખાતો જવાબ પણ તેના પ્રદર્શિત લખાણ કરતાં વધુ ટોકન વાપરી શકે છે.

વિનંતી મોકલતાં પહેલાં ટોકન ગણો

સાદા લખાણના ટોકન ગણો

લખાણ ટોકનમાં કેવી રીતે વહેંચાય છે તે જોવા માટે ટોકનાઇઝરનો ઉપયોગ કરો.

પ્રોગ્રામ દ્વારા સાદા લખાણનું ટોકનાઇઝેશન કરવા માટે tiktokenનો ઉપયોગ કરો. તમારા લક્ષિત મોડલ માટેનું એન્કોડિંગ પસંદ કરો, જેમ કે tiktoken.encoding_for_model(model) વડે.

સાદા લખાણની ટોકન સંખ્યામાં API વિનંતીના બધા ટોકન સામેલ હોય તે જરૂરી નથી. સંદેશનું માળખું, સાધનો, સ્કીમા, છબીઓ અને ફાઇલો ઇનપુટની કુલ સંખ્યાને અસર કરી શકે છે.

સંપૂર્ણ Responses ઇનપુટના ટોકન ગણો

સંપૂર્ણ Responses API ઇનપુટના ટોકન ગણવા માટે, ઇનપુટ ટોકન ગણવા માટેના APIનો ઉપયોગ કરો.

તે સંદેશા, છબીઓ, ફાઇલો, સાધનો અને વાર્તાલાપ સહિતનાં Responses ઇનપુટ ફોર્મેટ સ્વીકારે છે. તેની ગણતરીમાં વિનંતીનું માળખું નિર્ધારિત કરતા ફોર્મેટિંગ ટોકનનો પણ સમાવેશ થાય છે, જેમ કે સંદેશાની ભૂમિકાઓ અને સીમાઓ દર્શાવતા ટોકન.

ઇનપુટ ટોકનની ગણતરી પરથી મોડલ કેટલા આઉટપુટ ટોકન જનરેટ કરશે તેનો અંદાજ મળતો નથી.

Responses ઇનપુટ ટોકન ગણવા માટેના API (POST /v1/responses/input_tokens) વડે ઇનપુટ ટોકન ગણવાનું મફત છે અને તે તમારા મોડલના સામાન્ય ઇન્ફરન્સ ક્વોટાનો ઉપયોગ કરતું નથી. જો તમે પછીથી પ્રતિસાદ જનરેટ કરવા માટે વિનંતી મોકલો, તો તે અલગ વિનંતી માટે લાગુ પડતા API દરો મુજબ શુલ્ક લેવામાં આવે છે.

ટોકનનો વાસ્તવિક ઉપયોગ તપાસો

વિનંતી કર્યા પછી તેના ઉપયોગની માહિતી તપાસો. એન્ડપોઇન્ટ મુજબ ફીલ્ડનાં નામ અલગ હોય છે:

• ચૅટ કમ્પ્લીશન્સ prompt_tokens, completion_tokens અને total_tokens દર્શાવે છે.

• રિસ્પોન્સિસ input_tokens, output_tokens અને total_tokens દર્શાવે છે.

તમે ઉપયોગ ડૅશબોર્ડમાં સમયગાળા મુજબની પ્રવૃત્તિ પણ જોઈ શકો છો. સ્ટ્રીમિંગના ઉપયોગ સહિતની સૂચનાઓ માટે APIના ઉપયોગ અને ખર્ચની સમીક્ષા જુઓ.

મોડલની મર્યાદામાં રહો

તમારા મોડલની સંદર્ભ વિન્ડો અને મહત્તમ આઉટપુટ માટે તેના દસ્તાવેજો તપાસો. આ મર્યાદાઓ મોડલ પ્રમાણે અલગ હોઈ શકે છે.

સંદર્ભ વિન્ડો એક વિનંતીમાં મોડલ કેટલા ટોકન પર કામ કરી શકે તે મર્યાદિત કરે છે. મોડલની આઉટપુટ મર્યાદા પણ હોય છે. রিজনিং মডেল માટે દેખાતા જવાબ ઉપરાંત রিজনিং ટોકન માટે પણ જગ્યા રાખો.

તમારું ઇનપુટ ઘણું મોટું હોય તો તમે આ કરી શકો છો:

• પ્રોમ્પ્ટ ટૂંકો કરો અથવા તેને બીજી રીતે લખો.

• બિનજરૂરી અથવા પુનરાવર્તિત સંદર્ભ દૂર કરો.

• મોટા ઇનપુટને નાના ભાગોમાં વહેંચો.

• લખાણ મોકલતાં પહેલાં તેનો સારાંશ બનાવો અથવા પૂર્વપ્રક્રિયા કરો.

તમારા એન્ડપોઇન્ટ અને મોડલ દ્વારા સમર્થિત આઉટપુટ-ટોકન સેટિંગનો ઉપયોગ કરો. ચૅટ કમ્પ્લીશન્સ max_completion_tokensનો અને રિસ્પોન્સિસ max_output_tokensનો ઉપયોગ કરે છે.

વિનંતીના કદની આ મર્યાદાઓ APIની દર મર્યાદાઓ અને માસિક ઉપયોગ અથવા ખર્ચની મર્યાદાઓથી અલગ છે. તમે જે મોડલ વાપરો છો તેના મોડલ દસ્તાવેજોની સમીક્ષા કરો.

ટોકનનું મૂલ્યનિર્ધારણ સમજો

ટોકન-આધારિત API મૂલ્યનિર્ધારણમાં દર મોડલ અને ટોકનની શ્રેણી પર આધાર રાખે છે. ઇનપુટ, કૅશ કરેલા ઇનપુટ અને આઉટપુટ ટોકનની કિંમતો અલગ હોઈ શકે છે. APIની અન્ય ક્ષમતાઓ માટે બિલિંગના અલગ એકમો વપરાઈ શકે છે.

વર્તમાન દરો માટે API મૂલ્યનિર્ધારણ પૃષ્ઠ તપાસો.

મોડલની સરખામણી કરતી વખતે તમારું કાર્ય પૂરું કરવા જરૂરી કુલ ટોકન અને ખર્ચ ધ્યાનમાં લો. દસ લાખ ટોકનદીઠ ઓછી કિંમતનો અર્થ કુલ ખર્ચ ઓછો જ થશે એવું નથી: મોડલ એક જ લખાણને અલગ રીતે ટોકનાઇઝ કરી શકે છે અને આઉટપુટ અથવા রিজনিংનું પ્રમાણ પણ અલગ હોઈ શકે છે.

માત્ર દેખાતા પ્રતિસાદની લંબાઈ સરખાવવાને બદલે પ્રતિનિધિ કાર્યોનું પરીક્ષણ કરો.

એકથી વધુ કમ્પ્લીશનને ધ્યાનમાં લો

જ્યારે કોઈ એન્ડપોઇન્ટ અને મોડલ એકથી વધુ કમ્પ્લીશન બનાવવાનું સમર્થન કરે છે, ત્યારે તે વધારાનાં કમ્પ્લીશન પણ ટોકન વાપરે છે.

ચૅટ કમ્પ્લીશન્સમાં nને 1થી વધુ સેટ કરવાથી એકથી વધુ વિકલ્પ બને છે. આ વિકલ્પોમાં બનેલા ટોકન માટે તમારી પાસેથી શુલ્ક લેવામાં આવે છે.

લેગસી કમ્પ્લીશન્સ APIમાં best_of એવા ઉમેદવારો બનાવી શકે છે જે બધા પરત ન મળે. ઉદાહરણ તરીકે, best_of = 3 બધા ઉમેદવારોમાં વધુમાં વધુ 3 × max_tokens કમ્પ્લીશન ટોકન બનાવી શકે છે.

આ પરિમાણો એન્ડપોઇન્ટ-વિશિષ્ટ છે. અન્ય API અથવા મોડલમાં n કે best_of સમર્થિત હશે એવું માનશો નહીં.