جائزہ
ٹوکنز وہ اکائیاں ہیں جنہیں OpenAI ماڈلز متن پر کارروائی کے لیے استعمال کرتے ہیں. ایک ٹوکن کسی حرف، لفظ کے حصے، پورے لفظ یا علامتِ ترقیم کی نمائندگی کر سکتا ہے. اسپیس بھی متن کی ٹوکنز میں تقسیم کو متاثر کرتی ہیں.
ٹوکنز کی گنتی الفاظ کی گنتی جیسی نہیں ہوتی. ماڈل، اس کی انکوڈنگ اور زبان کے لحاظ سے ایک ہی متن کے ٹوکنز کی تعداد مختلف ہو سکتی ہے.
سمجھیں کہ متن ٹوکنز میں کیسے بدلتا ہے
جب آپ کسی ماڈل کو متن بھیجتے ہیں:
متن کو ٹوکنز میں تقسیم کیا جاتا ہے.
ماڈل ان ٹوکنز پر کارروائی کرتا ہے.
ماڈل آؤٹ پٹ ٹوکنز بناتا ہے. ان میں آپ کو ملنے والا متن اور ریزننگ ماڈلز کے ایسے اندرونی ریزننگ ٹوکنز شامل ہو سکتے ہیں جو جواب کے متن میں نہیں دکھتے.
انگریزی متن کے لیے اندازاً تخمینے استعمال کریں
یہ تخمینے انگریزی متن کے حجم کا اندازہ لگانے میں مدد دے سکتے ہیں:
1 ٹوکن تقریباً 4 حروف کے برابر ہوتا ہے.
1 ٹوکن تقریباً ایک لفظ کے تین چوتھائی کے برابر ہوتا ہے.
100 ٹوکنز تقریباً 75 الفاظ کے برابر ہوتے ہیں.
یہ تخمینے ہیں، درست گنتی نہیں. جملوں اور پیراگراف کی لمبائی مختلف ہوتی ہے، اور دوسری زبانوں میں حروف، الفاظ اور ٹوکنز کا باہمی تناسب بھی مختلف ہو سکتا ہے.
اسپیس اور حروف کی صورت کا لحاظ رکھیں
لفظ کے ہجے، حروف کی صورت اور آس پاس کے متن کے لحاظ سے اسے مختلف ٹوکنز میں تقسیم کیا جا سکتا ہے.
مثلاً red، Red اور red کا متن یکساں نہیں ہے: آخری مثال کے شروع میں ایک اسپیس ہے. انکوڈنگ انہیں مختلف انداز میں ظاہر کر سکتی ہے.
ٹوکن آئی ڈیز بھی انکوڈنگ پر منحصر ہوتی ہیں. یہ فرض نہ کریں کہ مثال میں دی گئی ٹوکن آئی ڈی ہر ماڈل پر لاگو ہوتی ہے.
ان پٹ اور آؤٹ پٹ ٹوکنز میں فرق سمجھیں
| زمرہ | یہ کس چیز کی وضاحت کرتا ہے |
| ان پٹ ٹوکنز | درخواست میں ماڈل کو فراہم کیے گئے ٹوکنز. انہیں پرومپٹ ٹوکنز بھی کہا جاتا ہے. |
| آؤٹ پٹ ٹوکنز | ماڈل کے بنائے ہوئے ٹوکنز. Chat Completions میں انہیں تکمیلی ٹوکنز کہا جاتا ہے. |
| کیش شدہ ان پٹ ٹوکنز | پرامپٹ کیچنگ کے ذریعے دوبارہ استعمال کیے گئے ان پٹ ٹوکنز. ان کی قیمت غیر کیش شدہ ان پٹ ٹوکنز سے مختلف ہو سکتی ہے. |
| ریزننگ ٹوکنز | وہ ٹوکنز جنہیں ریزننگ ماڈل اپنا دکھائی دینے والا جواب بنانے سے پہلے اندرونی طور پر استعمال کرتا ہے. |
ریزننگ ٹوکنز جواب کے متن میں دکھائی نہیں دیتے، لیکن وہ آؤٹ پٹ کے استعمال میں شمار ہوتے ہیں اور ان کا بل آؤٹ پٹ ٹوکنز کے طور پر بنتا ہے.
اس لیے مختصر دکھائی دینے والا جواب بھی اپنے ظاہر کردہ متن سے زیادہ ٹوکنز استعمال کر سکتا ہے.
درخواست بھیجنے سے پہلے ٹوکنز گنیں
سادہ متن گنیں
متن کو ٹوکنز میں تقسیم ہوتے دیکھنے کے لیے ٹوکنائزر استعمال کریں.
پروگرام کے ذریعے سادہ متن کی ٹوکنائزیشن کے لیے tiktoken استعمال کریں. اپنے مطلوبہ ماڈل کے لیے انکوڈنگ منتخب کریں، مثلاً tiktoken.encoding_for_model(model) کے ذریعے.
سادہ متن کے ٹوکنز کی گنتی میں لازماً API درخواست کے تمام ٹوکنز شامل نہیں ہوتے. پیغام کی ساخت، ٹولز، اسکیما، تصاویر اور فائلیں ان پٹ کی مکمل گنتی کو متاثر کر سکتی ہیں.
Responses کے مکمل ان پٹ کو گنیں
Responses API کے مکمل ان پٹ کے لیے ان پٹ ٹوکن گنتی API استعمال کریں.
یہ Responses کے ان پٹ فارمیٹس قبول کرتا ہے، جن میں پیغامات، تصاویر، فائلیں، ٹولز اور گفتگو شامل ہیں. اس کی گنتی میں درخواست کی ساخت کے لیے استعمال ہونے والے فارمیٹنگ ٹوکنز بھی شامل ہوتے ہیں، مثلاً پیغام کے کردار اور حدود.
ان پٹ کی گنتی سے یہ پیش گوئی نہیں ہوتی کہ ماڈل کتنے آؤٹ پٹ ٹوکنز بنائے گا.
ٹوکن کے حقیقی استعمال کی جانچ کریں
درخواست کے بعد، اس کے استعمال کی معلومات دیکھیں. فیلڈ کے نام اینڈپوائنٹ کے لحاظ سے مختلف ہوتے ہیں:
Chat Completions میں prompt_tokens، completion_tokens اور total_tokens کی اطلاع ملتی ہے.
Responses میں input_tokens، output_tokens اور total_tokens کی اطلاع ملتی ہے.
آپ استعمال کے ڈیش بورڈ میں وقت کے ساتھ سرگرمی کا جائزہ بھی لے سکتے ہیں. اسٹریمنگ کے استعمال سمیت ہدایات کے لیے، دیکھیں: API کے استعمال اور اخراجات کا جائزہ.
ماڈل کی حدود کے اندر رہیں
اپنے ماڈل کی سیاق ونڈو اور زیادہ سے زیادہ آؤٹ پٹ کے لیے اس کی دستاویزات دیکھیں. یہ حدود مختلف ماڈلز میں مختلف ہو سکتی ہیں.
سیاق ونڈو ان ٹوکنز کی تعداد محدود کرتی ہے جن پر ماڈل ایک درخواست میں کام کر سکتا ہے. ماڈلز کی آؤٹ پٹ کی بھی ایک حد ہوتی ہے. ریزننگ ماڈلز کے لیے دکھائی دینے والے جواب کے ساتھ ریزننگ ٹوکنز کی گنجائش بھی رکھیں.
اگر آپ کا ان پٹ بہت بڑا ہو، تو آپ یہ کر سکتے ہیں:
پرومپٹ کو مختصر کریں یا نئے انداز میں لکھیں.
غیر ضروری یا دہرایا گیا سیاق ہٹا دیں.
بڑے ان پٹس کو چھوٹے حصوں میں تقسیم کریں.
متن بھیجنے سے پہلے اس کا خلاصہ بنائیں یا اس کی پیشگی کارروائی کریں.
اپنے اینڈپوائنٹ اور ماڈل کی معاونت یافتہ آؤٹ پٹ ٹوکن ترتیب استعمال کریں. Chat Completions میں max_completion_tokens اور Responses میں max_output_tokens استعمال ہوتا ہے.
درخواست کے حجم کی یہ حدود API کی شرح کی حدود اور ماہانہ استعمال یا خرچ کی حدود سے الگ ہیں. اپنے زیر استعمال ماڈل کے لیے ماڈل کی دستاویزات دیکھیں.
ٹوکن کی قیمتوں کو سمجھیں
ٹوکن پر مبنی API قیمتوں میں شرح ماڈل اور ٹوکن کے زمرے پر منحصر ہوتی ہے. ان پٹ، کیش شدہ ان پٹ اور آؤٹ پٹ ٹوکنز کی قیمتیں مختلف ہو سکتی ہیں. API کی دیگر صلاحیتوں کے لیے بلنگ کی مختلف اکائیاں استعمال ہو سکتی ہیں.
موجودہ شرحوں کے لیے API قیمتوں کا صفحہ دیکھیں.
ماڈلز کا موازنہ کرتے وقت اپنا کام مکمل کرنے کے لیے درکار کل ٹوکنز اور لاگت کو مدنظر رکھیں. فی دس لاکھ ٹوکنز کم قیمت کا مطلب لازماً کم مجموعی لاگت نہیں ہے: ماڈلز ایک ہی متن کو مختلف انداز میں ٹوکنائز کر سکتے ہیں اور مختلف مقدار میں آؤٹ پٹ یا ریزننگ پیدا کر سکتے ہیں.
صرف دکھائی دینے والے جواب کی لمبائی کا موازنہ کرنے کے بجائے نمائندہ کاموں کی آزمائش کریں.
متعدد تکمیلوں کا لحاظ رکھیں
جب کوئی اینڈپوائنٹ اور ماڈل متعدد تکمیلات بنانے کی معاونت کرتے ہیں، تو ان اضافی تکمیلات میں بھی ٹوکنز استعمال ہوتے ہیں.
Chat Completions میں n کو 1 سے زیادہ مقرر کرنے پر متعدد انتخاب بنتے ہیں. ان تمام انتخاب میں بننے والے ٹوکنز کا معاوضہ آپ سے لیا جاتا ہے.
پرانے Completions API میں best_of ایسے امیدوار بنا سکتا ہے جو سب کے سب واپس نہیں کیے جاتے. مثلاً best_of = 3 امیدواروں میں زیادہ سے زیادہ 3 × max_tokens تک تکمیلی ٹوکنز بنا سکتا ہے.
یہ پیرامیٹرز مخصوص اینڈپوائنٹس کے لیے ہوتے ہیں. یہ فرض نہ کریں کہ کسی دوسرے API یا ماڈل میں n یا best_of کی معاونت موجود ہے.