Logit_bias ایک اختیاری پیرامیٹر ہے جو مخصوص ٹوکنز کے ماڈل کے تیار کردہ آؤٹ پٹ میں ظاہر ہونے کے امکان کو بدلتا ہے.
یہ پیرامیٹر ایک JSON آبجیکٹ قبول کرتا ہے جو ٹوکنز کو -100 (جو زیادہ تر صورتوں میں اس ٹوکن کے جنریٹ ہونے کو روک دے گا) سے 100 (ٹوکن کا خصوصی انتخاب، جس سے اس کے جنریٹ ہونے کا امکان زیادہ ہو جاتا ہے) تک کسی متعلقہ بائس ویلیو سے میپ کرتا ہے. -1 اور 1 جیسی درمیانی قدریں کسی ٹوکن کے منتخب ہونے کے امکان کو کم درجے تک بدلیں گی.
چونکہ پیرامیٹر متن نہیں بلکہ ٹوکنز لیتا ہے، اس لیے متن کو ٹوکن IDs میں بدلنے کے لیے آپ کو ٹوکنائزر ٹول استعمال کرنا ہوگا. آئیے چند مثالیں دیکھتے ہیں.
مثال 1: “time” کو ہٹائیں
اگر ہم Completions اینڈپوائنٹ کو پرومپٹ “Once upon a,” کے ساتھ کال کریں، تو تکمیل کے “ time.” سے شروع ہونے کا امکان بہت زیادہ ہے.
“time” لفظ ID 2435 میں ٹوکنائز ہوتا ہے اور “ time” لفظ (جس کے شروع میں ایک اسپیس ہے) ID 640 میں ٹوکنائز ہوتا ہے. ہم انہیں logit_bias کے ذریعے -100 کے ساتھ پاس کر سکتے ہیں تاکہ انہیں تکمیل میں ظاہر ہونے سے روک دیں، اس طرح:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)اب، پرومپٹ “Once upon a” تکمیل “midnight dreary, while I pondered, weak and weary.” بناتا ہے.
غور کریں کہ “time” لفظ کہیں بھی موجود نہیں، کیونکہ ہم نے logit_bias استعمال کر کے اس ٹوکن کو مؤثر طور پر ممنوع کر دیا ہے.
مثال 2: مخصوص logit bias قدروں کے ذریعے سمت دیں
آئیے ایک اور مثال دیکھتے ہیں، جس میں recipe generator پرومپٹ استعمال کیا گیا ہے.
بہت سی ترکیبیں برتن استعمال کرنے کا مشورہ دیتی ہیں، لیکن فرض کریں ہمارے پاس برتن نہیں ہے. ہم چاہیں گے کہ ہماری تکمیل کے حصے کے طور پر pot لفظ جنریٹ نہ ہو. “Pot” 1787 میں ٹوکنائز ہوتا ہے، اس لیے ہم اپنا logit_bias نیچے دیے گئے طریقے سے سیٹ کر کے اسے اپنی جنریشن سے ہٹا سکتے ہیں.
logit_bias={1787:-100}اب، ہماری تکمیل اس کے بجائے “saucepan” لفظ شامل کر سکتی ہے. بہترین!
مثال 3: کسی لفظ کے ظاہر ہونے کے امکانات بڑھائیں
فرض کریں کہ ہم کسی لفظ کے ظاہر ہونے کا امکان بڑھانا چاہتے ہیں.
مثال کے طور پر، شاید ہم ایک ایسی سائٹ چلا رہے ہیں جو ایسی ترکیبیں پیش کرتی ہے جنہیں آپ microwave سے بنا سکتے ہیں، اس لیے ہم یقینی بنانا چاہتے ہیں کہ ترکیب میں “microwave” لفظ ظاہر ہو. Microwave ID 27000 میں ٹوکنائز ہوتا ہے. ہم ایک مثبت logit_bias سیٹ کر کے اس ٹوکن کے ظاہر ہونے کا امکان بڑھا سکتے ہیں، اس طرح:
logit_bias={27000:5}اب، ہماری تکمیل میں “microwave” لفظ شامل ہونے کا امکان زیادہ ہے.
ہم نے logit_bias کو 5 پر سیٹ کیا، کیونکہ ہم نے پایا کہ logit_bias کو 1 پر سیٹ کرنے سے اکثر “microwave” لفظ تکمیل میں ظاہر نہیں ہوتا تھا، جبکہ 10 جیسی زیادہ logit_bias قدروں سے “ microwave” لفظ تکمیل میں بہت زیادہ بار ظاہر ہوتا تھا.