Logit_bias ایک اختیاری پیرامیٹر ہے جو مخصوص ٹوکنز کے ماڈل کے تیار کردہ آؤٹ پٹ میں ظاہر ہونے کے امکان کو بدلتا ہے.
یہ پیرامیٹر ایک JSON آبجیکٹ قبول کرتا ہے جو ٹوکنز کو -100 (جو زیادہ تر صورتوں میں اس ٹوکن کے جنریٹ ہونے کو روک دے گا) سے 100 (ٹوکن کا خصوصی انتخاب، جس سے اس کے جنریٹ ہونے کا امکان زیادہ ہو جاتا ہے) تک کسی متعلقہ بائس ویلیو سے میپ کرتا ہے. -1 اور 1 جیسی درمیانی قدریں کسی ٹوکن کے منتخب ہونے کے امکان کو کم درجے تک بدلیں گی.
چونکہ پیرامیٹر متن نہیں بلکہ ٹوکنز لیتا ہے، اس لیے متن کو ٹوکن IDs میں بدلنے کے لیے آپ کو ٹوکنائزر ٹول استعمال کرنا ہوگا. آئیے چند مثالیں دیکھتے ہیں.
مثال 1: “time” کو ہٹائیں
اگر ہم Completions اینڈپوائنٹ کو پرومپٹ “Once upon a,” کے ساتھ کال کریں، تو تکمیل کے “ time.” سے شروع ہونے کا امکان بہت زیادہ ہے.
“time” لفظ ID 2435 میں ٹوکنائز ہوتا ہے اور “ time” لفظ (جس کے شروع میں ایک اسپیس ہے) ID 640 میں ٹوکنائز ہوتا ہے. ہم انہیں logit_bias کے ذریعے -100 کے ساتھ پاس کر سکتے ہیں تاکہ انہیں تکمیل میں ظاہر ہونے سے روک دیں، اس طرح:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)اب پرومپٹ ”Once upon a“ سے تکمیل ”midnight dreary, while I pondered, weak and weary.“ بنتی ہے.
غور کریں کہ لفظ ”time“ کہیں موجود نہیں، کیونکہ ہم نے logit_bias کے ذریعے اس ٹوکن پر مؤثر طور پر پابندی لگا دی ہے.
مثال 2: مخصوص لاجٹ بائس اقدار سے سمت متعین کرنا
آئیے ترکیب تیار کرنے والے پرومپٹ کے ساتھ ایک اور مثال دیکھتے ہیں.
بہت سی تراکیب میں دیگچی استعمال کرنے کا مشورہ دیا جاتا ہے، لیکن فرض کریں کہ ہمارے پاس دیگچی نہیں ہے. ہم چاہیں گے کہ ہماری تکمیل تیار کرتے وقت لفظ pot شامل نہ ہو. ’Pot‘ کو ٹوکن میں بدلنے پر 1787 حاصل ہوتا ہے، اس لیے ذیل کے مطابق logit_bias مقرر کر کے ہم اسے تیار کردہ متن سے خارج کر سکتے ہیں.
logit_bias={1787:-100}اب، ہماری تکمیل اس کے بجائے “saucepan” لفظ شامل کر سکتی ہے. بہترین!
مثال 3: کسی لفظ کے ظاہر ہونے کا امکان بڑھانا
فرض کریں کہ ہم کسی لفظ کے ظاہر ہونے کا امکان بڑھانا چاہتے ہیں.
مثلاً، ممکن ہے ہم ایک ایسی ویب سائٹ چلا رہے ہوں جو مائیکروویو میں بننے والی تراکیب پیش کرتی ہے، اس لیے ہم یقینی بنانا چاہتے ہیں کہ ترکیب میں لفظ ”microwave“ آئے. Microwave کو ٹوکن میں بدلنے پر اس کی شناخت 27000 بنتی ہے. مثبت logit_bias مقرر کر کے اس ٹوکن کے ظاہر ہونے کا امکان اس طرح بڑھایا جا سکتا ہے:
logit_bias={27000:5}اب ہماری تکمیل میں لفظ ’microwave‘ شامل ہونے کا امکان زیادہ ہے.
ہم نے logit_bias کو 5 پر رکھا، کیونکہ 1 رکھنے سے اکثر لفظ ”microwave“ تکمیل میں شامل نہیں ہوتا تھا، جبکہ 10 جیسی زیادہ logit_bias اقدار کے باعث لفظ ” microwave“ تکمیل میں بہت زیادہ بار آنے لگتا تھا.