Logit_bias हे एक ऐच्छिक पॅरामीटर आहे जे मॉडेलने तयार केलेल्या आउटपुटमध्ये निर्दिष्ट टोकन दिसण्याची शक्यता बदलते.
हे पॅरामीटर एक JSON ऑब्जेक्ट स्वीकारते, जे टोकनना -100 (जे बहुतेक प्रकरणांमध्ये ते टोकन तयार होण्यापासून ब्लॉक करेल) पासून 100 पर्यंत (टोकनची विशेष निवड, ज्यामुळे ते तयार होण्याची शक्यता वाढते) संबंधित बायस मूल्याशी मॅप करते. -1 आणि 1 सारखी मध्यम मूल्ये टोकन निवडले जाण्याची शक्यता कमी प्रमाणात बदलतील.
हे पॅरामीटर मजकूर नव्हे तर टोकन घेते, त्यामुळे मजकूराचे टोकन ID मध्ये रूपांतर करण्यासाठी तुम्ही टोकनायझर साधन वापरावे. चला काही उदाहरणे पाहूया.
उदाहरण 1: ‘time’ काढून टाका
जर आपण Completions एंडपॉइंटला “Once upon a,” या प्रॉम्प्टसह कॉल केले, तर पूर्णतेची सुरुवात “ time.” ने होण्याची शक्यता खूप जास्त आहे.
“time” हा शब्द ID 2435 मध्ये टोकनायझ होतो आणि “ time” हा शब्द (ज्याच्या सुरुवातीला स्पेस आहे) ID 640 मध्ये टोकनायझ होतो. हे पूर्णतेमध्ये दिसू नयेत म्हणून त्यांच्यावर बंदी घालण्यासाठी आपण त्यांना logit_bias मधून -100 सह पास करू शकतो, असे:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)आता, “Once upon a” हा प्रॉम्प्ट दिल्यास “midnight dreary, while I pondered, weak and weary.” असा पूर्ण केलेला मजकूर तयार होतो.
यात “time” हा शब्द कुठेही आढळत नाही, कारण logit_bias वापरून आपण त्या टोकनवर प्रभावीपणे बंदी घातली आहे.
उदाहरण 2: विशिष्ट लॉजिट बायस मूल्ये वापरून दिशा द्या
आता पाककृती तयार करणारा प्रॉम्प्ट वापरून आणखी एक उदाहरण पाहूया.
अनेक पाककृतींमध्ये पातेले वापरण्याची सूचना असते, पण समजा आपल्याकडे पातेले नाही. पूर्ण केलेल्या मजकुरात pot हा शब्द तयार होऊ नये, यासाठी तो वगळावा लागेल. 'Pot' चे टोकनीकरण केल्यावर 1787 मिळतो. त्यामुळे खाली दाखवल्याप्रमाणे logit_bias मूल्य ठेवून तो तयार होणाऱ्या मजकुरातून वगळता येतो.
logit_bias={1787:-100}आता, आमच्या पूर्णतेमध्ये त्याऐवजी “saucepan” हा शब्द येऊ शकतो. छान!
उदाहरण 3: एखादा शब्द येण्याची शक्यता वाढवा
समजा, आपल्याला एखादा शब्द येण्याची शक्यता वाढवायची आहे.
उदाहरणार्थ, समजा आपण मायक्रोवेव्हमध्ये बनवता येणाऱ्या पाककृती देणारे संकेतस्थळ चालवत आहोत. त्यामुळे पाककृतीत “microwave” हा शब्द नक्की यावा असे आपल्याला वाटते. Microwave चे टोकनीकरण केल्यावर ID 27000 मिळतो. सकारात्मक logit_bias मूल्य ठेवून हे टोकन येण्याची शक्यता पुढीलप्रमाणे वाढवता येते:
logit_bias={27000:5}आता, पूर्ण केलेल्या मजकुरात 'microwave' हा शब्द येण्याची शक्यता अधिक आहे.
आम्ही logit_bias चे मूल्य 5 ठेवले, कारण logit_bias चे मूल्य 1 ठेवल्यास पूर्ण केलेल्या मजकुरात “microwave” हा शब्द अनेकदा येत नव्हता, तर 10 सारखे अधिक logit_bias मूल्य ठेवल्यास “ microwave” हा शब्द खूप वेळा येत होता.