Logit_bias हे एक ऐच्छिक पॅरामीटर आहे जे मॉडेलने तयार केलेल्या आउटपुटमध्ये निर्दिष्ट टोकन दिसण्याची शक्यता बदलते.
हे पॅरामीटर एक JSON ऑब्जेक्ट स्वीकारते, जे टोकनना -100 (जे बहुतेक प्रकरणांमध्ये ते टोकन तयार होण्यापासून ब्लॉक करेल) पासून 100 पर्यंत (टोकनची विशेष निवड, ज्यामुळे ते तयार होण्याची शक्यता वाढते) संबंधित बायस मूल्याशी मॅप करते. -1 आणि 1 सारखी मध्यम मूल्ये टोकन निवडले जाण्याची शक्यता कमी प्रमाणात बदलतील.
हे पॅरामीटर मजकूर नव्हे तर टोकन घेते, त्यामुळे मजकूराचे टोकन ID मध्ये रूपांतर करण्यासाठी तुम्ही टोकनायझर साधन वापरावे. चला काही उदाहरणे पाहूया.
उदाहरण 1: ‘time’ काढून टाका
जर आपण Completions एंडपॉइंटला “Once upon a,” या प्रॉम्प्टसह कॉल केले, तर पूर्णतेची सुरुवात “ time.” ने होण्याची शक्यता खूप जास्त आहे.
“time” हा शब्द ID 2435 मध्ये टोकनायझ होतो आणि “ time” हा शब्द (ज्याच्या सुरुवातीला स्पेस आहे) ID 640 मध्ये टोकनायझ होतो. हे पूर्णतेमध्ये दिसू नयेत म्हणून त्यांच्यावर बंदी घालण्यासाठी आपण त्यांना logit_bias मधून -100 सह पास करू शकतो, असे:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)आता, “Once upon a” हा प्रॉम्प्ट “midnight dreary, while I pondered, weak and weary.” ही पूर्णता तयार करतो.
लक्षात घ्या की “time” हा शब्द कुठेही आढळत नाही, कारण आपण logit_bias वापरून त्या टोकनवर प्रभावीपणे बंदी घातली आहे.
उदाहरण 2: लक्ष्यित logit bias मूल्यांसह मार्गदर्शन द्या
चला, पाककृती जनरेटर प्रॉम्प्ट वापरून आणखी एक उदाहरण पाहूया.
अनेक पाककृतींमध्ये भांडी वापरण्याची सूचना असते, पण समजा आपल्याकडे भांडे नाही. आपल्या पूर्णतेचा भाग म्हणून “pot” हा शब्द तयार होऊ नये म्हणून तो काढून टाकायचा आहे. ‘Pot’ 1787 मध्ये टोकनायझ होते, त्यामुळे खालीलप्रमाणे आपला logit_bias सेट करून आपण ते आपल्या जनरेशनमधून काढू शकतो.
logit_bias={1787:-100}आता, आमच्या पूर्णतेमध्ये त्याऐवजी “saucepan” हा शब्द येऊ शकतो. छान!
उदाहरण 3: एखादा शब्द दिसण्याची शक्यता वाढवा
समजा आपण एखादा शब्द दिसण्याची शक्यता वाढवू इच्छितो.
उदाहरणार्थ, कदाचित आपण मायक्रोवेव्ह वापरून बनवता येतील अशा पाककृती देणारी साइट चालवत आहोत, त्यामुळे पाककृतीमध्ये “microwave” हा शब्द दिसेल याची खात्री करायची आहे. “Microwave” ID 27000 मध्ये टोकनायझ होते. सकारात्मक logit_bias सेट करून हे टोकन दिसण्याची शक्यता आपण वाढवू शकतो, असे:
logit_bias={27000:5}आता, आमच्या पूर्णतेमध्ये ‘microwave’ हा शब्द येण्याची शक्यता अधिक आहे.
आम्ही logit_bias 5 वर सेट केले, कारण आम्हाला आढळले की logit_bias 1 वर सेट केल्यास अनेकदा पूर्णतेमध्ये “microwave” हा शब्द दिसत नव्हता, तर 10 सारख्या जास्त logit_bias मूल्यांमुळे पूर्णतेमध्ये “ microwave” हा शब्द खूप वेळा दिसत होता.