Logit_bias एक वैकल्पिक पैरामीटर है, जो किसी मॉडल द्वारा जनरेट किए गए आउटपुट में निर्दिष्ट टोकन के आने की संभावना को बदलता है.
यह पैरामीटर एक JSON ऑब्जेक्ट स्वीकार करता है, जो टोकन को -100 (जो अधिकतर मामलों में उस टोकन को जनरेट होने से रोक देगा) से 100 (टोकन का विशिष्ट चयन, जिससे उसके जनरेट होने की संभावना अधिक हो जाती है) तक के संबंधित बायस मान से मैप करता है. मध्यम मान, जैसे -1 और 1, किसी टोकन के चुने जाने की संभावना को कम स्तर पर बदलेंगे.
क्योंकि पैरामीटर टेक्स्ट नहीं, टोकन लेता है, इसलिए टेक्स्ट को टोकन आईडी में बदलने के लिए आपको टोकनाइज़र टूल का उपयोग करना होगा. आइए कुछ उदाहरणों से समझते हैं.
उदाहरण 1: “time” हटाएँ
अगर हम Completions एंडपॉइंट को “Once upon a,” प्रॉम्प्ट के साथ कॉल करें, तो कम्प्लीशन के “ time.” से शुरू होने की बहुत संभावना है.
शब्द “time” टोकनाइज़ होकर आईडी 2435 बनता है और शब्द “ time” (जिसके शुरू में एक स्पेस है) टोकनाइज़ होकर आईडी 640 बनता है. इन्हें -100 के साथ logit_bias में पास करके हम इन्हें कम्प्लीशन में आने से रोक सकते हैं, जैसे:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)अब प्रॉम्प्ट “एक बार की बात” के जवाब में “एक उदास आधी रात, जब मैं दुर्बल और थका हुआ सोच रहा था.” पाठ तैयार करता है.
ध्यान दें कि “समय” शब्द कहीं नहीं है, क्योंकि हमने logit_bias का उपयोग करके उस टोकन को प्रभावी रूप से प्रतिबंधित कर दिया है.
उदाहरण 2: लक्षित लॉजिट बायस मानों से दिशा दें
आइए, व्यंजन-विधि तैयार करने वाले प्रॉम्प्ट के साथ एक और उदाहरण देखें.
कई व्यंजन-विधियों में पतीले के इस्तेमाल की सलाह दी जाती है, लेकिन मान लें कि हमारे पास पतीला नहीं है. हम नहीं चाहेंगे कि हमारे तैयार पाठ में पतीला शब्द आए. “पतीला” की टोकन पहचान संख्या 1787 है, इसलिए नीचे दिखाए अनुसार logit_bias निर्धारित करके हम इसे तैयार पाठ से हटा सकते हैं.
logit_bias={1787:-100}अब, इसके बजाय हमारे कम्प्लीशन में शब्द “saucepan” शामिल हो सकता है. बिल्कुल सही.
उदाहरण 3: किसी शब्द के आने की संभावना बढ़ाएँ
मान लें कि हम किसी शब्द के आने की संभावना बढ़ाना चाहते हैं.
उदाहरण के लिए, शायद हम ऐसी व्यंजन-विधियाँ बताने वाली वेबसाइट चला रहे हैं जिन्हें माइक्रोवेव में बनाया जा सकता है, इसलिए हम सुनिश्चित करना चाहते हैं कि व्यंजन-विधि में “माइक्रोवेव” शब्द आए. “माइक्रोवेव” की टोकन पहचान संख्या 27000 है. सकारात्मक logit_bias रखकर हम इस टोकन के आने की संभावना इस प्रकार बढ़ा सकते हैं:
logit_bias={27000:5}अब हमारे तैयार पाठ में “माइक्रोवेव” शब्द आने की संभावना अधिक है.
हमने logit_bias को 5 पर रखा, क्योंकि हमने पाया कि इसे 1 पर रखने से तैयार पाठ में “माइक्रोवेव” शब्द अक्सर नहीं आता था, जबकि logit_bias को 10 जैसे अधिक मान पर रखने से तैयार पाठ में “ माइक्रोवेव” शब्द बहुत बार आने लगता था.