Logit_bias என்பது குறிப்பிட்ட டோக்கன்கள் மாடல் உருவாக்கிய வெளியீட்டில் தோன்றுவதற்கான சாத்தியத்தை மாற்றும் விருப்ப அளவுருவாகும்.
இந்த அளவுரு, டோக்கன்களை அவற்றுடன் தொடர்புடைய பயாஸ் மதிப்புகளுக்கு மேப்பிங் செய்யும் JSON ஆப்ஜெக்ட் ஒன்றை ஏற்கிறது; அந்த மதிப்பு -100 (பெரும்பாலான சூழல்களில் அந்த டோக்கன் உருவாக்கப்படுவதைத் தடுக்கும்) முதல் 100 வரை (அந்த டோக்கனை பிரத்யேகமாகத் தேர்வு செய்வது, அது உருவாக்கப்படுவதற்கான வாய்ப்பை அதிகரிக்கும்) இருக்கும். -1 மற்றும் 1 போன்ற மிதமான மதிப்புகள், ஒரு டோக்கன் தேர்ந்தெடுக்கப்படும் நிகழ்தகவை குறைந்த அளவிலேயே மாற்றும்.
அளவுரு உரையை அல்ல, டோக்கன்களையே எடுத்துக்கொள்வதால், உரையை டோக்கன் ID-களாக மாற்ற டோக்கனைசர் கருவி ஒன்றைப் பயன்படுத்த வேண்டும். சில எடுத்துக்காட்டுகளைப் பார்ப்போம்.
எடுத்துக்காட்டு 1: “time” ஐ நீக்குதல்
“Once upon a,” என்ற ப்ராம்ப்டுடன் Completions எண்ட்பாயிண்டை அழைத்தால், நிறைவு “ time.” என்பதுடன் தொடங்க அதிக வாய்ப்பு உள்ளது.
“time” என்ற சொல் ID 2435 ஆக டோக்கனைஸ் செய்யப்படுகிறது; “ time” என்ற சொல் (தொடக்கத்தில் ஒரு இடைவெளி உள்ளது) ID 640 ஆக டோக்கனைஸ் செய்யப்படுகிறது. அவை நிறைவில் தோன்றுவதைத் தடுக்க, -100 மதிப்புடன் logit_bias வழியாக இவற்றை அனுப்பலாம், இவ்வாறு:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)இப்போது, “Once upon a” ப்ராம்ப்ட் “midnight dreary, while I pondered, weak and weary.” என்ற நிறைவை உருவாக்குகிறது.
“time” என்ற சொல் எங்கும் இல்லை என்பதை கவனிக்கவும், ஏனெனில் logit_bias ஐப் பயன்படுத்தி அந்த டோக்கனை நாம் நடைமுறையில் தடை செய்துள்ளோம்.
எடுத்துக்காட்டு 2: குறிவைத்த லாஜிட் பயாஸ் மதிப்புகளால் வழிகாட்டுதல்
சமையல் குறிப்பு உருவாக்கி ப்ராம்ப்டைப் பயன்படுத்தி, இன்னொரு எடுத்துக்காட்டைப் பார்ப்போம்.
பல சமையல் குறிப்புகள் பானைகளைப் பயன்படுத்துமாறு பரிந்துரைக்கின்றன; ஆனால் நம்மிடம் பானை இல்லை என்று வைத்துக்கொள்வோம். எங்கள் நிறைவின் ஒரு பகுதியாக pot என்ற சொல் உருவாக்கப்படுவதை நீக்க விரும்புவோம். “Pot” 1787 ஆக டோக்கனைஸ் செய்யப்படுகிறது; ஆகவே கீழே காட்டியபடி எங்கள் logit_bias ஐ அமைப்பதன் மூலம் அதை எங்கள் உருவாக்கத்திலிருந்து நீக்கலாம்.
logit_bias={1787:-100}இப்போது, அதற்கு பதிலாக எங்கள் நிறைவில் “saucepan” என்ற சொல் இடம்பெறலாம். அருமை.
எடுத்துக்காட்டு 3: ஒரு சொல் தோன்றும் வாய்ப்பை அதிகரித்தல்
ஒரு சொல் தோன்றும் சாத்தியத்தை அதிகரிக்க விரும்புகிறோம் என்று வைத்துக்கொள்வோம்.
உதாரணமாக, மைக்ரோவேவ் மூலம் செய்யக்கூடிய சமையல் குறிப்புகளை வழங்கும் தளத்தை நாம் இயக்குகிறோம் எனக் கொள்ளலாம்; ஆகவே அந்த சமையல் குறிப்பில் “microwave” என்ற சொல் தோன்றுவதை உறுதிசெய்ய விரும்புகிறோம். Microwave ID 27000 ஆக டோக்கனைஸ் செய்யப்படுகிறது. நேர்மறை logit_bias அமைப்பதன் மூலம் இந்த டோக்கன் தோன்றும் சாத்தியத்தை நாம் அதிகரிக்கலாம், இவ்வாறு:
logit_bias={27000:5}இப்போது, எங்கள் நிறைவில் “microwave” என்ற சொல் இடம்பெற அதிக வாய்ப்பு உள்ளது.
நாங்கள் logit_bias ஐ 5 ஆக அமைத்தோம்; ஏனெனில் logit_bias ஐ 1 ஆக அமைத்தால் நிறைவில் “microwave” என்ற சொல் அடிக்கடி தோன்றவில்லை என்றும், 10 போன்ற அதிக logit_bias மதிப்புகள் நிறைவில் “ microwave” என்ற சொல் மிக அதிகமாகத் தோன்றச் செய்தன என்றும் கண்டறிந்தோம்.