Logit_bias என்பது குறிப்பிட்ட டோக்கன்கள் மாடல் உருவாக்கிய வெளியீட்டில் தோன்றுவதற்கான சாத்தியத்தை மாற்றும் விருப்ப அளவுருவாகும்.
இந்த அளவுரு, டோக்கன்களை அவற்றுடன் தொடர்புடைய பயாஸ் மதிப்புகளுக்கு மேப்பிங் செய்யும் JSON ஆப்ஜெக்ட் ஒன்றை ஏற்கிறது; அந்த மதிப்பு -100 (பெரும்பாலான சூழல்களில் அந்த டோக்கன் உருவாக்கப்படுவதைத் தடுக்கும்) முதல் 100 வரை (அந்த டோக்கனை பிரத்யேகமாகத் தேர்வு செய்வது, அது உருவாக்கப்படுவதற்கான வாய்ப்பை அதிகரிக்கும்) இருக்கும். -1 மற்றும் 1 போன்ற மிதமான மதிப்புகள், ஒரு டோக்கன் தேர்ந்தெடுக்கப்படும் நிகழ்தகவை குறைந்த அளவிலேயே மாற்றும்.
அளவுரு உரையை அல்ல, டோக்கன்களையே எடுத்துக்கொள்வதால், உரையை டோக்கன் ID-களாக மாற்ற டோக்கனைசர் கருவி ஒன்றைப் பயன்படுத்த வேண்டும். சில எடுத்துக்காட்டுகளைப் பார்ப்போம்.
எடுத்துக்காட்டு 1: “time” ஐ நீக்குதல்
“Once upon a,” என்ற ப்ராம்ப்டுடன் Completions எண்ட்பாயிண்டை அழைத்தால், நிறைவு “ time.” என்பதுடன் தொடங்க அதிக வாய்ப்பு உள்ளது.
“time” என்ற சொல் ID 2435 ஆக டோக்கனைஸ் செய்யப்படுகிறது; “ time” என்ற சொல் (தொடக்கத்தில் ஒரு இடைவெளி உள்ளது) ID 640 ஆக டோக்கனைஸ் செய்யப்படுகிறது. அவை நிறைவில் தோன்றுவதைத் தடுக்க, -100 மதிப்புடன் logit_bias வழியாக இவற்றை அனுப்பலாம், இவ்வாறு:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)இப்போது, “முன்னொரு காலத்தில் ஒரு” என்ற ப்ராம்ப்ட், “சோகமான நள்ளிரவில், பலவீனமாகவும் களைப்பாகவும் நான் சிந்தித்துக்கொண்டிருந்தபோது.” என்ற நிறைவை உருவாக்குகிறது.
“காலம்” என்ற சொல் எங்குமே இல்லை என்பதைக் கவனியுங்கள். ஏனெனில் logit_bias மூலம் அந்த டோக்கனை நாம் நடைமுறையில் தடைசெய்துவிட்டோம்.
எடுத்துக்காட்டு 2: இலக்கிட்ட லாஜிட் சார்பு மதிப்புகளைக் கொண்டு வழிகாட்டுதல்.
சமையல் செய்முறையை உருவாக்கும் ப்ராம்ப்டைப் பயன்படுத்தி மற்றொரு எடுத்துக்காட்டைப் பார்ப்போம்.
பல சமையல் செய்முறைகள் பானைகளைப் பயன்படுத்தப் பரிந்துரைக்கின்றன. ஆனால் நம்மிடம் பானை இல்லை என வைத்துக்கொள்வோம். நமது நிறைவின் ஒரு பகுதியாக “பானை” என்ற சொல் உருவாக்கப்படுவதைத் தவிர்க்க வேண்டும். “Pot” என்பது 1787 என்ற அடையாள எண்ணாக டோக்கனாக்கப்படுகிறது. எனவே, கீழே காட்டியபடி logit_bias மதிப்பை அமைத்து, உருவாக்கப்படும் உரையிலிருந்து அதை நீக்கலாம்.
logit_bias={1787:-100}இப்போது, அதற்கு பதிலாக எங்கள் நிறைவில் “saucepan” என்ற சொல் இடம்பெறலாம். அருமை.
எடுத்துக்காட்டு 3: ஒரு சொல் இடம்பெறுவதற்கான வாய்ப்பை அதிகரித்தல்.
ஒரு சொல் இடம்பெறுவதற்கான வாய்ப்பை அதிகரிக்க விரும்புகிறோம் என வைத்துக்கொள்வோம்.
எடுத்துக்காட்டாக, நுண்ணலை அடுப்பில் செய்யக்கூடிய சமையல் செய்முறைகளை வழங்கும் இணையதளத்தை நாம் நடத்தலாம். எனவே, சமையல் செய்முறையில் “நுண்ணலை அடுப்பு” என்ற சொல் இடம்பெறுவதை உறுதிசெய்ய விரும்புகிறோம். Microwave என்பது 27000 என்ற அடையாள எண்ணாக டோக்கனாக்கப்படுகிறது. நேர்மறையான logit_bias மதிப்பை அமைப்பதன் மூலம் இந்த டோக்கன் இடம்பெறுவதற்கான வாய்ப்பை இவ்வாறு அதிகரிக்கலாம்.
logit_bias={27000:5}இப்போது, நமது நிறைவில் “நுண்ணலை அடுப்பு” என்ற சொல் இடம்பெற அதிக வாய்ப்புள்ளது.
logit_bias-ஐ 5 ஆக அமைத்தோம். ஏனெனில் logit_bias-ஐ 1 ஆக அமைத்தபோது, நிறைவில் “microwave” என்ற சொல் பெரும்பாலும் இடம்பெறவில்லை. அதே நேரத்தில், 10 போன்ற அதிகமான logit_bias மதிப்புகள் நிறைவில் “ microwave” என்ற சொல் மிக அடிக்கடி இடம்பெறச் செய்தன.