Logit_bias — модель жасаған нәтижеде көрсетілген токендердің пайда болу ықтималдығын өзгертетін қосымша параметр.
Бұл параметр токендерді -100-ден (көп жағдайда сол токеннің жасалуын бұғаттайды) 100-ге дейінгі (токеннің жасалу ықтималдығын арттыратын эксклюзивті таңдау) тиісті ығысу мәндерімен сәйкестендіретін JSON нысанын қабылдайды. -1 және 1 сияқты орташа мәндер токеннің таңдалу ықтималдығын азырақ деңгейде өзгертеді.
Параметр мәтінді емес, токендерді қабылдайтындықтан, мәтінді токен ID-леріне түрлендіру үшін токенизатор құралын пайдаланғыңыз келеді. Бірнеше мысалды қарастырайық.
1-мысал: «time» сөзін алып тастау
Егер Completions соңғы нүктесін «Once upon a,» көмексөзімен шақырсақ, толықтырудың « time.» деп басталу ықтималдығы өте жоғары.
«time» сөзі ID 2435 болып токендерге бөлінеді, ал « time» сөзі (басында бос орын бар) ID 640 болып токендерге бөлінеді. Олардың толықтыруда пайда болуына тыйым салу үшін бұларды logit_bias арқылы -100 мәнімен өткізе аламыз, мысалы былай:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Енді «Once upon a» көмексөзі «midnight dreary, while I pondered, weak and weary.» толықтыруын жасайды.
«time» сөзі еш жерде жоқ екеніне назар аударыңыз, себебі біз logit_bias арқылы сол токенге тиімді түрде тыйым салдық.
2-мысал: Мақсатты logit bias мәндерімен бағыт беру
Рецепт генераторының көмексөзін пайдаланып, тағы бір мысалды қарастырайық.
Көп рецепттер қазандарды пайдалануды ұсынады, бірақ бізде қазан жоқ делік. Толықтыруымыздың бір бөлігі ретінде pot сөзінің жасалуын алып тастағымыз келеді. «Pot» ID 1787 болып токендерге бөлінеді, сондықтан төмендегідей logit_bias мәнін қою арқылы оны генерациямыздан алып тастай аламыз.
logit_bias={1787:-100}Енді толықтыруымыз оның орнына «saucepan» сөзін қамтуы мүмкін. Керемет!
3-мысал: Сөздің пайда болу ықтималдығын арттыру
Бір сөздің пайда болу ықтималдығын арттырғымыз келеді делік.
Мысалы, біз микротолқынды пешпен жасауға болатын рецепттер ұсынатын сайт жүргізіп отырмыз делік, сондықтан рецептте «microwave» сөзінің бар екеніне көз жеткізгіміз келеді. Microwave ID 27000 болып токендерге бөлінеді. Бұл токеннің пайда болу ықтималдығын оң logit_bias мәнін қою арқылы арттыра аламыз, мысалы былай:
logit_bias={27000:5}Енді толықтыруымызда «microwave» сөзінің болуы ықтималырақ.
Біз logit_bias мәнін 5 етіп қойдық, өйткені logit_bias мәнін 1 етіп қою көбіне толықтыруда «microwave» сөзінің пайда болуына әкелмейтінін, ал 10 сияқты жоғарырақ logit_bias мәндері толықтыруда « microwave» сөзінің тым жиі пайда болуына әкелетінін байқадық.