Logit_bias — модель жасаған нәтижеде көрсетілген токендердің пайда болу ықтималдығын өзгертетін қосымша параметр.
Бұл параметр токендерді -100-ден (көп жағдайда сол токеннің жасалуын бұғаттайды) 100-ге дейінгі (токеннің жасалу ықтималдығын арттыратын эксклюзивті таңдау) тиісті ығысу мәндерімен сәйкестендіретін JSON нысанын қабылдайды. -1 және 1 сияқты орташа мәндер токеннің таңдалу ықтималдығын азырақ деңгейде өзгертеді.
Параметр мәтінді емес, токендерді қабылдайтындықтан, мәтінді токен ID-леріне түрлендіру үшін токенизатор құралын пайдаланғыңыз келеді. Бірнеше мысалды қарастырайық.
1-мысал: «time» сөзін алып тастау
Егер Completions соңғы нүктесін «Once upon a,» көмексөзімен шақырсақ, толықтырудың « time.» деп басталу ықтималдығы өте жоғары.
«time» сөзі ID 2435 болып токендерге бөлінеді, ал « time» сөзі (басында бос орын бар) ID 640 болып токендерге бөлінеді. Олардың толықтыруда пайда болуына тыйым салу үшін бұларды logit_bias арқылы -100 мәнімен өткізе аламыз, мысалы былай:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Енді «Once upon a» көмексөзі «midnight dreary, while I pondered, weak and weary.» жалғасын жасайды.
Мұнда «time» сөзі мүлде жоқ, өйткені біз бұл токенге logit_bias арқылы тыйым салдық.
2-мысал: Нысаналы logit bias мәндері арқылы бағыт беру
Рецепт генераторына арналған көмексөзді пайдаланып, тағы бір мысалды қарастырайық.
Көп рецептте кәстрөл қолдану ұсынылады, бірақ бізде кәстрөл жоқ делік. Сондықтан жасалатын жалғаста «pot» сөзі шықпайтындай етуіміз керек. «Pot» сөзі токенделгенде 1787 ID-ін алады, сондықтан төмендегідей logit_bias орнатып, оны генерациядан алып тастай аламыз.
logit_bias={1787:-100}Енді толықтыруымыз оның орнына «saucepan» сөзін қамтуы мүмкін. Керемет!
3-мысал: Сөздің пайда болу ықтималдығын арттыру
Белгілі бір сөздің пайда болу ықтималдығын арттырғымыз келеді делік.
Мысалы, микротолқынды пеште дайындауға болатын тағам рецептерін ұсынатын сайт жүргізіп отырмыз делік. Сондықтан рецептте «microwave» сөзі міндетті түрде болғанын қалаймыз. «Microwave» сөзі токенделгенде 27000 ID-ін алады. Оң logit_bias мәнін орнату арқылы осы токеннің пайда болу ықтималдығын былай арттыра аламыз:
logit_bias={27000:5}Енді жалғаста «microwave» сөзінің шығу ықтималдығы жоғары.
Біз logit_bias мәнін 5 деп орнаттық, өйткені logit_bias мәнін 1 деп орнатқанда жалғаста «microwave» сөзі көбіне шықпайтын, ал logit_bias мәнін 10 сияқты жоғары етіп орнатқанда « microwave» сөзі тым жиі шығатын.