Logit_bias është një parametër opsional që modifikon gjasën që tokenë të caktuar të shfaqen në një dalje të gjeneruar nga modeli.
Ky parametër pranon një objekt JSON që lidh tokenët me një vlerë anshmërie përkatëse nga -100 (që në shumicën e rasteve do ta bllokojë gjenerimin e atij tokeni) deri në 100 (përzgjedhje ekskluzive e tokenit, që e bën më të mundshëm gjenerimin e tij). Vlerat e moderuara, si -1 dhe 1, do ta ndryshojnë probabilitetin që një token të zgjidhet në një shkallë më të vogël.
Meqenëse parametri pranon tokenë, jo tekst, do t’ju duhet të përdorni një mjet tokenizues për ta shndërruar tekstin në ID tokenësh. Le të shqyrtojmë disa shembuj.
Shembulli 1: Hiq “time”
Nëse e thërrasim pikën fundore Completions me kërkesën “Once upon a,” plotësimi ka shumë gjasa të fillojë me “ time.”
Fjala “time” tokenizohet në ID-në 2435 dhe fjala “ time” (që ka një hapësirë në fillim) tokenizohet në ID-në 640. Mund t’i kalojmë këto përmes logit_bias me -100 për t’i ndaluar të shfaqen në plotësim, kështu:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "You finish user's sentences."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Tani, kërkesa “Once upon a” gjeneron plotësimin “midnight dreary, while I pondered, weak and weary.”
Vini re se fjala “time” nuk gjendet askund, sepse e kemi ndaluar efektivisht atë token duke përdorur logit_bias.
Shembulli 2: Jep drejtim me vlera të synuara të logit bias
Le të shqyrtojmë një shembull tjetër, duke përdorur një kërkesë për gjenerator recetash.
Shumë receta sugjerojnë përdorimin e tenxhereve, por supozoni se nuk kemi një tenxhere. Do të duam ta heqim fjalën “pot” nga gjenerimi si pjesë e plotësimit tonë. “Pot” tokenizohet në 1787, kështu që mund ta heqim nga gjenerimi ynë duke e vendosur logit_bias si më poshtë.
logit_bias={1787:-100}Tani, plotësimi ynë mund të përfshijë në vend të saj fjalën “saucepan”. Përsosur!
Shembulli 3: Rrit gjasat që një fjalë të shfaqet
Supozoni se duam të rrisim gjasën që një fjalë të shfaqet.
Për shembull, mbase po drejtojmë një faqe që ofron receta që mund t’i përgatitni me mikrovalë, ndaj duam të jemi të sigurt që fjala “microwave” të shfaqet në recetë. Microwave tokenizohet në ID-në 27000. Mund ta rrisim gjasën që ky token të shfaqet duke vendosur një logit_bias pozitiv, kështu:
logit_bias={27000:5}Tani, plotësimi ynë ka më shumë gjasa të përfshijë fjalën “microwave”.
E vendosëm logit_bias në 5, pasi zbuluam se vendosja e logit_bias në 1 shpesh nuk bënte që fjala “microwave” të shfaqej në plotësim, ndërsa vlera më të larta të logit_bias, si 10, bënin që fjala “ microwave” të shfaqej tepër shpesh në plotësim.