Logit_bias és un paràmetre opcional que modifica la probabilitat que segments especificats apareguin en una sortida generada pel model.
Aquest paràmetre accepta un objecte JSON que associa segments a un valor de biaix d’entre -100 (que en la majoria dels casos impedirà que es generi aquest segment) i 100 (selecció exclusiva del segment, cosa que fa que sigui més probable que es generi). Valors moderats com -1 i 1 canviaran en menor mesura la probabilitat que se seleccioni un segment.
Com que el paràmetre rep segments, no text, et convé utilitzar una eina de segmentació per convertir text en IDs de segment. Vegem-ne alguns exemples.
Exemple 1: elimina «time»
Si cridem el punt final de Completions amb la indicació «Once upon a,», és molt probable que la compleció comenci amb « time».
La paraula «time» se segmenta amb l’ID 2435 i la paraula « time» (que té un espai al començament) se segmenta amb l’ID 640. Podem passar-les per logit_bias amb -100 per impedir que apareguin a la compleció, així:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Acabes les frases de l'usuari."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Ara, la indicació «Once upon a» genera la compleció «midnight dreary, while I pondered, weak and weary».
Observa que la paraula «time» no apareix enlloc, perquè hem prohibit efectivament aquest segment amb logit_bias.
Exemple 2: dona orientació amb valors de biaix logit específics
Vegem un altre exemple, fent servir una indicació per a un generador de receptes.
Moltes receptes suggereixen fer servir olles, però suposem que no tenim cap olla. Voldrem impedir que es generi la paraula «pot» com a part de la nostra compleció. «Pot» se segmenta amb l’ID 1787, de manera que el podem eliminar de la nostra generació definint logit_bias com s’indica a continuació.
logit_bias={1787:-100}Ara, la nostra compleció podria incloure la paraula «saucepan» en lloc d’això. Perfecte!
Exemple 3: augmenta les probabilitats que aparegui una paraula
Suposem que volem augmentar la probabilitat que aparegui una paraula.
Per exemple, potser gestionem un lloc que ofereix receptes que es poden fer amb un microones, així que volem assegurar-nos que la paraula «microwave» aparegui a la recepta. «Microwave» se segmenta amb l’ID 27000. Podem augmentar la probabilitat que aparegui aquest segment definint un logit_bias positiu, així:
logit_bias={27000:5}Ara, és més probable que la nostra compleció inclogui la paraula «microwave».
Definim logit_bias a 5, ja que vam observar que definir logit_bias a 1 sovint no feia que la paraula «microwave» aparegués a la compleció, mentre que valors de logit_bias més alts, com 10, feien que la paraula « microwave» hi aparegués massa sovint.