Logit_bias és un paràmetre opcional que modifica la probabilitat que segments especificats apareguin en una sortida generada pel model.
Aquest paràmetre accepta un objecte JSON que associa segments a un valor de biaix d’entre -100 (que en la majoria dels casos impedirà que es generi aquest segment) i 100 (selecció exclusiva del segment, cosa que fa que sigui més probable que es generi). Valors moderats com -1 i 1 canviaran en menor mesura la probabilitat que se seleccioni un segment.
Com que el paràmetre rep segments, no text, et convé utilitzar una eina de segmentació per convertir text en IDs de segment. Vegem-ne alguns exemples.
Exemple 1: elimina «time»
Si cridem el punt final de Completions amb la indicació «Once upon a,», és molt probable que la compleció comenci amb « time».
La paraula «time» se segmenta amb l’ID 2435 i la paraula « time» (que té un espai al començament) se segmenta amb l’ID 640. Podem passar-les per logit_bias amb -100 per impedir que apareguin a la compleció, així:
completion = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "system", "content": "Acabes les frases de l'usuari."},
"role": "user", "content": "Once upon a"} ]
logit_bias={2435:-100, 640:-100}
)Ara, la indicació "Once upon a" genera la compleció "midnight dreary, while I pondered, weak and weary."
Observeu que la paraula "time" no hi apareix enlloc, perquè n'hem prohibit efectivament el segment mitjançant logit_bias.
Exemple 2: Guiar la generació amb valors específics de biaix de lògit
Vegem un altre exemple amb una indicació per a un generador de receptes.
Moltes receptes recomanen fer servir olles, però suposem que no en tenim cap. Voldrem evitar que la paraula "pot" es generi com a part de la compleció. "Pot" es tokenitza amb l'ID 1787, de manera que podem excloure-la de la generació establint logit_bias com s'indica a continuació.
logit_bias={1787:-100}Ara, la nostra compleció podria incloure la paraula «saucepan» en lloc d’això. Perfecte!
Exemple 3: Augmentar la probabilitat que aparegui una paraula
Suposem que volem augmentar la probabilitat que aparegui una paraula.
Per exemple, potser gestionem un lloc web que ofereix receptes que es poden preparar al microones i volem assegurar-nos que la paraula "microwave" aparegui a la recepta. Microwave es tokenitza amb l'ID 27000. Podem augmentar la probabilitat que aparegui aquest segment assignant un valor positiu a logit_bias, així:
logit_bias={27000:5}Ara és més probable que la compleció inclogui la paraula "microwave".
Hem establert logit_bias en 5, ja que vam comprovar que establir logit_bias en 1 sovint no feia aparèixer la paraula "microwave" a la compleció, mentre que valors de logit_bias més alts, com ara 10, feien que la paraula " microwave" hi aparegués massa sovint.