Visió general
Els segments són les unitats que els models d'OpenAI utilitzen per processar text. Un segment pot representar un caràcter, una part d'una paraula, una paraula sencera o un signe de puntuació. Els espais també afecten la manera com el text es divideix en segments.
El recompte de segments no és el mateix que el recompte de paraules. El mateix text pot produir recomptes de segments diferents segons el model, la seva codificació i la llengua.
Entendre com el text es converteix en segments
Quan envieu text a un model:
El text es divideix en segments.
El model processa aquests segments.
El model genera segments de sortida. Aquests poden incloure el text que rebeu i, en els models de raonament, segments de raonament interns que no es mostren com a text de la resposta.
Utilitzeu estimacions aproximades per al text en anglès
Aquestes estimacions us poden ajudar a calcular la mida del text en anglès:
1 segment equival aproximadament a 4 caràcters.
1 segment equival aproximadament a tres quartes parts d'una paraula.
100 segments equivalen aproximadament a 75 paraules.
Són estimacions, no recomptes exactes. La longitud de les frases i els paràgrafs varia, i altres llengües poden tenir relacions diferents entre caràcters, paraules i segments.
Tingueu en compte els espais i les majúscules
Una paraula es pot dividir en segments diferents segons com s'escrigui, l'ús de majúscules i el text que l'envolta.
Per exemple, vermell, Vermell i vermell no contenen un text idèntic: l'últim exemple inclou un espai inicial. Una codificació els pot representar de manera diferent.
Els identificadors dels segments també depenen de la codificació. No pressuposeu que l'identificador de segment d'un exemple és vàlid per a tots els models.
Distingiu els segments d'entrada dels de sortida
| Categoria | Què descriu |
| Segments d'entrada | Segments proporcionats al model en una sol·licitud. També s'anomenen segments d'indicació. |
| Segments de sortida | Segments generats pel model. Chat Completions els anomena segments de compleció. |
| Segments d'entrada en memòria cau | Segments d'entrada reutilitzats mitjançant l'emmagatzematge en memòria cau d'indicacions. El seu preu pot ser diferent del dels segments d'entrada que no són en memòria cau. |
| Segments de raonament | Segments que un model de raonament utilitza internament abans de produir la resposta visible. |
Els segments de raonament no són visibles com a text de la resposta, però compten com a ús de sortida i es facturen com a segments de sortida.
Per tant, una resposta visible breu pot utilitzar més segments dels que suggereix el text mostrat.
Compteu els segments abans d'enviar una sol·licitud
Compteu segments de text sense format
Utilitzeu el Segmentador per veure com es divideix el text en segments.
Per segmentar programàticament text sense format, utilitzeu tiktoken. Seleccioneu la codificació del model de destinació, per exemple amb tiktoken.encoding_for_model(model).
El recompte de segments de text sense format no inclou necessàriament tots els segments d'una sol·licitud a l'API. L'estructura dels missatges, les eines, els esquemes, les imatges i els fitxers poden afectar el recompte total de l'entrada.
Compteu una entrada completa de Responses
Per comptar una entrada completa de l'API Responses, utilitzeu l'API de recompte de segments d'entrada.
Admet els formats d'entrada de Responses, com ara missatges, imatges, fitxers, eines i converses. El recompte inclou els segments de format utilitzats per estructurar la sol·licitud, com ara els rols i els límits dels missatges.
El recompte d'entrada no prediu quants segments de sortida generarà el model.
Comproveu l'ús real de segments
Després d'una sol·licitud, consulteu-ne la informació d'ús. Els noms dels camps varien segons el punt final:
Chat Completions informa de prompt_tokens, completion_tokens i total_tokens.
Responses informa de input_tokens, output_tokens i total_tokens.
També podeu consultar l'activitat al llarg del temps al tauler d'ús. Per obtenir instruccions, inclòs l'ús en reproducció en continu, consulteu: Revisió de l'ús i els costos de l'API.
Manteniu-vos dins dels límits del model
Consulteu la documentació del model per saber-ne la finestra de context i la sortida màxima. Aquests límits poden variar entre models.
La finestra de context limita els segments que un model pot processar en una sol·licitud. Els models també tenen un límit de sortida. Per als models de raonament, reserveu espai tant per als segments de raonament com per a la resposta visible.
Si l'entrada és massa gran, podeu:
Escurçar o reformular la indicació.
Eliminar el context innecessari o repetit.
Dividir les entrades grans en parts més petites.
Resumir o preprocessar el text abans d'enviar-lo.
Utilitzeu el paràmetre de segments de sortida compatible amb el punt final i el model. Chat Completions utilitza max_completion_tokens; Responses utilitza max_output_tokens.
Aquests límits de mida de les sol·licituds són independents dels límits de velocitat de l'API i dels límits mensuals d'ús o despesa. Consulteu la documentació dels models per al model que utilitzeu.
Entendre els preus dels segments
En els preus de l'API basats en segments, la tarifa depèn del model i de la categoria del segment. Els segments d'entrada, d'entrada en memòria cau i de sortida poden tenir preus diferents. Altres funcions de l'API poden utilitzar unitats de facturació diferents.
Consulteu la pàgina de preus de l'API per veure les tarifes actuals.
Quan compareu models, tingueu en compte el total de segments i el cost necessaris per completar la tasca. Un preu més baix per milió de segments no implica necessàriament un cost total inferior: els models poden segmentar el mateix text de manera diferent i generar quantitats diferents de sortida o raonament.
Proveu tasques representatives en lloc de comparar només la longitud de la resposta visible.
Tingueu en compte les complecions múltiples
Quan un punt final i un model permeten generar diverses complecions, aquestes complecions addicionals també utilitzen segments.
A Chat Completions, establir n en un valor superior a 1 genera diverses opcions. Es cobren els segments generats en totes aquestes opcions.
A l'API Completions antiga, best_of pot generar candidats que no es retornen tots. Per exemple, best_of = 3 pot generar fins a 3 × max_tokens segments de compleció entre tots els candidats.
Aquests paràmetres són específics de cada punt final. No pressuposeu que una altra API o un altre model admeti n o best_of.