Què són els segments?
Els segments són els components bàsics del text que processen els models d'OpenAI. Poden ser tan curts com un sol caràcter o tan llargs com una paraula sencera, segons la llengua i el context. Els espais, la puntuació i els fragments de paraules contribueixen al recompte de segments. Així és com l'API segmenta internament el text abans de generar una resposta.
Regles generals útils per a l'anglès:
1 segment ≈ 4 caràcters
1 segment ≈ ¾ de paraula
100 segments ≈ 75 paraules
1-2 frases ≈ 30 segments
1 paràgraf ≈ 100 segments
~1.500 paraules ≈ 2.048 segments
La segmentació varia segons el model i la codificació. Feu servir l'eina de segmentació o tiktoken.encoding_for_model(model) per obtenir el recompte exacte del model de destinació.
Exemples
A continuació trobareu exemples de textos reals amb el nombre aproximat de segments:
La citació de Wayne Gretzky "Fallareu el 100% dels tirs que no feu" = 11 segments
La Carta d'OpenAI = 476 segments
La Declaració d'Independència dels Estats Units = 1.695 segments
Com es calculen els recomptes de segments
Quan envieu text a l'API:
El text es divideix en segments.
El model processa aquests segments.
La resposta es genera com una seqüència de segments que després es torna a convertir en text.
L'ús de segments es registra en diverses categories:
Segments d'entrada – segments de la vostra sol·licitud.
Segments de sortida – segments generats a la resposta.
Segments desats a la memòria cau – segments reutilitzats de l'historial de la conversa (sovint es facturen a una tarifa reduïda).
Segments de raonament – en alguns models avançats, s'inclouen internament "passos de reflexió" addicionals abans de produir el resultat final.
Aquests recomptes apareixen a les metadades de la resposta de l'API i s'utilitzen per a la facturació i el seguiment de l'ús.
Per explorar més a fons la segmentació, podeu utilitzar la nostra eina interactiva de segmentació, que permet calcular el nombre de segments i veure com es divideix el text.
També podeu segmentar text mitjançant programació amb Tiktoken, un segmentador BPE ràpid creat específicament per als models d'OpenAI.
Límits de segments
Cada model té un límit màxim combinat de segments (entrada + sortida). Els models actuals d'alta capacitat admeten fins a centenars de milers de segments en el context, tot i que els límits pràctics poden variar segons la versió del model i el vostre nivell d'ús.
Si supereu el límit, podeu:
Escurçar o reformular les indicacions.
Dividir els textos llargs en fragments més petits.
Resumir o preprocessar les entrades abans d'enviar-les.
Preus dels segments
L'ús de l'API es tarifa per segment, amb preus que varien segons el model i si els segments són d'entrada, de sortida o desats a la memòria cau. Consulteu els preus actuals a la pàgina de preus d'OpenAI. Alguns models de raonament poden fer servir més segments internament, però miren de millorar l'eficiència reduint el nombre de segments necessaris per completar cada tasca.
Els segments no estan estandarditzats entre models o proveïdors d'IA. Els diferents models poden processar o generar el mateix text amb un nombre diferent de segments. Per tant, un preu anunciat més baix per milió de segments no implica necessàriament un cost total inferior.
La longitud visible de la resposta tampoc no explica tota la història. Alguns models utilitzen internament segments de raonament abans de produir una resposta. Per tant, una resposta visible més llarga no implica necessàriament que el model hagi utilitzat més segments en total.
Quan compareu models, tingueu en compte el nombre total de segments necessaris i el cost per resultat satisfactori. Les proves de referència són un punt de partida útil, però provar els models amb els vostres casos d'ús és la millor manera de conèixer-ne el cost i el rendiment reals.
Exploració dels segments
L'API tracta les paraules segons el context que tenen en les dades del corpus. Els models prenen la indicació, converteixen l'entrada en una llista de segments, processen la indicació i tornen a convertir els segments predits en les paraules que veiem a la resposta.
Dues paraules que ens semblen idèntiques poden generar segments diferents segons com estiguin estructurades dins del text. Observeu com l'API genera valors de segment per a la paraula "red" segons el context dins del text:
En el primer exemple anterior, el segment "2266" corresponent a " red" inclou un espai final (tingueu en compte que aquests identificadors de segment són exemples amb finalitats demostratives).
El segment "2296" corresponent a " Red" (amb un espai inicial i la primera lletra en majúscula) és diferent del segment "2266" corresponent a " red", amb la primera lletra en minúscula.
Quan "Red" s'utilitza al principi d'una frase, el segment generat no inclou cap espai inicial. El segment "7738" és diferent dels dos exemples anteriors de la paraula.
Observacions:
Com més probable o freqüent és un segment, més baix és el número de segment que se li assigna:
El segment generat per al punt és el mateix ("13") en les tres frases. Això es deu al fet que, pel que fa al context, el punt s'utilitza d'una manera força semblant en totes les dades del corpus.
El segment generat per a "red" varia segons la posició que ocupa dins de la frase:
Minúscula al mig d'una frase: " red" - (segment: "2266")
Majúscula al mig d'una frase: " Red" - (segment: "2297")
Majúscula al principi d'una frase: "Red" - (segment: "7738")