¿Qué son los tokens?
Los tokens son las unidades básicas de texto que procesan los modelos de OpenAI. Pueden ser desde un solo carácter hasta una palabra completa, según el idioma y el contexto. Los espacios, los signos de puntuación y las partes de palabras contribuyen al recuento de tokens. Así es como la API segmenta internamente el texto antes de generar una respuesta.
Reglas generales útiles para el inglés:
1 token ≈ 4 caracteres
1 token ≈ ¾ de palabra
100 tokens ≈ 75 palabras
1-2 frases ≈ 30 tokens
1 párrafo ≈ 100 tokens
~1500 palabras ≈ 2048 tokens
La tokenización varía según el modelo y la codificación. Usa la herramienta Tokenizer o tiktoken.encoding_for_model(model) para obtener el recuento exacto del modelo de destino.
Ejemplos
Estos son algunos ejemplos de textos reales con su recuento aproximado de tokens:
La cita de Wayne Gretzky «Fallas el 100 % de los tiros que no intentas» = 11 tokens
La Carta de OpenAI = 476 tokens
La Declaración de Independencia de Estados Unidos = 1695 tokens
Cómo se calcula el recuento de tokens
Cuando envías texto a la API:
El texto se divide en tokens.
El modelo procesa estos tokens.
La respuesta se genera como una secuencia de tokens que después se vuelve a convertir en texto.
El uso de tokens se registra en varias categorías:
Tokens de entrada – tokens de tu solicitud.
Tokens de salida – tokens generados en la respuesta.
Tokens en caché – tokens reutilizados del historial de conversación (a menudo se facturan a una tarifa reducida).
Tokens de razonamiento – en algunos modelos avanzados se incluyen internamente «pasos de razonamiento» adicionales antes de producir el resultado final.
Estos recuentos aparecen en los metadatos de la respuesta de la API y se utilizan para la facturación y el seguimiento del uso.
Para profundizar en la tokenización, puedes usar nuestra herramienta interactiva Tokenizer, que permite calcular el número de tokens y ver cómo se divide el texto en tokens.
También puedes tokenizar texto mediante programación con Tiktoken, un rápido tokenizador BPE diseñado específicamente para los modelos de OpenAI.
Límites de tokens
Cada modelo tiene un límite máximo combinado de tokens (entrada + salida). Los modelos actuales de gran capacidad admiten en contexto hasta cientos de miles de tokens, aunque los límites prácticos pueden variar según la versión del modelo y tu nivel de uso.
Si superas el límite, puedes:
Acortar o reformular los prompts.
Dividir los textos extensos en fragmentos más pequeños.
Resumir o preprocesar las entradas antes de enviarlas.
Precios por token
El uso de la API se cobra por token, con tarifas que varían según el modelo y si los tokens son de entrada, de salida o están en caché. Consulta las tarifas actuales en la página de precios de OpenAI. Algunos modelos de razonamiento pueden usar más tokens internamente, pero buscan mejorar la eficiencia reduciendo el número de tokens necesarios para completar cada tarea.
Los tokens no están estandarizados entre modelos o proveedores de IA. Distintos modelos pueden procesar o generar el mismo texto con diferentes cantidades de tokens, por lo que un precio anunciado más bajo por millón de tokens no implica necesariamente un coste total menor.
La longitud visible de la respuesta tampoco cuenta toda la historia. Algunos modelos usan internamente tokens de razonamiento antes de producir una respuesta, por lo que una respuesta visible más larga no significa necesariamente que un modelo haya usado más tokens en total.
Al comparar modelos, ten en cuenta el número total de tokens necesarios y el coste por resultado satisfactorio. Las pruebas comparativas ofrecen un punto de partida útil, pero probar los modelos con tus propios casos de uso es la mejor forma de conocer su coste y rendimiento reales.
Explorar los tokens
La API trata las palabras según su contexto en los datos del corpus. Los modelos toman el prompt, convierten la entrada en una lista de tokens, procesan el prompt y vuelven a convertir los tokens predichos en las palabras que vemos en la respuesta.
Dos palabras que nos parecen idénticas pueden convertirse en tokens distintos según cómo estén estructuradas en el texto. Observa cómo la API genera valores de token para la palabra «red» según su contexto en el texto:
En el primer ejemplo anterior, el token «2266» de « red» incluye un espacio final (nota: estos ID de token son ejemplos con fines demostrativos).
El token «2296» de « Red» (con un espacio inicial y la primera letra en mayúscula) es distinto del token «2266» de « red», con la primera letra en minúscula.
Cuando «Red» aparece al principio de una frase, el token generado no incluye un espacio inicial. El token «7738» es distinto de los dos ejemplos anteriores de la palabra.
Observaciones:
Cuanto más probable o frecuente sea un token, menor será el número de token que se le asigne:
El token generado para el punto es el mismo («13») en las 3 frases. Esto se debe a que, desde el punto de vista contextual, el punto se utiliza de forma muy similar en todo el corpus.
El token generado para «red» varía según su posición en la frase:
Minúscula en medio de una frase: « red» - (token: «2266»)
Mayúscula en medio de una frase: « Red» - (token: «2297»)
Mayúscula al principio de una frase: «Red» - (token: «7738»)