¿Qué son los tokens?
Los tokens son los componentes básicos del texto que procesan los modelos de OpenAI. Pueden ser tan cortos como un solo carácter o tan largos como una palabra completa, según el idioma y el contexto. Los espacios, la puntuación y las palabras parciales contribuyen al recuento de tokens. Así es como la API segmenta internamente tu texto antes de generar una respuesta.
Reglas prácticas útiles para el inglés:
1 token ≈ 4 caracteres
1 token ≈ ¾ de palabra
100 tokens ≈ 75 palabras
1–2 frases ≈ 30 tokens
1 párrafo ≈ 100 tokens
~1500 palabras ≈ 2048 tokens
La tokenización varía según el modelo y la codificación. Usa la herramienta Tokenizer o tiktoken.encoding_for_model(model) para obtener el recuento exacto de tu modelo de destino.
Ejemplos
Estos son algunos ejemplos de textos reales con sus recuentos aproximados de tokens:
La cita de Wayne Gretzky «Fallas el 100 % de los tiros que no haces» = 11 tokens
La Carta de OpenAI = 476 tokens
La Declaración de Independencia de EE. UU. = 1695 tokens
Cómo se calculan los recuentos de tokens
Cuando envías texto a la API:
El texto se divide en tokens.
El modelo procesa estos tokens.
La respuesta se genera como una secuencia de tokens y luego se convierte de nuevo en texto.
El uso de tokens se registra en varias categorías:
Tokens de entrada – tokens de tu solicitud.
Tokens de salida – tokens generados en la respuesta.
Tokens en caché – tokens reutilizados del historial de conversación (a menudo se facturan a una tarifa reducida).
Tokens de razonamiento – en algunos modelos avanzados, se incluyen internamente «pasos de pensamiento» adicionales antes de producir la salida final.
Estos recuentos aparecen en los metadatos de tu respuesta de la API y se usan para la facturación y el seguimiento del uso.
Para explorar más a fondo la tokenización, puedes usar nuestra herramienta Tokenizer interactiva, que te permite calcular el número de tokens y ver cómo el texto se divide en tokens.
Como alternativa, si quieres tokenizar texto mediante programación, usa Tiktoken, un tokenizador BPE rápido utilizado específicamente para los modelos de OpenAI.
Límites de tokens
Cada modelo tiene un límite máximo combinado de tokens (entrada + salida). Los modelos actuales de alta capacidad admiten hasta cientos de miles de tokens en el contexto, aunque los límites prácticos pueden variar según la versión del modelo y tu nivel de uso.
Si superas el límite, puedes:
Acortar o reformular los prompts.
Dividir textos largos en fragmentos más pequeños.
Resumir o preprocesar las entradas antes de enviarlas.
Precios de los tokens
El uso de la API se cobra por token y varía según el modelo y si los tokens son de entrada, de salida o en caché. Consulta la página de precios de OpenAI para ver las tarifas actuales. Algunos modelos de razonamiento pueden usar más tokens internamente, pero buscan mejorar la eficiencia reduciendo el número de tokens necesarios por tarea completada.
Explorar tokens
La API trata las palabras según su contexto en los datos del corpus. Los modelos toman el prompt, convierten la entrada en una lista de tokens, procesan el prompt y convierten los tokens predichos de nuevo en las palabras que vemos en la respuesta.
Lo que a nosotros podría parecernos dos palabras idénticas puede generarse como tokens distintos según cómo estén estructuradas dentro del texto. Observa cómo la API genera valores de token para la palabra «red» según su contexto dentro del texto:
En el primer ejemplo anterior, el token «2266» para « red» incluye un espacio final (Nota: estos son ID de token de ejemplo con fines demostrativos).
El token «2296» para « Red» (con un espacio inicial y empezando por mayúscula) es diferente del token «2266» para « red» con minúscula.
Cuando «Red» se usa al principio de una frase, el token generado no incluye un espacio inicial. El token «7738» es diferente de los dos ejemplos anteriores de la palabra.
Observaciones:
Cuanto más probable o frecuente es un token, menor es el número de token que se le asigna:
El token generado para el punto es el mismo («13») en las 3 frases. Esto se debe a que, contextualmente, el punto se usa de forma bastante similar en todo el corpus de datos.
El token generado para «red» varía según su posición dentro de la frase:
Minúscula en medio de una frase: « red» - (token: «2266»)
Mayúscula en medio de una frase: « Red» - (token: «2297»)
Mayúscula al principio de una frase: «Red» - (token: «7738»)