¿Cómo puedo saber cuántos tokens tendrá una cadena antes de intentar crear un embedding?

Antes de enviar una cadena para crear un embedding, puedes estimar cuántos tokens usará aplicando la biblioteca de tokenización tiktoken de OpenAI.

Esto es especialmente útil porque los modelos de embeddings (como text-embedding-3-small) tienen límites máximos de tokens que debes respetar.

Cómo contar tokens con Tiktoken

Puedes usar el paquete de Python tiktoken para calcular la cantidad de tokens que generará una cadena.

Aquí tienes un fragmento de código de ejemplo:

import tiktoken

def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """Devuelve el número de tokens en una cadena de texto."""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens

# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)

Importante:

• Para los modelos de embeddings de tercera generación (p. ej., text-embedding-3-small o text-embedding-3-large), debes usar la codificación "cl100k_base".

• Distintos modelos pueden requerir codificaciones diferentes; si no estás seguro, consulta siempre la documentación del modelo.

Por qué importa contar tokens

• Si tu cadena supera el tamaño máximo de entrada del modelo, tu solicitud a la API fallará.

• Contar los tokens con precisión con anticipación garantiza flujos de trabajo de embeddings más fluidos y evita errores durante el procesamiento.

Enlaces útiles

• Cómo contar tokens con tiktoken (OpenAI Cookbook)

• Documentación del modelo de embeddings