임베딩할 문자열을 전송하기 전에 OpenAI의 tiktoken 토크나이저 라이브러리를 사용해 필요한 토큰 수를 추정할 수 있습니다.
임베딩 모델(예: text-embedding-3-small)에는 준수해야 할 최대 토큰 수 제한이 있으므로 특히 유용합니다.
---
tiktoken으로 토큰 수 계산하는 방법
tiktoken Python 패키지를 사용하여 문자열이 생성할 토큰 수를 계산할 수 있습니다.
다음은 샘플 코드 스니펫입니다:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returns the number of tokens in a text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)중요:
3세대 임베딩 모델(예: text-embedding-3-small 또는 text-embedding-3-large)에는 "cl100k_base" 인코딩을 사용해야 합니다.
모델마다 필요한 인코딩이 다를 수 있으므로, 확실하지 않다면 항상 모델 문서를 참조하세요.
---
토큰 수 계산이 중요한 이유
문자열이 모델의 최대 입력 크기를 초과하면 API 요청이 실패합니다.
사전에 토큰 수를 정확히 계산하면 임베딩 워크플로가 더 원활해지고 처리 중 오류를 방지할 수 있습니다.
---