Trước khi gửi một chuỗi để tạo dữ liệu nhúng, bạn có thể ước tính số token chuỗi đó sẽ sử dụng bằng thư viện tách token tiktoken của OpenAI.
Điều này đặc biệt hữu ích vì các mô hình nhúng (như text-embedding-3-small) có giới hạn token tối đa mà bạn cần tuân thủ.
---
Cách đếm token bằng Tiktoken
Bạn có thể dùng gói Python tiktoken để tính số token mà một chuỗi sẽ tạo ra.
Dưới đây là một đoạn mã mẫu:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Trả về số token trong một chuỗi văn bản."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Ví dụ sử dụng
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Quan trọng:
Đối với các mô hình nhúng thế hệ thứ ba (ví dụ: text-embedding-3-small hoặc text-embedding-3-large), bạn nên sử dụng kiểu mã hóa "cl100k_base".
Các mô hình khác nhau có thể yêu cầu kiểu mã hóa khác nhau — nếu không chắc chắn, hãy luôn tham khảo tài liệu về mô hình.
---
Vì sao việc đếm token lại quan trọng
Nếu chuỗi của bạn vượt quá kích thước đầu vào tối đa của mô hình, yêu cầu API của bạn sẽ thất bại.
Đếm token chính xác từ trước giúp quy trình embedding trơn tru hơn và ngăn lỗi trong quá trình xử lý.
---