Trước khi gửi một chuỗi để embedding, bạn có thể ước tính chuỗi đó sẽ dùng bao nhiêu token bằng cách áp dụng thư viện tách token tiktoken của OpenAI.
Điều này đặc biệt hữu ích vì các mô hình embedding (như text-embedding-3-small) có giới hạn token tối đa mà bạn cần tuân thủ.
---
Cách đếm token bằng Tiktoken
Bạn có thể dùng gói Python tiktoken để tính số token mà một chuỗi sẽ tạo ra.
Dưới đây là một đoạn mã mẫu:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Trả về số token trong một chuỗi văn bản."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Ví dụ sử dụng
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Quan trọng:
Đối với các mô hình embedding thế hệ thứ ba (ví dụ:
text-embedding-3-smallhoặctext-embedding-3-large), bạn nên dùng mã hóa"cl100k_base".Các mô hình khác nhau có thể yêu cầu các mã hóa khác nhau — hãy luôn tham khảo tài liệu của mô hình nếu không chắc chắn.
---
Vì sao việc đếm token lại quan trọng
Nếu chuỗi của bạn vượt quá kích thước đầu vào tối đa của mô hình, yêu cầu API của bạn sẽ thất bại.
Đếm token chính xác từ trước giúp quy trình embedding trơn tru hơn và ngăn lỗi trong quá trình xử lý.
---