傳送字串進行嵌入處理之前，可以使用 OpenAI 的 tiktoken Token 化器程式庫，估算會使用多少 Token。
這項功能特別實用，因為嵌入模型（例如 text-embedding-3-small）設有不可超出的 Token 數量上限。
---
如何使用 tiktoken 計算 Token
你可以使用 tiktoken Python 套件來計算字串會產生的 Token 數量。
以下是範例程式碼片段：
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""傳回文字字串中的 Token 數量。"""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# 使用範例
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)重要事項：
對於第三代嵌入模型（例如 text-embedding-3-small 或 text-embedding-3-large），應使用 "cl100k_base" 編碼。
不同模型可能需要不同的編碼方式——如不確定，請務必參閱模型文件。
---
為什麼 Token 計數很重要
如果你的字串超過模型的最大輸入大小，API 請求將會失敗。
事先準確計算 Token 數，可確保嵌入工作流程更順暢，並避免處理期間發生錯誤。
---