Sula seolann tú teaghrán lena leabú, is féidir leat meastachán a dhéanamh ar líon na dtéacschomharthaí a úsáidfidh sé trí leabharlann tiktoken chun téacs a thiontú ina théacschomharthaí de chuid OpenAI a úsáid.
Tá sé seo thar a bheith úsáideach mar go bhfuil uasteorainneacha téacschomharthaí ag samhlacha leabaithe (amhail text-embedding-3-small) nach mór duit cloí leo.
---
Conas Téacschomharthaí a Chomhaireamh le Tiktoken
Is féidir leat pacáiste Python tiktoken a úsáid chun líon na dtéacschomharthaí a ghinfidh teaghrán a ríomh.
Seo blúire samplach cód:
import tiktoken
def num_tokens_from_string(string: str, encoding_name: str) -> int:
"""Returns the number of tokens in a text string."""
encoding = tiktoken.get_encoding(encoding_name)
num_tokens = len(encoding.encode(string))
return num_tokens
# Example usage
num_tokens = num_tokens_from_string("tiktoken is great!", "cl100k_base")
print(num_tokens)Tábhachtach:
Maidir le samhlacha leabaithe tríú glúin (m.sh. text-embedding-3-small nó text-embedding-3-large), ba cheart duit an t-ionchódú "cl100k_base" a úsáid.
D’fhéadfadh ionchóduithe éagsúla a bheith de dhíth ar shamhlacha éagsúla — féach i gcónaí ar dhoiciméadacht na samhla mura bhfuil tú cinnte.
---
An Fáth a bhfuil Comhaireamh Téacschomharthaí Tábhachtach
Má sháraíonn do theaghrán uasmhéid ionchuir na samhla, teipfidh ar d’iarratas API.
Cinntíonn comhaireamh cruinn téacschomharthaí roimh ré sreafaí oibre leabaithe níos réidhe agus cuireann sé cosc ar earráidí le linn próiseála.
---