అవలోకనం
OpenAI మోడల్లు వచనాన్ని ప్రాసెస్ చేయడానికి ఉపయోగించే యూనిట్లే టోకెన్లు. టోకెన్ ఒక అక్షరాన్ని, పదంలోని భాగాన్ని, పూర్తి పదాన్ని లేదా విరామ చిహ్నాన్ని సూచించవచ్చు. వచనం టోకెన్లుగా విభజించబడే విధానాన్ని ఖాళీలు కూడా ప్రభావితం చేస్తాయి.
టోకెన్ల లెక్క, పదాల లెక్క ఒకటే కాదు. మోడల్, దాని ఎన్కోడింగ్, భాషను బట్టి ఒకే వచనానికి వేర్వేరు టోకెన్ లెక్కలు రావచ్చు.
వచనం టోకెన్లుగా ఎలా మారుతుందో అర్థం చేసుకోండి
మీరు మోడల్కు వచనాన్ని పంపినప్పుడు:
వచనం టోకెన్లుగా విభజించబడుతుంది.
మోడల్ ఆ టోకెన్లను ప్రాసెస్ చేస్తుంది.
మోడల్ అవుట్పుట్ టోకెన్లను రూపొందిస్తుంది. వీటిలో మీకు అందే వచనం, అలాగే రీజనింగ్ మోడల్లలో సమాధానంగా కనిపించని అంతర్గత రీజనింగ్ టోకెన్లు ఉండవచ్చు.
ఆంగ్ల వచనానికి సుమారు అంచనాలను ఉపయోగించండి
ఆంగ్ల వచన పరిమాణాన్ని అంచనా వేయడానికి ఇవి సహాయపడతాయి:
1 టోకెన్ సుమారు 4 అక్షరాలకు సమానం.
1 టోకెన్ సుమారు ఒక పదంలో మూడొంతులకు సమానం.
100 టోకెన్లు సుమారు 75 పదాలకు సమానం.
ఇవి అంచనాలు మాత్రమే, ఖచ్చితమైన లెక్కలు కావు. వాక్యాలు, పేరాల పొడవులు మారుతాయి. ఇతర భాషల్లో అక్షరాలు, పదాలు, టోకెన్ల మధ్య సంబంధం వేరుగా ఉండవచ్చు.
ఖాళీలు, పెద్ద అక్షరాలను పరిగణనలోకి తీసుకోండి
పదం రాసిన తీరు, పెద్ద అక్షరాల వినియోగం, చుట్టూ ఉన్న వచనాన్ని బట్టి అది వేర్వేరు టోకెన్లుగా విభజించబడవచ్చు.
ఉదాహరణకు, red, Red, అలాగే red ఒకే వచనం కావు: చివరి ఉదాహరణ ముందు ఒక ఖాళీ ఉంది. ఎన్కోడింగ్ వాటిని వేర్వేరుగా సూచించవచ్చు.
టోకెన్ IDలు కూడా ఎన్కోడింగ్పై ఆధారపడతాయి. ఒక ఉదాహరణ టోకెన్ ID ప్రతి మోడల్కూ వర్తిస్తుందని భావించవద్దు.
ఇన్పుట్, అవుట్పుట్ టోకెన్ల మధ్య తేడాను గుర్తించండి
| వర్గం | ఇది వివరించేది |
| ఇన్పుట్ టోకెన్లు | అభ్యర్థనలో మోడల్కు అందించే టోకెన్లు. వీటిని ప్రాంప్ట్ టోకెన్లు అని కూడా అంటారు. |
| అవుట్పుట్ టోకెన్లు | మోడల్ రూపొందించే టోకెన్లు. Chat Completions వీటిని కంప్లీషన్ టోకెన్లు అంటుంది. |
| క్యాష్ చేసిన ఇన్పుట్ టోకెన్లు | ప్రాంప్ట్ క్యాషింగ్ ద్వారా మళ్లీ ఉపయోగించే ఇన్పుట్ టోకెన్లు. క్యాష్ చేయని ఇన్పుట్ టోకెన్లతో పోలిస్తే వీటి ధర వేరుగా ఉండవచ్చు. |
| రీజనింగ్ టోకెన్లు | కనిపించే సమాధానాన్ని రూపొందించే ముందు రీజనింగ్ మోడల్ అంతర్గతంగా ఉపయోగించే టోకెన్లు. |
రీజనింగ్ టోకెన్లు సమాధాన వచనంగా కనిపించవు, కానీ అవి అవుట్పుట్ వినియోగంలో లెక్కించబడి, అవుట్పుట్ టోకెన్లుగా బిల్ చేయబడతాయి.
అందువల్ల, కనిపించే సమాధానం చిన్నదైనా దాని ప్రదర్శిత వచనం సూచించేదానికంటే ఎక్కువ టోకెన్లను ఉపయోగించవచ్చు.
అభ్యర్థనను పంపే ముందు టోకెన్లను లెక్కించండి
సాదా వచనాన్ని లెక్కించండి
వచనం టోకెన్లుగా ఎలా విభజించబడుతుందో చూడటానికి టోకనైజర్ను ఉపయోగించండి.
ప్రోగ్రామ్ ద్వారా సాదా వచనాన్ని టోకనైజ్ చేయడానికి tiktoken ఉపయోగించండి. ఉదాహరణకు tiktoken.encoding_for_model(model)తో, మీ లక్ష్య మోడల్కు తగిన ఎన్కోడింగ్ను ఎంచుకోండి.
సాదా వచన టోకెన్ల లెక్కలో API అభ్యర్థనలోని అన్ని టోకెన్లు తప్పనిసరిగా ఉండవు. సందేశ నిర్మాణం, సాధనాలు, స్కీమాలు, చిత్రాలు, ఫైళ్లు పూర్తి ఇన్పుట్ లెక్కను ప్రభావితం చేయవచ్చు.
పూర్తి Responses ఇన్పుట్ను లెక్కించండి
పూర్తి Responses API ఇన్పుట్ కోసం ఇన్పుట్-టోకెన్ లెక్కింపు APIని ఉపయోగించండి.
ఇది సందేశాలు, చిత్రాలు, ఫైళ్లు, సాధనాలు, సంభాషణలతో సహా Responses ఇన్పుట్ ఫార్మాట్లను స్వీకరిస్తుంది. దాని లెక్కలో సందేశ పాత్రలు, హద్దుల వంటి అభ్యర్థన నిర్మాణానికి ఉపయోగించే ఫార్మాటింగ్ టోకెన్లు ఉంటాయి.
మోడల్ ఎన్ని అవుట్పుట్ టోకెన్లను రూపొందిస్తుందో ఇన్పుట్ లెక్క అంచనా వేయదు.
వాస్తవ టోకెన్ వినియోగాన్ని తనిఖీ చేయండి
అభ్యర్థన తర్వాత, దాని వినియోగ సమాచారాన్ని పరిశీలించండి. ఎండ్పాయింట్ను బట్టి ఫీల్డ్ పేర్లు మారుతాయి:
Chat Completionsలో prompt_tokens, completion_tokens, total_tokens నివేదించబడతాయి.
Responsesలో input_tokens, output_tokens, total_tokens నివేదించబడతాయి.
వినియోగ డ్యాష్బోర్డ్లో కాలక్రమేణా జరిగిన కార్యకలాపాలను కూడా సమీక్షించవచ్చు. స్ట్రీమింగ్ వినియోగంతో సహా సూచనల కోసం, API వినియోగం, ఖర్చుల సమీక్ష చూడండి.
మోడల్ పరిమితుల్లో ఉండండి
మీ మోడల్ కాంటెక్స్ట్ విండో, గరిష్ఠ అవుట్పుట్ కోసం దాని డాక్యుమెంటేషన్ను చూడండి. ఈ పరిమితులు మోడల్ను బట్టి మారవచ్చు.
ఒక అభ్యర్థనలో మోడల్ ప్రాసెస్ చేయగల టోకెన్లను కాంటెక్స్ట్ విండో పరిమితం చేస్తుంది. మోడల్లకు అవుట్పుట్ పరిమితి కూడా ఉంటుంది. రీజనింగ్ మోడల్ల కోసం కనిపించే సమాధానంతో పాటు రీజనింగ్ టోకెన్లకూ స్థలం ఉంచండి.
మీ ఇన్పుట్ మరీ పెద్దదైతే, మీరు ఇలా చేయవచ్చు:
ప్రాంప్ట్ను కుదించండి లేదా మరోలా రాయండి.
అనవసరమైన లేదా పునరావృతమయ్యే సందర్భ సమాచారాన్ని తొలగించండి.
పెద్ద ఇన్పుట్లను చిన్న భాగాలుగా విభజించండి.
వచనాన్ని పంపే ముందు సంగ్రహించండి లేదా ముందస్తుగా ప్రాసెస్ చేయండి.
మీ ఎండ్పాయింట్, మోడల్ మద్దతిచ్చే అవుట్పుట్-టోకెన్ సెట్టింగ్ను ఉపయోగించండి. Chat Completionsలో max_completion_tokens, Responsesలో max_output_tokens ఉపయోగిస్తారు.
ఈ అభ్యర్థన పరిమాణ పరిమితులు API రేట్ పరిమితులు, నెలవారీ వినియోగ లేదా ఖర్చు పరిమితులకు వేరు. మీరు ఉపయోగించే మోడల్కు సంబంధించిన మోడల్ డాక్యుమెంటేషన్ను సమీక్షించండి.
టోకెన్ ధరలను అర్థం చేసుకోండి
టోకెన్ ఆధారిత API ధరలో, రేటు మోడల్, టోకెన్ వర్గంపై ఆధారపడి ఉంటుంది. ఇన్పుట్, క్యాష్ చేసిన ఇన్పుట్, అవుట్పుట్ టోకెన్ల ధరలు వేర్వేరుగా ఉండవచ్చు. ఇతర API సామర్థ్యాలకు వేర్వేరు బిల్లింగ్ యూనిట్లు ఉండవచ్చు.
ప్రస్తుత రేట్ల కోసం API ధరల పేజీని చూడండి.
మోడల్లను పోల్చేటప్పుడు, మీ పని పూర్తిచేయడానికి అవసరమైన మొత్తం టోకెన్లు, ఖర్చును పరిగణించండి. పది లక్షల టోకెన్ల ధర తక్కువగా ఉన్నంత మాత్రాన మొత్తం ఖర్చు తగ్గకపోవచ్చు: మోడల్లు ఒకే వచనాన్ని వేర్వేరుగా టోకనైజ్ చేసి, వేర్వేరు పరిమాణాల్లో అవుట్పుట్ లేదా రీజనింగ్ను రూపొందించవచ్చు.
కనిపించే ప్రతిస్పందన పొడవును మాత్రమే పోల్చకుండా, వాస్తవ వినియోగాన్ని సూచించే పనులను పరీక్షించండి.
బహుళ కంప్లీషన్లను పరిగణనలోకి తీసుకోండి
ఎండ్పాయింట్, మోడల్ బహుళ కంప్లీషన్ల రూపకల్పనకు మద్దతిస్తే, ఆ అదనపు కంప్లీషన్లు కూడా టోకెన్లను ఉపయోగిస్తాయి.
Chat Completionsలో nను 1 కంటే ఎక్కువగా సెట్ చేస్తే బహుళ ఎంపికలు రూపొందుతాయి. ఆ ఎంపికలన్నింటిలో రూపొందిన టోకెన్లకు మీకు ఛార్జీ విధిస్తారు.
పాత Completions APIలో best_of తిరిగి అందించని అభ్యర్థులను కూడా రూపొందించవచ్చు. ఉదాహరణకు, best_of = 3తో అభ్యర్థులన్నింటిలో కలిపి గరిష్ఠంగా 3 × max_tokens కంప్లీషన్ టోకెన్లు రూపొందవచ్చు.
ఈ పారామీటర్లు ఎండ్పాయింట్కు ప్రత్యేకమైనవి. మరో API లేదా మోడల్ n లేదా best_ofకు మద్దతిస్తుందని భావించవద్దు.