ప్రాంప్ట్ టోకెన్‌లు మరియు కంప్లీషన్ టోకెన్‌ల మధ్య తేడా ఏమిటి?

ప్రాంప్ట్ టోకెన్‌లు అంటే మీరు మోడల్‌లోకి ఇన్‌పుట్ చేసే టోకెన్‌లు. ఇది మీ ప్రాంప్ట్‌లోని టోకెన్‌ల సంఖ్య.

పూర్తి టోకెన్‌లు అంటే మీ ఇన్‌పుట్‌కు ప్రతిస్పందనగా మోడల్ రూపొందించే ఏ టోకెన్‌లైనా. ప్రామాణిక అభ్యర్థన కోసం, ఇది పూర్తిలోని టోకెన్‌ల సంఖ్య.

మేము అందించే చాలా మోడల్‌లకు అవి తీసుకోగల టోకెన్‌ల సంఖ్యపై (ప్రాంప్ట్ టోకెన్‌లు) మరియు అవి అవుట్‌పుట్ చేయగల టోకెన్‌ల సంఖ్యపై (పూర్తి లేదా నమూనా టోకెన్‌లు) రెండింటిపైనా పరిమితులు ఉంటాయి.

best_of లేదా nకు అధిక విలువను ఉపయోగించినప్పుడు రూపొందించబడే ఏవైనా టోకెన్‌లు కూడా ఇందులో ఉంటాయి. ఉదాహరణకు, మీరు best_of = 3 ఉపయోగించి 3 అభ్యర్థి పూర్తులను రూపొందిస్తున్నట్లయితే, నమూనా తీసుకున్న టోకెన్‌ల సంఖ్య గరిష్ఠంగా 3 * max_tokens ఉంటుంది.

టోకెన్‌లను నిర్వహించడం గురించి మరింత తెలుసుకోవడానికి మా వచన జనరేషన్ గైడ్ చదవండి.