प्रॉम्प्ट टोकन आणि कंप्लिशन टोकन यांमध्ये काय फरक आहे?

प्रॉम्प्ट टोकन म्हणजे तुम्ही मॉडेलमध्ये इनपुट म्हणून देता ते टोकन. ही तुमच्या प्रॉम्प्टमधील टोकनची संख्या आहे.

कम्प्लीशन टोकन म्हणजे तुमच्या इनपुटला प्रतिसाद म्हणून मॉडेल निर्माण करते ते कोणतेही टोकन. मानक विनंतीसाठी, ही कम्प्लीशनमधील टोकनची संख्या आहे.

आम्ही देत असलेल्या बहुतेक मॉडेलमध्ये ते घेऊ शकणाऱ्या टोकनच्या संख्येवर (प्रॉम्प्ट टोकन) आणि ते आउटपुट करू शकणाऱ्या टोकनच्या संख्येवर (कम्प्लीशन किंवा सॅम्पल्स टोकन) मर्यादा असतात.

यामध्ये best_of किंवा n चे जास्त मूल्य वापरताना निर्माण होणारे कोणतेही टोकनही समाविष्ट आहेत. उदाहरणार्थ, तुम्ही best_of = 3 वापरून 3 उमेदवार कम्प्लीशन्स निर्माण करत असाल, तर सॅम्पल केलेल्या टोकनची संख्या जास्तीत जास्त 3 * max_tokens असेल.

टोकन व्यवस्थापित करण्याबद्दल अधिक माहिती तुम्ही आमच्या मजकूर निर्मिती मार्गदर्शिकेत वाचू शकता.