OpenAI
Для перекладу цієї сторінки виконано машинний переклад. Ви можете переглянути оригінальну статтю англійською.

У чому різниця між токенами запиту та токенами завершення?

У чому різниця між вхідними та вихідними токенами?

Оновлено: yesterday

Станом на 11 березня 2025 року ми випустили базові компоненти нашої нової платформи агентів. Докладніше див. у нашій документації API для API Responses, інструментів, зокрема вебпошуку, пошуку файлів і використання комп’ютера, а також нашого SDK агентів із трасуванням.

Токени запиту — це токени, які ви вводите в модель. Це кількість токенів у вашому запиті.

Токени завершення — це будь-які токени, які модель генерує у відповідь на ваші вхідні дані. Для стандартного запиту це кількість токенів у завершенні.

Більшість моделей, які ми пропонуємо, мають обмеження як на кількість токенів, які вони можуть приймати (токени запиту), так і на кількість токенів, які вони можуть виводити (токени завершення або зразків).

Це також включає будь-які токени, згенеровані під час використання більшого значення best_of або n. Наприклад, якщо ви генеруєте 3 варіанти завершення за допомогою best_of = 3, кількість вибраних токенів становитиме щонайбільше 3 * max_tokens.

Докладніше про керування токенами можна прочитати в нашому посібнику з генерування тексту.

Чи була ця стаття корисною?