Задержка запроса на генерацию в основном зависит от двух факторов: модели и количества сгенерированных токенов. Пожалуйста, ознакомьтесь с нашей обновлённой документацией: рекомендации по снижению задержки.
Оптимизация задержки при работе с моделями OpenAI API
Узнайте о факторах, влияющих на время ответа
Обновлено: 15 days ago