На задержку запроса на завершение в основном влияют два фактора: модель и количество сгенерированных токенов. Ознакомьтесь с нашей обновленной документацией, где приведены рекомендации по снижению задержек.
Оптимизация задержки с моделями OpenAI API
Узнайте о факторах, влияющих на время ответа
Обновлено: 11 days ago