Как работает Batch API?
Конечная точка Batch API, описанная здесь, позволяет пользователям отправлять запросы на асинхронную пакетную обработку. Мы обработаем эти запросы в течение 24 часов. Сведения о каждом запросе будут считаны из заранее загруженного файла, а ответы будут записаны в выходной файл. Вы можете запрашивать объект пакета, чтобы получать обновления статуса и результаты.
Какова стоимость использования Batch API?
Каждая модель будет предлагаться со скидкой 50% на стоимость по сравнению с синхронными API. Дополнительная информация о ценах на наш API доступна здесь.
Какие модели можно использовать в пакетной обработке?
Batch API широко доступен для большинства наших моделей, но не для всех. Обратитесь к справочной документации по моделям, чтобы убедиться, что используемая вами модель поддерживает Batch API.
Что произойдет, если API не выполнит мой запрос в обещанный срок?
Мы стремимся обработать все запросы в течение 24 часов. Если срок действия пакета истек (то есть его не удалось обработать за время, предусмотренное SLA), оставшаяся работа отменяется, а уже выполненная — возвращается. С разработчиков будет взиматься плата за всю выполненную работу.
Какой лимит на количество запросов, которые можно обрабатывать пакетом?
Для Embeddings API действует лимит в 1 миллион запросов в очереди одновременно.
Для всех остальных API нет лимита на количество запросов, которые можно обрабатывать пакетом; однако у каждого уровня использования есть соответствующий пакетный лимит запросов. Ваш пакетный лимит запросов включает максимальное количество входных токенов, находящихся в очереди одновременно. Свои лимиты запросов можно найти здесь.
Можно ли изменить время ожидания ответа от Batch API?
Текущее указанное нами временное окно составляет 24 часа. В настоящее время мы не можем изменить этот период.
Поддерживается ли потоковая передача в Batch API?
Нет, потоковая передача в Batch API не поддерживается. Пакетные запросы возвращают результаты через выходные файлы, а не в виде потоковых ответов.
Поддерживаются ли изображения в Batch API?
Да, изображения поддерживаются в Batch API.
Я получил сообщение об ошибке «The URL provided for this request does not prefix-match the batch endpoint». Что мне делать?
Если вы получили эту ошибку, это означает, что ваш URL неправильно отформатирован для конечной точки Batch API. Обратитесь к нашей документации здесь, чтобы убедиться, что вы правильно вызываете конечную точку.
Учитывается ли использование Batch API в моих других лимитах запросов?
Лимиты запросов Batch API полностью отделены от существующих лимитов.
Что произойдет, если отменить пакет?
Если пакет отменен вручную, все уже полученные результаты будут возвращены. С разработчиков будет взиматься плата за всю выполненную работу.
Что произойдет, если срок действия пакета истечет?
Если срок действия пакета истек (то есть его не удалось обработать за время, предусмотренное SLA), оставшаяся работа отменяется, а уже выполненная — возвращается. С разработчиков будет взиматься плата за всю выполненную работу.
Какие статусы могут быть у пакетных заданий?
Пакетное задание может иметь любой из следующих статусов: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling и Cancelled. Если вы проверяете значения статуса API программно, используйте литералы в нижнем регистре: validating, failed, in_progress, finalizing, completed, expired, cancelling и cancelled.
Validating: Перед запуском пакета выполняется проверка загруженного файла.
Failed: Файл не прошел проверку.
In Progress: Файл успешно прошел проверку, и пакетная обработка выполняется.
Finalizing: Пакетное задание завершено, результаты готовятся.
Completed: Пакетное задание выполнено, результаты готовы.
Expired: Пакет не удалось завершить в пределах временного окна SLA.
Cancelling: Отмена пакетного задания инициирована.
Cancelled: Пакетное задание было отменено.
Как проверить, какие пакетные задания я уже создал?
Вы можете получить список всех своих пакетных заданий с помощью вызова API, указанного здесь.
Поддерживается ли нулевое хранение данных (ZDR) на этой конечной точке?
Если для вашей организации включено нулевое хранение данных (ZDR), обратите внимание, что оно не применяется к Batch API. Организации с ZDR могут создавать пакетные задания, но входные файлы пакетов, выходные данные, ошибки и промежуточные артефакты хранятся согласно настроенным политикам хранения Batch, File Service и Sediment.