Как работает Batch API?
Конечная точка Batch API, описанная здесь, позволяет пользователям отправлять запросы на асинхронную пакетную обработку. Мы обработаем эти запросы в течение 24 часов. Сведения о каждом запросе будут считаны из заранее загруженного файла, а ответы будут записаны в выходной файл. Вы можете запрашивать объект пакета, чтобы получать обновления статуса и результаты.
Какова стоимость использования Batch API?
Каждая модель будет предлагаться со скидкой 50% на стоимость по сравнению с синхронными API. Дополнительная информация о ценах на наш API доступна здесь.
Какие модели можно использовать в пакетной обработке?
Batch API широко доступен для большинства наших моделей, но не для всех. Обратитесь к справочной документации по моделям, чтобы убедиться, что используемая вами модель поддерживает Batch API.
Что происходит, если API не выполняет мой запрос в обещанное время?
Мы стремимся обработать все запросы в течение 24 часов. Если срок действия пакета истекает (то есть его не удалось завершить в пределах временного окна SLA), оставшаяся работа отменяется, а уже выполненная работа возвращается. С разработчиков будет взиматься плата за любую выполненную работу.
Какой лимит на количество запросов, которые можно обрабатывать пакетом?
Для Embeddings API действует лимит в 1 миллион запросов в очереди одновременно.
Для всех остальных API нет лимита на количество запросов, которые можно обрабатывать пакетом; однако у каждого уровня использования есть соответствующий пакетный лимит запросов. Ваш пакетный лимит запросов включает максимальное количество входных токенов, находящихся в очереди одновременно. Свои лимиты запросов можно найти здесь.
Можно ли изменить время ожидания ответа от Batch API?
Текущее указанное нами временное окно составляет 24 часа. В настоящее время мы не можем изменить этот период.
Поддерживается ли потоковая передача в Batch API?
Нет, потоковая передача в Batch API не поддерживается. Пакетные запросы возвращают результаты через выходные файлы, а не в виде потоковых ответов.
Поддерживаются ли изображения в Batch API?
Да, изображения поддерживаются в Batch API.
Я получил сообщение об ошибке «The URL provided for this request does not prefix-match the batch endpoint». Что мне делать?
Если вы получили эту ошибку, это означает, что ваш URL неправильно отформатирован для конечной точки Batch API. Обратитесь к нашей документации здесь, чтобы убедиться, что вы правильно вызываете конечную точку.
Учитывается ли использование Batch API в моих других лимитах запросов?
Лимиты запросов Batch API полностью отделены от существующих лимитов.
Что происходит, если пакет отменен?
Если пакет отменен вручную, возвращаются все результаты, которые уже были готовы. С разработчиков будет взиматься плата за любую выполненную работу.
Что происходит, если срок действия пакета истекает?
Если срок действия пакета истекает (то есть его не удалось завершить в пределах временного окна SLA), оставшаяся работа отменяется, а уже выполненная работа возвращается. С разработчиков будет взиматься плата за любую выполненную работу.
Какие статусы могут быть у пакетных заданий?
Пакетное задание может иметь любой из следующих статусов: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling и Cancelled. Если вы проверяете значения статуса API программно, используйте литералы в нижнем регистре: validating, failed, in_progress, finalizing, completed, expired, cancelling и cancelled.
Validating: Перед запуском пакета выполняется проверка загруженного файла.
Failed: Файл не прошел проверку.
In Progress: Файл успешно прошел проверку, и пакетная обработка выполняется.
Finalizing: Пакетное задание завершено, результаты готовятся.
Completed: Пакетное задание выполнено, результаты готовы.
Expired: Пакет не удалось завершить в пределах временного окна SLA.
Cancelling: Отмена пакетного задания инициирована.
Cancelled: Пакетное задание было отменено.
Как проверить, какие пакетные задания я уже создал?
Вы можете получить список всех своих пакетных заданий с помощью вызова API, указанного здесь.
Поддерживается ли нулевое хранение данных (ZDR) на этой конечной точке?
Если для вашей организации включено нулевое хранение данных (ZDR), обратите внимание, что оно не применяется к Batch API. Организации с ZDR могут создавать пакетные задания, но входные файлы пакетов, выходные данные, ошибки и промежуточные артефакты хранятся согласно настроенным политикам хранения Batch, File Service и Sediment.