Batch API 如何工作?
如此处所述,Batch API 端点允许用户提交请求以进行异步批处理。我们将在 24 小时内处理这些请求。每个请求的详细信息将从预先上传的文件中读取,响应将写入输出文件。你可以查询批处理对象以获取状态更新和结果。
Batch API 的定价是多少?
与同步 API 相比,每个模型都将提供50% 的费用折扣。有关我们的 API 定价,请参阅更多信息。
哪些模型可以用于批处理?
Batch API 广泛适用于我们的大多数模型,但并非全部模型。请参阅模型参考文档,以确保你使用的模型支持 Batch API。
如果 API 未在承诺时间内完成我的请求,会发生什么?
我们的目标是在 24 小时内完成所有请求。如果批处理过期(即未能在 SLA 时间窗口内完成),则剩余工作会被取消,并返回任何已完成的工作。开发者将为任何已完成的工作付费。
我可以批处理的请求数量上限是多少?
嵌入 API 一次最多可排队 100 万个请求。
对于所有其他 API,你可以批处理的请求数量没有限制;不过,每个使用层级都有相应的批处理速率限制。你的批处理速率限制包括你在同一时间排队的输入 Token 最大数量。你可以在此处查看你的速率限制。
我可以更改 Batch API 返回结果所需的时间吗?
我们当前指定的时间窗口是 24 小时。我们目前无法更改此时间段。
Batch API 支持流式传输吗?
不,Batch API 不支持流式传输。批处理请求通过输出文件返回结果,而不是通过流式响应返回。
Batch API 支持图像吗?
是的,Batch API 支持图像。
我收到错误消息“The URL provided for this request does not prefix-match the batch endpoint”。我该怎么做?
如果你收到此错误,这意味着你的 URL 格式不符合 Batch API 端点的要求。请参阅此处的文档,确保你正确调用端点。
Batch API 的使用量会计入我的其他速率限制吗?
Batch API 的速率限制与现有限制完全分开。
如果批处理被取消,会发生什么?
如果手动取消批处理,则会返回已完成的所有结果。开发者将为任何已完成的工作付费。
如果批处理过期,会发生什么?
如果批处理过期(即未能在 SLA 时间窗口内完成),则剩余工作会被取消,并返回任何已完成的工作。开发者将为任何已完成的工作付费。
批处理作业可能有哪些状态?
批处理作业可能处于以下任一状态:正在验证、失败、进行中、正在完成、已完成、已过期、正在取消和已取消。如果你以编程方式检查 API 状态值,请使用小写字面量:validating、failed、in_progress、finalizing、completed、expired、cancelling 和 cancelled。
正在验证:在批处理开始之前,正在验证已上传的文件。
失败:文件未通过验证流程。
进行中:文件已成功通过验证,批处理流程正在进行。
正在完成:批处理作业已完成,正在准备结果。
已完成:批处理作业已完成,结果已就绪。
已过期:批处理未能在 SLA 时间窗口内完成。
正在取消:已启动批处理作业的取消操作。
已取消:批处理作业已取消。
如何查看我已经创建了哪些批处理作业?
你可以使用此处指定的 API 调用来获取所有批处理作业的列表。
此端点支持零数据保留吗?
如果你的组织已启用零数据保留,请注意,零数据保留不适用于 Batch API。ZDR 组织可以创建批处理作业,但批处理输入文件、输出、错误和中间工件会根据已配置的 Batch、File Service 和 Sediment 保留政策进行保留。
