Batch API 如何運作?
Batch API 端點(文件見此處)讓用戶提交請求,以進行非同步批次處理。我們會在 24 小時內處理這些請求。每個請求的詳細資料會從預先上載的檔案讀取,而回應會寫入輸出檔案。你可以查詢 batch 物件,以取得狀態更新和結果。
Batch API 的定價是怎樣的?
與同步 API 相比,每個模型將提供50% 費用折扣。這裡有更多有關我們 API 定價的資訊。
我可以批次處理哪些模型?
Batch API 廣泛適用於我們大多數模型,但並非全部。請參閱模型參考文件,確保你使用的模型支援 Batch API。
如果 API 未能在承諾時間內完成我的請求,會發生甚麼事?
我們的目標是在 24 小時內完成所有請求。如果批次過期(即無法在 SLA 時間窗口內完成),剩餘工作會被取消,任何已完成的工作都會被傳回。開發者將就任何已完成的工作收費。
我可以批次處理的請求數量上限是多少?
Embeddings API 的限制為同一時間最多 100 萬個已排隊請求。
對於所有其他 API,你可以批次處理的請求數量沒有上限;不過,每個使用層級都有相應的批次速率限制。你的批次速率限制包括同一時間已排隊的輸入 token 最高數量。你可以在此處找到你的速率限制。
我可以更改 Batch API 回覆所需的時間嗎?
我們目前指定的時間窗口為 24 小時。我們目前無法更改此時間段。
Batch API 支援串流嗎?
不,Batch API 不支援串流。批次請求會透過輸出檔案傳回結果,而不是串流回應。
Batch API 支援圖像嗎?
是,Batch API 支援圖像。
我收到錯誤訊息「The URL provided for this request does not prefix-match the batch endpoint」。我應該怎樣做?
如果你收到此錯誤,這表示你的 URL 針對 Batch API 端點的格式不正確。請參閱此處的文件,確保你正確呼叫該端點。
使用 Batch API 會計入我的其他速率限制嗎?
Batch API 速率限制與現有限制完全分開。
如果批次被取消,會發生甚麼事?
如果手動取消批次,已完成的任何結果都會被傳回。開發者將就任何已完成的工作收費。
如果批次過期,會發生甚麼事?
如果批次過期(即無法在 SLA 時間窗口內完成),剩餘工作會被取消,任何已完成的工作都會被傳回。開發者將就任何已完成的工作收費。
批次作業可能有哪些狀態?
批次作業可能有以下任何狀態:驗證中、失敗、進行中、正在完成、已完成、已過期、正在取消和已取消。如果你以程式方式檢查 API 狀態值,請使用小寫字面值:validating、failed、in_progress、finalizing、completed、expired、cancelling 和 cancelled。
驗證中:批次開始前,上載檔案的驗證正在進行。
失敗:檔案未通過驗證程序。
進行中:檔案已成功驗證,批次程序正在進行。
正在完成:批次作業已完成,結果正在準備中。
已完成:批次作業已完成,結果已準備就緒。
已過期:批次未能在 SLA 時間窗口內完成。
正在取消:批次作業的取消程序已啟動。
已取消:批次作業已取消。
如何查看我已建立哪些批次作業?
你可以使用此處指定的 API 呼叫,取得所有批次作業的清單。
此端點支援零資料保留嗎?
如果你的組織已啟用零資料保留,請注意零資料保留不適用於 Batch API。ZDR 組織可以建立批次作業,但批次輸入檔案、輸出、錯誤和中間成品會根據已設定的 Batch、File Service 和 Sediment 保留政策保留。
