Batch API 如何運作?
Batch API 端點(文件見這裡)可讓使用者提交請求,以進行非同步批次處理。我們會在 24 小時內處理這些請求。每個請求的詳細資料會從預先上傳的檔案讀取,回應則會寫入輸出檔案。你可以查詢批次物件以取得狀態更新和結果。
Batch API 的定價為何?
相較於同步 API,每個模型都會提供 50% 費用折扣。這裡有更多關於我們 API 定價的資訊。
我可以批次處理哪些模型?
Batch API 可廣泛用於我們大多數模型,但並非全部。請參閱模型參考文件,以確認你使用的模型支援 Batch API。
如果 API 未在承諾時間內完成我的請求,會發生什麼事?
我們的目標是在 24 小時內完成所有請求。如果批次過期(亦即無法在 SLA 時間範圍內完成),剩餘工作會被取消,且任何已完成的工作會被傳回。開發人員將按任何已完成的工作收費。
我可以批次處理的請求數量限制是多少?
Embeddings API 一次最多可有 100 萬個已排入佇列的請求。
對於所有其他 API,可批次處理的請求數量沒有限制;不過,每個用量級別都有相應的批次速率限制。你的批次速率限制包含一次已排入佇列的輸入 Token 數量上限。你可以在這裡找到你的速率限制。
我可以變更收到 Batch API 回覆所需的時間嗎?
我們目前指定的時間範圍是 24 小時。我們目前無法變更此時段。
Batch API 支援串流嗎?
不,Batch API 不支援串流。批次請求會透過輸出檔案傳回結果,而不是串流回應。
Batch API 支援圖片嗎?
是,Batch API 支援圖片。
我收到錯誤訊息「The URL provided for this request does not prefix-match the batch endpoint」。我該怎麼做?
如果你收到此錯誤,這表示你的 URL 針對 Batch API 端點的格式不正確。請參閱這裡的文件,確認你正確呼叫端點。
使用 Batch API 會計入我的其他速率限制嗎?
Batch API 的速率限制與現有限制完全分開。
如果批次被取消,會發生什麼事?
如果手動取消批次,已完成的任何結果都會傳回。開發人員將按任何已完成的工作收費。
如果批次過期,會發生什麼事?
如果批次過期(亦即無法在 SLA 時間範圍內完成),剩餘工作會被取消,且任何已完成的工作會被傳回。開發人員將按任何已完成的工作收費。
批次作業可能會有哪些狀態?
批次作業可能有下列任一狀態:驗證中、失敗、進行中、最終處理中、已完成、已過期、取消中,以及已取消。如果你要以程式檢查 API 狀態值,請使用小寫常值:validating、failed、in_progress、finalizing、completed、expired、cancelling 和 cancelled。
驗證中:批次開始前,正在驗證已上傳的檔案。
失敗:檔案未通過驗證程序。
進行中:檔案已成功驗證,批次程序正在進行。
最終處理中:批次作業已完成,正在準備結果。
已完成:批次作業已完成,結果已準備就緒。
已過期:批次無法在 SLA 時間範圍內完成。
取消中:已啟動批次作業的取消程序。
已取消:批次作業已取消。
我要如何查看自己已建立哪些批次作業?
你可以使用這裡指定的 API 呼叫,取得所有批次作業的清單。
此端點支援零資料保留嗎?
如果你的組織已啟用零資料保留,請注意零資料保留不適用於 Batch API。ZDR 組織可以建立批次作業,但批次輸入檔案、輸出、錯誤和中繼成品會依照已設定的 Batch、File Service 和 Sediment 保留政策保留。
