速率限制簡介

速率限制是我們的 API 對用戶或客戶端在指定時間內可存取我們服務次數所施加的限制。

速率限制可以被量化，即會在較短時間段內執行（例如每分鐘 60,000 個請求可能會按每秒 1,000 個請求執行）。短時間內突發送出請求，或傳送過長的內容脈絡（prompts+max_completion_tokens），都可能導致速率限制錯誤，即使你在技術上仍低於每分鐘速率限制。

避免速率限制錯誤的最佳做法

預設組織

如果你屬於多個具有不同帳單方案和使用層級的組織，請確保你的預設組織設定為適當的組織，以控制使用你的 API 金鑰發出請求時預設使用哪個組織。

指數退避

在程式碼中加入指數退避邏輯。這會捕捉失敗的請求並重試。

Token 限制

將 max_completion_tokens 減少至與你的補全大小相符。系統會根據此值估算用量需求，因此降低此值可減少你意外收到速率限制錯誤的機會。例如，如果你的提示詞產生的補全約為 400 個 token，max_tokens 值亦應大約相同。


優化你的提示詞。你可以透過縮短指示、刪除多餘字詞，以及移除額外範例來做到這一點。完成這些更改後，你可能需要調整提示詞並測試，確保它仍能正常運作。較短提示詞的額外好處是可降低你的成本。如需協助，請告訴我們。

使用層級

如果你已實施這些最佳做法，但仍遇到速率限制錯誤，你可以透過提高使用層級來增加速率限制。你可以在帳戶設定的「限制」部分查看目前的速率限制、目前的使用層級，以及如何提高使用層級／限制。

延伸閱讀

請在此查看我們有關使用層級和速率限制的完整文件。