Lỗi giới hạn tốc độ (“Quá nhiều yêu cầu”, “Đã đạt giới hạn tốc độ”) xảy ra khi chạm đến giới hạn tốc độ của tổ chức bạn, tức là số yêu cầu và token tối đa có thể được gửi trong mỗi phút. Nếu đạt đến giới hạn, tổ chức sẽ không thể gửi yêu cầu thành công cho đến khi giới hạn tốc độ được đặt lại. Thông báo lỗi trông như sau:
Đã đạt giới hạn tốc độ cho gpt-3.5-turbo trong tổ chức org-exampleorgid123 theo số token mỗi phút.
Giới hạn: 10000.000000 / phút. Hiện tại: 10020.000000 / phút. Chúng tôi khuyên bạn nên xử lý các lỗi này bằng exponential backoff. Exponential backoff nghĩa là tạm dừng ngắn khi gặp lỗi giới hạn tốc độ, rồi thử lại yêu cầu không thành công. Nếu yêu cầu vẫn không thành công, thời gian tạm dừng sẽ được tăng lên và quy trình được lặp lại. Quá trình này tiếp tục cho đến khi yêu cầu thành công hoặc đạt đến số lần thử lại tối đa.
Vì các yêu cầu không thành công vẫn tính vào giới hạn mỗi phút của bạn, việc liên tục gửi lại một yêu cầu sẽ không hiệu quả. Giới hạn tốc độ có thể được áp dụng trong các khoảng thời gian ngắn hơn — ví dụ: 1 yêu cầu mỗi giây cho giới hạn 60 RPM — nghĩa là các đợt tăng vọt yêu cầu ngắn nhưng khối lượng lớn cũng có thể dẫn đến lỗi giới hạn tốc độ. Exponential backoff hoạt động hiệu quả bằng cách giãn cách các yêu cầu để giảm thiểu tần suất xảy ra các lỗi này.
Trong Python, một giải pháp exponential backoff có thể trông như sau:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Xin lưu ý: Thư viện backoff là công cụ của bên thứ ba. Chúng tôi khuyến khích tất cả khách hàng thẩm định cẩn trọng khi xác minh bất kỳ đoạn mã bên ngoài nào cho dự án của họ.)
Nếu việc triển khai exponential backoff vẫn dẫn đến lỗi này, bạn có thể cần tăng bậc sử dụng. Bạn có thể xem các giới hạn tốc độ hiện tại của mình và cách tăng bậc tin cậy để tăng giới hạn tốc độ trong mục giới hạn trong phần cài đặt tài khoản.