Lỗi giới hạn tốc độ ('Quá nhiều yêu cầu', ‘Đã đạt giới hạn tốc độ’) xảy ra khi tổ chức của bạn chạm đến giới hạn tốc độ, tức là số lượng yêu cầu và token tối đa có thể gửi mỗi phút. Nếu đạt đến giới hạn, tổ chức không thể gửi yêu cầu thành công cho đến khi giới hạn tốc độ được đặt lại. Thông báo lỗi có dạng như sau:
Đã đạt giới hạn tốc độ cho gpt-3.5-turbo trong tổ chức org-exampleorgid123 theo số token mỗi phút.
Giới hạn: 10000.000000 / phút. Hiện tại: 10020.000000 / phút. Chúng tôi khuyên bạn nên xử lý các lỗi này bằng cơ chế backoff theo cấp số nhân. Backoff theo cấp số nhân có nghĩa là tạm dừng trong thời gian ngắn khi gặp lỗi giới hạn tốc độ, sau đó thử lại yêu cầu không thành công. Nếu yêu cầu vẫn không thành công, thời gian tạm dừng sẽ được tăng lên và quy trình được lặp lại. Việc này tiếp tục cho đến khi yêu cầu thành công hoặc đạt đến số lần thử lại tối đa.
Vì các yêu cầu không thành công cũng được tính vào giới hạn mỗi phút của bạn, việc liên tục gửi lại một yêu cầu sẽ không hiệu quả. Giới hạn tốc độ có thể được áp dụng trong các khoảng thời gian ngắn hơn - ví dụ: 1 yêu cầu mỗi giây đối với giới hạn 60 RPM - nghĩa là các đợt yêu cầu khối lượng lớn trong thời gian ngắn cũng có thể dẫn đến lỗi giới hạn tốc độ. Backoff theo cấp số nhân hoạt động hiệu quả bằng cách giãn cách các yêu cầu để giảm thiểu tần suất xảy ra các lỗi này.
Trong Python, một giải pháp backoff theo cấp số nhân có thể trông như sau:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Xin lưu ý: Thư viện backoff là công cụ của bên thứ ba. Chúng tôi khuyến khích tất cả khách hàng của mình thực hiện thẩm định cần thiết khi xác thực bất kỳ mã bên ngoài nào cho dự án của họ.)
Nếu việc triển khai backoff theo cấp số nhân vẫn dẫn đến lỗi này, bạn có thể cần tăng cấp sử dụng của mình. Bạn có thể xem các giới hạn tốc độ hiện tại của mình và cách tăng cấp độ tin cậy để tăng giới hạn tốc độ trong phần giới hạn của cài đặt tài khoản.