Giới thiệu về giới hạn tốc độ
Giới hạn tốc độ là các hạn chế mà API của chúng tôi áp dụng đối với số lần một người dùng hoặc ứng dụng khách có thể truy cập dịch vụ của chúng tôi trong một khoảng thời gian xác định.
Giới hạn tốc độ có thể được lượng tử hóa, nghĩa là chúng được thực thi trong các khoảng thời gian ngắn hơn (ví dụ: 60.000 yêu cầu/phút có thể được thực thi thành 1.000 yêu cầu/giây). Việc gửi các đợt yêu cầu ngắn hoặc ngữ cảnh (câu lệnh+max_completion_tokens) quá dài có thể dẫn đến lỗi giới hạn tốc độ, ngay cả khi về mặt kỹ thuật bạn vẫn đang dưới giới hạn tốc độ tính theo phút.
Các phương pháp hay nhất để ngăn lỗi giới hạn tốc độ
Tổ chức mặc định
Nếu bạn thuộc nhiều tổ chức có các gói thanh toán và bậc sử dụng khác nhau, hãy đảm bảo tổ chức mặc định của bạn được đặt thành tổ chức phù hợp để kiểm soát tổ chức nào sẽ được dùng mặc định khi gửi yêu cầu bằng khóa API của bạn.
Exponential backoff
Hãy đưa logic exponential backoff vào mã của bạn. Điều này sẽ bắt và thử lại các yêu cầu thất bại.
Giới hạn token
Giảm max_completion_tokens để phù hợp với kích thước của phần hoàn thành. Nhu cầu sử dụng được ước tính từ giá trị này, vì vậy việc giảm nó sẽ làm giảm khả năng bạn bất ngờ gặp lỗi giới hạn tốc độ. Ví dụ: nếu câu lệnh của bạn tạo ra các phần hoàn thành khoảng 400 token, thì giá trị max_tokens nên ở mức tương tự.
Tối ưu hóa câu lệnh của bạn. Bạn có thể làm điều này bằng cách rút ngắn hướng dẫn, bỏ bớt từ ngữ thừa và loại bỏ các ví dụ không cần thiết. Bạn có thể cần tiếp tục tinh chỉnh câu lệnh và kiểm thử sau các thay đổi này để đảm bảo nó vẫn hoạt động tốt. Một lợi ích thêm của câu lệnh ngắn hơn là giảm chi phí cho bạn. Nếu cần trợ giúp, hãy cho chúng tôi biết.
Bậc sử dụng
Nếu bạn đã áp dụng các phương pháp hay nhất này mà vẫn gặp lỗi giới hạn tốc độ, bạn có thể tăng giới hạn tốc độ của mình bằng cách tăng bậc sử dụng. Bạn có thể xem giới hạn tốc độ hiện tại, bậc sử dụng hiện tại và cách nâng bậc/giới hạn sử dụng trong phần Giới hạn trong cài đặt tài khoản của mình.
Đọc thêm
Xem tài liệu đầy đủ của chúng tôi về bậc sử dụng và giới hạn tốc độ tại đây.