Giới thiệu về giới hạn tốc độ
Giới hạn tốc độ là các hạn chế mà API của chúng tôi áp đặt lên số lần người dùng hoặc ứng dụng khách có thể truy cập dịch vụ của chúng tôi trong một khoảng thời gian xác định.
Giới hạn tốc độ có thể được chia nhỏ, nghĩa là chúng được thực thi trong các khoảng thời gian ngắn hơn (ví dụ: 60.000 yêu cầu/phút có thể được thực thi thành 1.000 yêu cầu/giây). Việc gửi các đợt yêu cầu ngắn hoặc ngữ cảnh (câu lệnh+max_completion_tokens) quá dài có thể dẫn đến lỗi giới hạn tốc độ, ngay cả khi về mặt kỹ thuật bạn vẫn dưới giới hạn tốc độ mỗi phút.
Các phương pháp hay nhất để ngăn lỗi giới hạn tốc độ
Tổ chức mặc định
Nếu bạn thuộc nhiều tổ chức có các gói thanh toán và cấp mức sử dụng khác nhau, hãy đảm bảo tổ chức mặc định của bạn được đặt thành tổ chức phù hợp để kiểm soát tổ chức nào được dùng mặc định khi thực hiện yêu cầu bằng khóa API của bạn.
Backoff theo cấp số nhân
Thêm logic backoff theo cấp số nhân vào mã của bạn. Logic này sẽ bắt và thử lại các yêu cầu không thành công.
Giới hạn token
Giảm max_completion_tokens để khớp với kích thước các phần hoàn tất của bạn. Nhu cầu sử dụng được ước tính từ giá trị này, vì vậy việc giảm giá trị đó sẽ giảm khả năng bạn bất ngờ nhận được lỗi giới hạn tốc độ. Ví dụ: nếu câu lệnh của bạn tạo ra các phần hoàn tất khoảng 400 token, giá trị max_tokens nên có kích thước tương tự.
Tối ưu hóa câu lệnh của bạn. Bạn có thể làm điều này bằng cách rút ngắn hướng dẫn, loại bỏ các từ thừa và bỏ bớt các ví dụ không cần thiết. Bạn có thể cần chỉnh sửa câu lệnh và kiểm thử sau những thay đổi này để đảm bảo câu lệnh vẫn hoạt động tốt. Lợi ích bổ sung của câu lệnh ngắn hơn là giảm chi phí cho bạn. Nếu cần trợ giúp, hãy cho chúng tôi biết.
Cấp mức sử dụng
Nếu bạn đã triển khai các phương pháp hay nhất này nhưng vẫn gặp lỗi giới hạn tốc độ, bạn có thể tăng giới hạn tốc độ bằng cách nâng cấp mức sử dụng. Bạn có thể xem các giới hạn tốc độ hiện tại, cấp mức sử dụng hiện tại và cách nâng cấp mức sử dụng/giới hạn trong phần Giới hạn của cài đặt tài khoản.
Đọc thêm
Xem tài liệu toàn diện của chúng tôi về các cấp mức sử dụng và giới hạn tốc độ tại đây.