Ralat had kadar ('Too Many Requests', ‘Rate limit reached’) berlaku apabila organisasi anda mencapai had kadar, iaitu bilangan maksimum permintaan dan token yang boleh dihantar setiap minit. Jika had tersebut dicapai, organisasi tidak dapat menghantar permintaan dengan jayanya sehingga had kadar ditetapkan semula. Mesej ralatnya seperti berikut:
Rate limit reached for gpt-3.5-turbo in organization org-exampleorgid123 on tokens per min.
Limit: 10000.000000 / min. Current: 10020.000000 / min. Kami mengesyorkan anda menangani ralat ini menggunakan backoff eksponen. Backoff eksponen bermaksud melakukan jeda singkat apabila ralat had kadar berlaku, kemudian mencuba semula permintaan yang gagal. Jika permintaan masih gagal, tempoh jeda ditambah dan proses ini diulang. Ini berterusan sehingga permintaan berjaya atau sehingga bilangan maksimum cubaan semula dicapai.
Memandangkan permintaan yang gagal menyumbang kepada had setiap minit anda, menghantar semula permintaan secara berterusan tidak akan berjaya. Had kadar boleh dikenakan dalam tempoh yang lebih singkat — contohnya, 1 permintaan sesaat untuk had 60 RPM — yang bermaksud lonjakan mendadak dengan banyak permintaan dalam tempoh singkat juga boleh menyebabkan ralat had kadar. Backoff eksponen berfungsi dengan baik kerana ia menjarakkan permintaan untuk meminimumkan kekerapan ralat ini.
Dalam Python, penyelesaian backoff eksponen boleh kelihatan seperti ini:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Sila ambil perhatian: Pustaka backoff ialah alat pihak ketiga. Kami menggalakkan semua pelanggan kami melakukan semakan sewajarnya semasa mengesahkan sebarang kod luaran untuk projek mereka.)
Jika pelaksanaan backoff eksponen masih menghasilkan ralat ini, anda mungkin perlu meningkatkan peringkat penggunaan anda. Anda boleh melihat had kadar semasa anda dan cara meningkatkan peringkat kepercayaan anda untuk menaikkan had kadar anda dalam bahagian had pada tetapan akaun anda.