रेट मर्यादा त्रुटी ('Too Many Requests', ‘Rate limit reached’) तुमच्या संस्थेची रेट मर्यादा गाठल्यामुळे होतात; ही प्रति मिनिट सबमिट करता येणाऱ्या विनंत्या आणि टोकनची कमाल संख्या असते. मर्यादा गाठल्यास, रेट मर्यादा रीसेट होईपर्यंत संस्था विनंत्या यशस्वीपणे सबमिट करू शकत नाही. त्रुटी संदेश असा दिसतो:
संस्था org-exampleorgid123 मधील gpt-3.5-turbo साठी प्रति मिनिट टोकनवर रेट लिमिट गाठली.
मर्यादा: 10000.000000 / min. सध्याचे: 10020.000000 / min. या त्रुटी घातांकीय बॅकऑफ वापरून हाताळण्याची आम्ही शिफारस करतो. घातांकीय बॅकऑफ म्हणजे रेट मर्यादा त्रुटी आली की थोडा वेळ थांबणे आणि नंतर अयशस्वी विनंती पुन्हा करणे. विनंती अजूनही अयशस्वी असल्यास, थांबण्याचा कालावधी वाढवला जातो आणि प्रक्रिया पुन्हा केली जाते. विनंती यशस्वी होईपर्यंत किंवा पुन्हा प्रयत्नांची कमाल संख्या गाठेपर्यंत हे सुरू राहते.
अयशस्वी विनंत्या तुमच्या प्रति-मिनिट मर्यादेत मोजल्या जात असल्याने, विनंती सतत पुन्हा पाठवणे उपयोगी ठरणार नाही. रेट मर्यादा कमी कालावधींसाठी लागू होऊ शकतात - उदाहरणार्थ, 60 RPM मर्यादेसाठी प्रति सेकंद 1 विनंती - म्हणजे अल्प काळात मोठ्या प्रमाणातील विनंत्यांचे झटके देखील रेट मर्यादा त्रुटींना कारणीभूत ठरू शकतात. या त्रुटींची वारंवारता कमी करण्यासाठी विनंत्यांमध्ये अंतर ठेवून घातांकीय बॅकऑफ चांगले कार्य करते.
Python मध्ये, घातांकीय बॅकऑफ उपाय असा दिसू शकतो:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(कृपया नोंद घ्या: backoff लायब्ररी हे तृतीय-पक्ष साधन आहे. आमच्या सर्व ग्राहकांनी त्यांच्या प्रकल्पांसाठी कोणताही बाह्य कोड पडताळताना योग्य काळजी घ्यावी, असे आम्ही प्रोत्साहित करतो.)
घातांकीय बॅकऑफ लागू करूनही ही त्रुटी येत असल्यास, तुम्हाला तुमचा वापर स्तर वाढवावा लागू शकतो. तुमच्या खाते सेटिंग्जमधील मर्यादा विभागात तुम्ही तुमच्या सध्याच्या रेट मर्यादा पाहू शकता आणि त्या वाढवण्यासाठी तुमचा विश्वास स्तर कसा वाढवायचा ते पाहू शकता.