દર મર્યાદાની ભૂલો ('ઘણી બધી વિનંતીઓ', ‘દર મર્યાદા પહોંચી ગઈ’) તમારી સંસ્થાની દર મર્યાદા સુધી પહોંચી જવાથી થાય છે, જે પ્રતિ મિનિટ સબમિટ કરી શકાય તેવી વિનંતીઓ અને ટોકનની મહત્તમ સંખ્યા છે. જો મર્યાદા સુધી પહોંચી જવાય, તો દર મર્યાદા રીસેટ થાય ત્યાં સુધી સંસ્થા વિનંતીઓ સફળતાપૂર્વક સબમિટ કરી શકતી નથી. ભૂલ સંદેશો આવો દેખાય છે:
પ્રતિ મિનિટ ટોકન માટે organization org-exampleorgid123 માં gpt-3.5-turbo માટે રેટ મર્યાદા પહોંચી.
મર્યાદા: 10000.000000 / મિનિટ. વર્તમાન: 10020.000000 / મિનિટ. અમે આ ભૂલોને એક્સપોનેન્શિયલ બેકઓફનો ઉપયોગ કરીને સંભાળવાની ભલામણ કરીએ છીએ. એક્સપોનેન્શિયલ બેકઓફનો અર્થ છે કે જ્યારે દર મર્યાદાની ભૂલ આવે ત્યારે થોડું સ્લીપ કરવું, પછી નિષ્ફળ ગયેલી વિનંતી ફરી કરવાનો પ્રયાસ કરવો. જો વિનંતી હજી પણ સફળ ન થાય, તો સ્લીપનો સમય વધારવામાં આવે છે અને પ્રક્રિયા ફરી કરવામાં આવે છે. વિનંતી સફળ થાય ત્યાં સુધી અથવા ફરી પ્રયાસોની મહત્તમ સંખ્યા સુધી પહોંચાય ત્યાં સુધી આ ચાલુ રહે છે.
નિષ્ફળ વિનંતીઓ તમારી પ્રતિ-મિનિટ મર્યાદામાં ગણાતી હોવાથી, વિનંતી સતત ફરીથી મોકલવાથી કામ નહીં થાય. દર મર્યાદાઓ ટૂંકા સમયગાળાઓ માટે લાગુ થઈ શકે છે - ઉદાહરણ તરીકે, 60 RPM મર્યાદા માટે પ્રતિ સેકન્ડ 1 વિનંતી - એટલે ટૂંકા સમયમાં વધુ સંખ્યામાં વિનંતીઓના બર્સ્ટથી પણ દર મર્યાદાની ભૂલો થઈ શકે છે. આ ભૂલોની આવર્તન ઘટાડવા માટે વિનંતીઓ વચ્ચે અંતર રાખીને એક્સપોનેન્શિયલ બેકઓફ સારી રીતે કામ કરે છે.
Python માં, એક્સપોનેન્શિયલ બેકઓફ ઉકેલ આવો દેખાઈ શકે છે:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(કૃપા કરીને નોંધો: backoff લાઇબ્રેરી તૃતીય-પક્ષ સાધન છે. અમે અમારા બધા ગ્રાહકોને પ્રોત્સાહિત કરીએ છીએ કે તેઓ તેમના પ્રોજેક્ટ્સ માટે કોઈપણ બાહ્ય કોડને ચકાસતી વખતે પોતે યોગ્ય તપાસ કરે.)
જો એક્સપોનેન્શિયલ બેકઓફ અમલમાં મૂક્યા પછી પણ આ ભૂલ આવે, તો તમારે તમારો ઉપયોગ સ્તર વધારવાની જરૂર પડી શકે છે. તમે તમારા એકાઉન્ટ સેટિંગ્સના મર્યાદા વિભાગમાં તમારી વર્તમાન દર મર્યાદાઓ અને તમારી દર મર્યાદાઓ વધારવા માટે તમારો ટ્રસ્ટ ટિયર કેવી રીતે વધારવો તે જોઈ શકો છો.