നിങ്ങളുടെ സ്ഥാപനത്തിന്റെ നിരക്ക് പരിധി മറികടക്കുന്നതാണ് നിരക്ക് പരിധി പിശകുകൾക്ക് ('Too Many Requests', ‘Rate limit reached’) കാരണം; ഇത് ഓരോ മിനിറ്റിലും സമർപ്പിക്കാവുന്ന അഭ്യർത്ഥനകളുടെയും ടോക്കണുകളുടെയും പരമാവധി എണ്ണമാണ്. പരിധിയിലെത്തിയാൽ, നിരക്ക് പരിധി റീസെറ്റ് ചെയ്യുന്നതുവരെ സ്ഥാപനത്തിന് അഭ്യർത്ഥനകൾ വിജയകരമായി സമർപ്പിക്കാൻ കഴിയില്ല. പിശക് സന്ദേശം ഇങ്ങനെ കാണപ്പെടുന്നു:
org-exampleorgid123 എന്ന organization-ലുള്ള gpt-3.5-turbo-യ്ക്ക് മിനിറ്റിലെ ടോക്കണുകളിൽ റേറ്റ് ലിമിറ്റിലെത്തി.
പരിധി: 10000.000000 / മിനിറ്റ്. നിലവിൽ: 10020.000000 / മിനിറ്റ്. ഈ പിശകുകൾ എക്സ്പോണൻഷ്യൽ ബാക്കോഫ് ഉപയോഗിച്ച് കൈകാര്യം ചെയ്യാൻ ഞങ്ങൾ ശുപാർശ ചെയ്യുന്നു. എക്സ്പോണൻഷ്യൽ ബാക്കോഫ് എന്നത് നിരക്ക് പരിധി പിശക് സംഭവിക്കുമ്പോൾ കുറച്ച് സമയം കാത്തിരുന്ന ശേഷം പരാജയപ്പെട്ട അഭ്യർത്ഥന വീണ്ടും ശ്രമിക്കുന്നതാണ്. അഭ്യർത്ഥന ഇപ്പോഴും വിജയകരമല്ലെങ്കിൽ, കാത്തിരിപ്പ് സമയം കൂട്ടുകയും പ്രക്രിയ ആവർത്തിക്കുകയും ചെയ്യുന്നു. അഭ്യർത്ഥന വിജയിക്കുന്നതുവരെ അല്ലെങ്കിൽ വീണ്ടും ശ്രമങ്ങളുടെ പരമാവധി എണ്ണം എത്തുന്നതുവരെ ഇത് തുടരും.
പരാജയപ്പെട്ട അഭ്യർത്ഥനകൾ നിങ്ങളുടെ ഓരോ മിനിറ്റിലുമുള്ള പരിധിയിലേക്ക് കണക്കാക്കപ്പെടുന്നതിനാൽ, ഒരു അഭ്യർത്ഥന തുടർച്ചയായി വീണ്ടും അയയ്ക്കുന്നത് പ്രവർത്തിക്കില്ല. നിരക്ക് പരിധികൾ കുറഞ്ഞ കാലയളവുകളിലും ബാധകമാക്കാം - ഉദാഹരണത്തിന്, 60 RPM പരിധിക്ക് സെക്കൻഡിൽ 1 അഭ്യർത്ഥന - അതായത് ചെറിയ സമയത്തെ ഉയർന്ന തോതിലുള്ള അഭ്യർത്ഥനാ ബർസ്റ്റുകളും നിരക്ക് പരിധി പിശകുകൾക്ക് കാരണമാകാം. ഈ പിശകുകളുടെ ആവർത്തനനിരക്ക് കുറയ്ക്കാൻ അഭ്യർത്ഥനകൾ തമ്മിൽ ഇടവേള നൽകുന്നതിനാൽ എക്സ്പോണൻഷ്യൽ ബാക്കോഫ് നന്നായി പ്രവർത്തിക്കുന്നു.
Python-ൽ, ഒരു എക്സ്പോണൻഷ്യൽ ബാക്കോഫ് പരിഹാരം ഇങ്ങനെ കാണാം:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(ദയവായി ശ്രദ്ധിക്കുക: ബാക്കോഫ് ലൈബ്രറി ഒരു മൂന്നാം കക്ഷി ഉപകരണമാണ്. പ്രോജക്റ്റുകൾക്കായി ഏതെങ്കിലും ബാഹ്യ കോഡ് സാധൂകരിക്കുമ്പോൾ ആവശ്യമായ പരിശോധനകൾ നടത്താൻ ഞങ്ങളുടെ എല്ലാ ഉപഭോക്താക്കളെയും ഞങ്ങൾ പ്രോത്സാഹിപ്പിക്കുന്നു.)
എക്സ്പോണൻഷ്യൽ ബാക്കോഫ് നടപ്പിലാക്കിയിട്ടും ഈ പിശക് തുടരുകയാണെങ്കിൽ, നിങ്ങൾക്ക് നിങ്ങളുടെ ഉപയോഗ ടിയർ വർദ്ധിപ്പിക്കേണ്ടി വന്നേക്കാം. നിങ്ങളുടെ അക്കൗണ്ട് ക്രമീകരണങ്ങളിലെ പരിധികൾ വിഭാഗത്തിൽ നിങ്ങളുടെ നിലവിലെ നിരക്ക് പരിധികളും നിരക്ക് പരിധികൾ വർദ്ധിപ്പിക്കാൻ നിങ്ങളുടെ ട്രസ്റ്റ് ടിയർ എങ്ങനെ വർദ്ധിപ്പിക്കാമെന്നും കാണാം.