விகித வரம்பு பிழைகள் ('Too Many Requests', ‘Rate limit reached’) உங்கள் நிறுவனத்தின் விகித வரம்பை எட்டுவதால் ஏற்படுகின்றன; இது ஒரு நிமிடத்திற்கு சமர்ப்பிக்கக்கூடிய அதிகபட்ச கோரிக்கைகள் மற்றும் டோக்கன்களின் எண்ணிக்கையாகும். வரம்பு எட்டப்பட்டால், விகித வரம்பு மீட்டமைக்கப்படும் வரை நிறுவனம் கோரிக்கைகளை வெற்றிகரமாகச் சமர்ப்பிக்க முடியாது. பிழைச் செய்தி இதுபோல இருக்கும்:
ஒரு நிமிடத்திற்கான டோக்கன்களில் organization org-exampleorgid123 இல் gpt-3.5-turbo க்கு ரேட் லிமிட் எட்டப்பட்டது.
வரம்பு: 10000.000000 / நிமிடம். தற்போதையது: 10020.000000 / நிமிடம். இந்தப் பிழைகளை எக்ஸ்போனென்ஷியல் பேக்ஆஃப் மூலம் கையாள பரிந்துரைக்கிறோம். எக்ஸ்போனென்ஷியல் பேக்ஆஃப் என்பது, விகித வரம்பு பிழை ஏற்பட்டால் சிறிது நேரம் காத்திருந்து, பின்னர் வெற்றியளிக்காத கோரிக்கையை மீண்டும் முயல்வதாகும். கோரிக்கை இன்னும் வெற்றியளிக்கவில்லை என்றால், காத்திருக்கும் நேரம் அதிகரிக்கப்பட்டு செயல்முறை மீண்டும் செய்யப்படும். கோரிக்கை வெற்றியடையும் வரை அல்லது மறுமுயற்சிகளுக்கான அதிகபட்ச எண்ணிக்கை எட்டப்படும் வரை இது தொடரும்.
வெற்றியளிக்காத கோரிக்கைகள் உங்கள் நிமிடத்திற்கான வரம்பில் கணக்கிடப்படுவதால், ஒரு கோரிக்கையை தொடர்ந்து மீண்டும் அனுப்புவது செயல்படாது. விகித வரம்புகள் குறுகிய கால இடைவெளிகளிலும் அமல்படுத்தப்படலாம் - எடுத்துக்காட்டாக, 60 RPM வரம்பிற்கு விநாடிக்கு 1 கோரிக்கை - எனவே குறுகிய நேரத்தில் அதிக அளவிலான கோரிக்கைகள் திடீரென அனுப்பப்படுவதும் விகித வரம்பு பிழைகளுக்கு வழிவகுக்கும். இந்தப் பிழைகளின் அடிக்கடி நிகழ்வதை குறைக்க கோரிக்கைகளுக்கு இடையே இடைவெளி வைப்பதால், எக்ஸ்போனென்ஷியல் பேக்ஆஃப் நன்றாகச் செயல்படுகிறது.
Python-இல், எக்ஸ்போனென்ஷியல் பேக்ஆஃப் தீர்வு இதுபோல இருக்கலாம்:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(தயவுசெய்து கவனிக்கவும்: backoff நூலகம் மூன்றாம் தரப்பு கருவியாகும். எங்கள் வாடிக்கையாளர்கள் அனைவரும் தங்கள் திட்டங்களுக்கு வெளிப்புறக் குறியீட்டைச் சரிபார்க்கும்போது உரிய முன்சோதனையைச் செய்யுமாறு ஊக்குவிக்கிறோம்.)
எக்ஸ்போனென்ஷியல் பேக்ஆஃப்பை செயல்படுத்திய பின்னும் இந்தப் பிழை ஏற்பட்டால், நீங்கள் உங்கள் பயன்பாட்டு அடுக்கை அதிகரிக்க வேண்டியிருக்கலாம். உங்கள் நடப்பு விகித வரம்புகளையும், உங்கள் விகித வரம்புகளை அதிகரிக்க உங்கள் நம்பிக்கை அடுக்கை எவ்வாறு அதிகரிப்பது என்பதையும், உங்கள் கணக்கு அமைப்புகளில் உள்ள வரம்புகள் பிரிவில் பார்க்கலாம்.