రేట్ లిమిట్ ఎర్రర్లు (‘చాలా ఎక్కువ అభ్యర్థనలు’, ‘రేట్ లిమిట్ చేరుకుంది’) మీ సంస్థ యొక్క రేట్ లిమిట్ను చేరుకోవడం వల్ల వస్తాయి. ఇది నిమిషానికి సమర్పించగల గరిష్ఠ అభ్యర్థనలు మరియు టోకెన్ల సంఖ్య. లిమిట్కు చేరుకున్నట్లయితే, రేట్ లిమిట్ రీసెట్ అయ్యే వరకు సంస్థ అభ్యర్థనలను విజయవంతంగా సమర్పించలేదు. ఎర్రర్ సందేశం ఇలా కనిపిస్తుంది:
org-exampleorgid123 సంస్థలో gpt-3.5-turbo కోసం నిమిషానికి టోకెన్ల పరిమితి చేరుకుంది.
పరిమితి: 10000.000000 / నిమి. ప్రస్తుతం: 10020.000000 / నిమి. ఈ ఎర్రర్లను ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ ఉపయోగించి నిర్వహించాలని మేము సిఫార్సు చేస్తున్నాము. ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ అంటే రేట్ లిమిట్ ఎర్రర్ వచ్చినప్పుడు కొద్దిసేపు వేచి ఉండి, విఫలమైన అభ్యర్థనను మళ్లీ ప్రయత్నించడం. అభ్యర్థన ఇంకా విఫలమైతే, వేచి ఉండే వ్యవధిని పెంచి ఆ ప్రక్రియను పునరావృతం చేస్తారు. అభ్యర్థన విజయవంతమయ్యే వరకు లేదా గరిష్ఠ మళ్లీ ప్రయత్నాల సంఖ్యకు చేరుకునే వరకు ఇది కొనసాగుతుంది.
విఫలమైన అభ్యర్థనలు మీ నిమిషానికి వర్తించే లిమిట్లో చేరుతాయి కాబట్టి, అభ్యర్థనను నిరంతరం మళ్లీ పంపడం పనిచేయదు. రేట్ లిమిట్లను ఇంకా తక్కువ వ్యవధులకూ వర్తింపజేయవచ్చు - ఉదాహరణకు, 60 RPM లిమిట్కు సెకనుకు 1 అభ్యర్థన - అంటే తక్కువ సమయంలో అధిక సంఖ్యలో వచ్చే అభ్యర్థనల బర్స్ట్లు కూడా రేట్ లిమిట్ ఎర్రర్లకు దారితీయవచ్చు. ఈ ఎర్రర్ల తరచుదనాన్ని తగ్గించడానికి అభ్యర్థనల మధ్య విరామం ఉంచడం ద్వారా ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ బాగా పనిచేస్తుంది.
Pythonలో, ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ పరిష్కారం ఇలా ఉండవచ్చు:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(దయచేసి గమనించండి: backoff లైబ్రరీ ఒక మూడవ-పక్ష సాధనం. మా కస్టమర్లందరూ తమ ప్రాజెక్ట్ల కోసం ఏదైనా బాహ్య కోడ్ను ధృవీకరించే విషయంలో తగిన జాగ్రత్తలు తీసుకోవాలని మేము ప్రోత్సహిస్తున్నాము.)
ఎక్స్పోనెన్షియల్ బ్యాక్ఆఫ్ అమలు చేసినప్పటికీ ఈ ఎర్రర్ వస్తూనే ఉంటే, మీరు మీ వినియోగ టియర్ను పెంచాల్సి రావచ్చు. మీ ప్రస్తుత రేట్ లిమిట్లను మరియు మీ రేట్ లిమిట్లను పెంచుకోవడానికి మీ ట్రస్ట్ టియర్ను ఎలా పెంచాలో మీ ఖాతా సెట్టింగ్లలోని లిమిట్ల విభాగంలో చూడవచ్చు.