సమగ్ర అవలోకనం
API వినియోగం రేట్ లిమిట్లకు లోబడి ఉంటుంది. ఈ పరిమితులు నిర్దిష్ట వ్యవధిలో అభ్యర్థనలు, టోకెన్లు లేదా ఇతర వినియోగాన్ని నియంత్రిస్తాయి.
429 ప్రతిస్పందన తాత్కాలిక రేట్ లిమిట్ను, ప్రీపెయిడ్ నిల్వ అయిపోవడాన్ని లేదా ఖర్చు లేదా వినియోగ పరిమితిని సూచించవచ్చు. మళ్లీ ప్రయత్నించే లేదా మీ బిల్లింగ్ సెట్టింగ్లను మార్చే ముందు లోపం వివరాలను తనిఖీ చేయండి.
కారణాన్ని గుర్తించండి
అందుబాటులో ఉంటే, లోప సందేశాన్ని, error.codeను చదవండి. బిల్లింగ్కు సంబంధించిన లోపాలు విస్తృతమైన error.type విలువ insufficient_quotaను కూడా ఉపయోగించవచ్చు.
| లోపం లేదా కోడ్ | దీని అర్థం | ఏం చేయాలి |
| అభ్యర్థనలు లేదా టోకెన్ల రేట్ లిమిట్ చేరుకుంది | అభ్యర్థనలు వర్తించే రేట్ లిమిట్ను మించుతున్నాయి. | అభ్యర్థనల వేగాన్ని నియంత్రించి, దిగువ పునఃప్రయత్న మార్గదర్శకాలను పాటించండి. |
| credit_balance_exhausted | సంస్థకు ప్రీపెయిడ్ క్రెడిట్స్ ఏవీ మిగిలి లేవు. | మీ API బిల్లింగ్ సెట్టింగ్లలో క్రెడిట్స్ను జోడించండి. |
| organization_usage_limit_exceeded | సంస్థ OpenAI కేటాయించిన వినియోగ పరిమితిని చేరుకుంది. | ఆమోదించిన వినియోగ పరిమితిని పెంచమని అభ్యర్థించండి. |
| organization_spend_limit_exceeded | సంస్థకు అమలు చేస్తున్న ఖర్చు పరిమితి చేరుకుంది. | పరిమితిని పెంచండి లేదా తొలగించండి, లేదంటే నెలవారీ పునఃప్రారంభం వరకు వేచి ఉండండి. |
| project_spend_limit_exceeded | ప్రాజెక్ట్కు అమలు చేస్తున్న ఖర్చు పరిమితి చేరుకుంది. | ప్రాజెక్ట్ పరిమితిని పెంచండి లేదా తొలగించండి, లేదంటే నెలవారీ పునఃప్రారంభం వరకు వేచి ఉండండి. |
బిల్లింగ్, ఖర్చు లేదా కోటా లోపం విషయంలో మళ్లీ ప్రయత్నించినా ప్రాప్యత పునరుద్ధరించబడదు. ముందుగా నివేదించిన నిల్వ లేదా పరిమితి సమస్యను పరిష్కరించండి. అమలు చేస్తున్న ఖర్చు పరిమితుల మార్పులు వర్తించడానికి కొంత సమయం పట్టవచ్చు.
ఖర్చు పరిమితిని మార్చడానికి సంబంధిత సంస్థ లేదా ప్రాజెక్ట్ సెట్టింగ్లను నిర్వహించే అనుమతి అవసరం. మీకు ప్రాప్యత లేకపోతే, ఆ సెట్టింగ్లను నిర్వహించే వ్యక్తిని అడగండి.
ప్రీపెయిడ్ క్రెడిట్స్ కొనుగోళ్ల కోసం చూడండి: ప్రీపెయిడ్ API బిల్లింగ్ను ఏర్పాటు చేసి నిర్వహించడం.
విభిన్న ఖర్చు నియంత్రణల కోసం API ఖర్చు పరిమితుల మార్గదర్శిని చూడండి.
వర్తించే రేట్ లిమిట్లను తనిఖీ చేయండి
ప్రస్తుత వినియోగ స్థాయి, పరిమితులను సమీక్షించడానికి మీ సంస్థ పరిమితులు పేజీకి వెళ్లండి.
రేట్ లిమిట్లు సంస్థ, ప్రాజెక్ట్ స్థాయుల్లో వర్తించవచ్చు. అవి వ్యక్తిగత వినియోగదారులకు కేటాయించిన పరిమితులు కావు. మోడల్ను బట్టి కూడా పరిమితులు మారుతాయి, కొన్ని మోడల్ కుటుంబాలకు ఒకే పరిమితి వర్తిస్తుంది.
లోపం ఏ పరిమితిని సూచిస్తుందో తనిఖీ చేయండి. ఉదాహరణకు, నిమిషానికి అభ్యర్థనలు, నిమిషానికి టోకెన్లు వేర్వేరు పరిమితులు. ఒక పరిమితిని చేరుకున్నప్పటికీ, మరో పరిమితికంటే తక్కువగానే ఉండవచ్చు.
మీ అభ్యర్థన ఉపయోగించిన సంస్థను నిర్ధారించండి
మీరు అనేక సంస్థల్లో సభ్యులైతే, మీ అభ్యర్థనలు ఉద్దేశించిన సంస్థను, ప్రాజెక్ట్ను ఉపయోగిస్తున్నాయని నిర్ధారించండి.
మీ API కీ డిఫాల్ట్ సంస్థను ఉపయోగిస్తుంటే, మీ డిఫాల్ట్ సంస్థ సెట్టింగ్ను తనిఖీ చేయండి. వేర్వేరు సంస్థలకు వేర్వేరు బిల్లింగ్ ఏర్పాట్లు, వినియోగ స్థాయిలు ఉండవచ్చు.
తాత్కాలిక రేట్ లిమిట్ లోపాలను తగ్గించండి
అభ్యర్థనల వేగాన్ని నియంత్రించి, ఒకేసారి భారీగా పంపవద్దు
ఒకేసారి పెద్ద సంఖ్యలో పంపకుండా, కాలవ్యవధిలో అభ్యర్థనలను విస్తరించి పంపండి.
ప్రదర్శించిన వ్యవధికంటే తక్కువ వ్యవధుల్లో కూడా రేట్ లిమిట్లు అమలు కావచ్చు. ఉదాహరణకు, నిమిషానికి 60 అభ్యర్థనల పరిమితిని ప్రతి 1 సెకను వ్యవధికి కూడా అమలు చేయవచ్చు. అందువల్ల, మీ సగటు వినియోగం నిమిషపు పరిమితికంటే తక్కువగా కనిపించినా, తక్కువ సమయంలో భారీగా పంపితే లోపం రావచ్చు.
పొడవైన ప్రాంప్ట్లు, అనవసరంగా అధికంగా కేటాయించిన అవుట్పుట్ టోకెన్లు కూడా టోకెన్ రేట్ లోపాలకు కారణం కావచ్చు.
కొంత ఆలస్యం తర్వాత మళ్లీ ప్రయత్నించండి
తాత్కాలిక రేట్ లిమిట్ లోపాల విషయంలో:
ప్రతిస్పందనలో Retry-After హెడర్ ఉందో లేదో తనిఖీ చేయండి.
హెడర్లో చెల్లుబాటు అయ్యే ఆలస్యం ఉంటే, మళ్లీ ప్రయత్నించే ముందు కనీసం అంత సమయం వేచి ఉండండి.
హెడర్ లేకపోతే లేదా చెల్లకపోతే, ప్రతి విఫల ప్రయత్నం తర్వాత ఆలస్యాన్ని ఘాతీయంగా పెంచి, కొద్దిగా యాదృచ్ఛిక ఆలస్యాన్ని జోడించండి.
మళ్లీ ప్రయత్నించే సార్ల సంఖ్యతో పాటు, దానికోసం వెచ్చించే మొత్తం సమయాన్ని కూడా పరిమితం చేయండి.
అధికారిక OpenAI SDKలు అర్హమైన రేట్ లిమిట్ లోపాల విషయంలో ఇప్పటికే మళ్లీ ప్రయత్నిస్తాయి, అలాగే Retry-After ఉంటే దాన్ని పాటిస్తాయి. మరో పునఃప్రయత్న చక్రాన్ని జోడించే ముందు ఆ ప్రయత్నాలను పరిగణనలోకి తీసుకోండి.
విఫలమైన అభ్యర్థనలు నిమిషానికి వర్తించే పరిమితుల్లో లెక్కించబడతాయి. అదే అభ్యర్థనను నిరంతరం మళ్లీ పంపడం వల్ల సమస్య ఎక్కువసేపు కొనసాగవచ్చు.
అమలు మార్గదర్శకాలు, ఉదాహరణల కోసం API రేట్ లిమిట్ మార్గదర్శిని చూడండి. ఏదైనా మూడవ పక్ష పునఃప్రయత్న లైబ్రరీని మీ అనువర్తనంలో ఉపయోగించే ముందు సమీక్షించండి.
ప్రాంప్ట్, అవుట్పుట్ పరిమాణాన్ని సమీక్షించండి
మీ ప్రాంప్ట్ల నుంచి అనవసర సూచనలు, పునరావృత సందర్భం, ఉదాహరణలను తొలగించండి. సవరించిన ప్రాంప్ట్ ఇప్పటికీ మీకు అవసరమైన ఫలితాన్ని ఇస్తుందని నిర్ధారించడానికి పరీక్షించండి.
మీ ఎండ్పాయింట్, మోడల్ మద్దతిచ్చే అవుట్పుట్-టోకెన్ పరామితిని ఉపయోగించండి:
Chat Completionsలో max_completion_tokens ఉపయోగించబడుతుంది.
Responsesలో max_output_tokens ఉపయోగించబడుతుంది.
అభ్యర్థనకు అవసరమైనదానికంటే చాలా ఎక్కువ కేటాయింపును సెట్ చేయవద్దు. ఈ పరామితుల్లో రీజనింగ్ టోకెన్లతో పాటు కనిపించే అవుట్పుట్ కూడా ఉంటుంది. కాబట్టి రీజనింగ్ మోడల్ను ఉపయోగించేటప్పుడు రెండింటికీ తగినంత కేటాయించండి.
మీ వినియోగ స్థాయిని సమీక్షించండి
ఒకేసారి అధిక అభ్యర్థనలు పంపడాన్ని తగ్గించి, టోకెన్ వినియోగాన్ని సమీక్షించిన తర్వాత కూడా లోపాలు కొనసాగితే, మీ పరిమితులను పెంచడానికి అందుబాటులో ఉన్న మార్గాల కోసం మీ పరిమితులు పేజీని తనిఖీ చేయండి.
API ఖర్చు పెరిగేకొద్దీ, OpenAI ఒక సంస్థను స్వయంచాలకంగా ఉన్నత వినియోగ స్థాయికి మార్చవచ్చు. దీనివల్ల సాధారణంగా చాలా మోడళ్లకు రేట్ లిమిట్లు పెరుగుతాయి.
మీకు ఆమోదించిన నెలవారీ వినియోగ పరిమితి, అభ్యర్థనల మరియు టోకెన్ల రేట్ లిమిట్లకు వేరు. ఒకటి పెరిగితే మరొకటి కూడా మారిందని నిర్ధారణ అయినట్లు భావించకూడదు.
సమస్య కొనసాగితే
సమస్యను పైస్థాయికి పంపే ముందు
ఖచ్చితమైన లోప సందేశం, ఏదైనా లోప కోడ్, సంబంధిత అభ్యర్థన గుర్తింపులు, మీ సమయ మండలంతో సహా లోపం సంభవించిన సమయం, మీ ఖాతాలో చూపిన సంబంధిత పరిమితి వంటి వివరాలను సిద్ధంగా ఉంచుకోండి. మీరు ఇప్పటికే ప్రయత్నించిన దశలను నమోదు చేసుకోండి.
OpenAI సహాయ బృందాన్ని సంప్రదించండి
నివేదించిన పరిమితిని తనిఖీ చేసిన తర్వాత కూడా సమస్యను పరిష్కరించలేకపోతే, హెల్ప్ సెంటర్ ద్వారా OpenAI సహాయ బృందాన్ని సంప్రదించండి. API కీలు లేదా ఇతర ప్రమాణీకరణ రహస్యాలను చేర్చవద్దు.