రేట్ లిమిట్లకు పరిచయం
రేట్ లిమిట్లు అనేవి ఒక నిర్దిష్ట కాల వ్యవధిలో వినియోగదారు లేదా క్లయింట్ మా సేవలను ఎన్నిసార్లు యాక్సెస్ చేయగలరో దానిపై మా API విధించే పరిమితులు.
రేట్ లిమిట్లను క్వాంటైజ్ చేయవచ్చు, అంటే అవి తక్కువ కాల వ్యవధులపై అమలు చేయబడతాయి (ఉదా. నిమిషానికి 60,000 అభ్యర్థనలను సెకనుకు 1,000 అభ్యర్థనలుగా అమలు చేయవచ్చు). చిన్న వ్యవధిలో వరుసగా అభ్యర్థనలను పంపడం లేదా చాలా పొడవైన సందర్భాలను (prompts+max_completion_tokens) పంపడం వల్ల, మీరు సాంకేతికంగా ప్రతి నిమిషానికి ఉన్న రేట్ లిమిట్ కంటే తక్కువగా ఉన్నప్పటికీ, రేట్ లిమిట్ లోపాలు రావచ్చు.
రేట్ లిమిట్ లోపాలను నివారించడానికి ఉత్తమ పద్ధతులు
డిఫాల్ట్ సంస్థ
మీరు వేర్వేరు బిల్లింగ్ ప్లాన్లు మరియు వినియోగ స్థాయిలు ఉన్న అనేక సంస్థలకు చెందినట్లయితే, మీ API కీలతో అభ్యర్థనలు చేసేటప్పుడు డిఫాల్ట్గా ఏ సంస్థ ఉపయోగించబడాలో నియంత్రించడానికి మీ డిఫాల్ట్ సంస్థ తగిన సంస్థకు సెట్ చేయబడిందని నిర్ధారించుకోండి.
ఎక్స్పోనెన్షియల్ బ్యాకాఫ్
మీ కోడ్లో ఎక్స్పోనెన్షియల్ బ్యాకాఫ్ లాజిక్ను చేర్చండి. ఇది విఫలమైన అభ్యర్థనలను గుర్తించి మళ్లీ ప్రయత్నిస్తుంది.
టోకెన్ పరిమితులు
మీ కంప్లీషన్ల పరిమాణానికి సరిపోయేలా max_completion_tokens తగ్గించండి. ఈ విలువ ఆధారంగా వినియోగ అవసరాలను అంచనా వేస్తారు, కాబట్టి దాన్ని తగ్గించడం వల్ల అనుకోకుండా రేట్ లిమిట్ లోపం రావడానికి అవకాశం తగ్గుతుంది. ఉదాహరణకు, మీ ప్రాంప్ట్ సుమారు 400 టోకెన్ల కంప్లీషన్లను సృష్టిస్తే, max_tokens విలువ కూడా దాదాపు అదే పరిమాణంలో ఉండాలి.
మీ ప్రాంప్ట్లను ఆప్టిమైజ్ చేయండి. మీ సూచనలను చిన్నగా చేయడం, అదనపు పదాలను తీసివేయడం, అదనపు ఉదాహరణలను తొలగించడం ద్వారా మీరు దీన్ని చేయవచ్చు. ఈ మార్పుల తర్వాత అది ఇంకా బాగా పనిచేస్తుందో లేదో నిర్ధారించుకోవడానికి మీరు మీ ప్రాంప్ట్పై మరింత పని చేసి, దాన్ని పరీక్షించాల్సి రావచ్చు. చిన్న ప్రాంప్ట్ వల్ల మీకు ఖర్చు తగ్గడం అదనపు ప్రయోజనం. మీకు సహాయం కావాలంటే, మాకు తెలియజేయండి.
వినియోగ స్థాయి
మీరు ఈ ఉత్తమ పద్ధతులను అమలు చేసినప్పటికీ ఇంకా రేట్ లిమిట్ లోపాలను ఎదుర్కొంటున్నట్లయితే, మీ వినియోగ స్థాయిని పెంచడం ద్వారా మీ రేట్ లిమిట్లను పెంచుకోవచ్చు. మీ ఖాతా సెట్టింగ్లలోని లిమిట్ల విభాగంలో మీరు మీ ప్రస్తుత రేట్ లిమిట్లు, మీ ప్రస్తుత వినియోగ స్థాయి, అలాగే మీ వినియోగ స్థాయి/రేట్ లిమిట్లను ఎలా పెంచాలో చూడవచ్చు.
మరింత చదవండి
వినియోగ స్థాయిలు మరియు రేట్ లిమిట్లపై మా సమగ్ర డాక్యుమెంటేషన్ను ఇక్కడ సమీక్షించండి.