Hitilafu za kikomo cha maombi ('Maombi Mengi Sana', ‘Kikomo cha maombi kimefikiwa’) husababishwa na kufikia kikomo cha maombi cha shirika lako, ambacho ni idadi ya juu zaidi ya maombi na tokeni zinazoweza kuwasilishwa kwa dakika. Ikiwa kikomo kimefikiwa, shirika haliwezi kuwasilisha maombi kwa mafanikio hadi kikomo cha maombi kiwekwe upya. Ujumbe wa hitilafu unaonekana hivi:
Kikomo cha kasi kimefikiwa kwa gpt-3.5-turbo katika shirika org-exampleorgid123 kwa tokeni kwa dakika.
Kikomo: 10000.000000 / dakika. Sasa: 10020.000000 / dakika. Tunapendekeza kushughulikia hitilafu hizi kwa kutumia kusubiri kwa muda unaoongezeka kwa mtindo wa kielelezo. Kusubiri kwa muda unaoongezeka kwa mtindo wa kielelezo humaanisha kusubiri kwa muda mfupi hitilafu ya kikomo cha maombi inapotokea, kisha kujaribu tena ombi ambalo halikufaulu. Ikiwa ombi bado halijafaulu, muda wa kusubiri huongezwa na mchakato hurudiwa. Hili huendelea hadi ombi lifaulu au hadi idadi ya juu zaidi ya majaribio ya kurudia ifikiwe.
Kwa kuwa maombi yasiyofaulu huchangia kikomo chako cha kila dakika, kuendelea kutuma ombi upya hakutafanya kazi. Vikomo vya maombi vinaweza kutumika kwa vipindi vifupi zaidi - kwa mfano, ombi 1 kwa sekunde kwa kikomo cha 60 RPM - kumaanisha milipuko mifupi ya maombi mengi pia inaweza kusababisha hitilafu za kikomo cha maombi. Kusubiri kwa muda unaoongezeka kwa mtindo wa kielelezo hufanya kazi vizuri kwa kuweka nafasi kati ya maombi ili kupunguza mara ambazo hitilafu hizi hutokea.
Katika Python, suluhisho la kusubiri kwa muda unaoongezeka kwa mtindo wa kielelezo linaweza kuonekana hivi:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Tafadhali kumbuka: Maktaba ya backoff ni zana ya mtu mwingine. Tunawahimiza wateja wetu wote kufanya uchunguzi unaostahili wanapothibitisha msimbo wowote wa nje kwa ajili ya miradi yao.)
Ikiwa kutekeleza kusubiri kwa muda unaoongezeka kwa mtindo wa kielelezo bado kunasababisha hitilafu hii, huenda ukahitaji kuongeza kiwango chako cha matumizi. Unaweza kuona vikomo vyako vya sasa vya maombi na jinsi ya kuongeza kiwango chako cha uaminifu ili kuongeza vikomo vyako vya maombi katika sehemu ya vikomo ya mipangilio ya akaunti yako.