የተመን ገደብ ስህተቶች (“Too Many Requests”, “Rate limit reached”) የሚከሰቱት የድርጅትዎን የተመን ገደብ ሲደርሱ ነው፤ ይህም በደቂቃ ሊቀርቡ የሚችሉ ከፍተኛው የጥያቄዎች እና token ብዛት ነው። ገደቡ ከተደረሰ፣ የተመን ገደቡ እስኪዳግም ድረስ ድርጅቱ ጥያቄዎችን በተሳካ ሁኔታ ማቅረብ አይችልም። የስህተት መልዕክቱ እንዲህ ይመስላል፦
ለgpt-3.5-turbo በድርጅት org-exampleorgid123 ላይ በደቂቃ token ላይ ያለው rate limit ደርሷል።
ገደብ፦ 10000.000000 / ደቂቃ። አሁን፦ 10020.000000 / ደቂቃ። እነዚህን ስህተቶች ኤክስፖኔንሻል ባክኦፍ በመጠቀም እንዲያስተናግዱ እንመክራለን። ኤክስፖኔንሻል ባክኦፍ ማለት የተመን ገደብ ስህተት ሲከሰት ለአጭር ጊዜ መጠበቅ፣ ከዚያም ያልተሳካውን ጥያቄ እንደገና መሞከር ማለት ነው። ጥያቄው አሁንም ካልተሳካ፣ የመጠበቂያው ጊዜ ይጨመራል እና ሂደቱ ይደገማል። ይህ ጥያቄው እስኪሳካ ወይም ከፍተኛው የዳግም ሙከራዎች ብዛት እስኪደረስ ድረስ ይቀጥላል።
ያልተሳኩ ጥያቄዎች በደቂቃ ገደብዎ ላይ ስለሚቆጠሩ፣ ጥያቄን ያለማቋረጥ እንደገና መላክ አይሰራም። የተመን ገደቦች በአጠር ያሉ ጊዜያት ላይ ሊተገበሩ ይችላሉ - ለምሳሌ፣ ለ60 RPM ገደብ በሰከንድ 1 ጥያቄ - ስለዚህ በአጭር ጊዜ ብዙ ጥያቄዎችን በግርግር መላክም ወደ የተመን ገደብ ስህተቶች ሊያመራ ይችላል። ኤክስፖኔንሻል ባክኦፍ ጥያቄዎችን በጊዜ ክፍተት በመላክ እነዚህ ስህተቶች የሚከሰቱበትን ድግግሞሽ በመቀነስ ጥሩ ይሰራል።
በPython ውስጥ፣ የኤክስፖኔንሻል ባክኦፍ መፍትሔ እንዲህ ሊመስል ይችላል፦
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(እባክዎ ያስተውሉ፦ የbackoff ላይብረሪ የሶስተኛ ወገን መሣሪያ ነው። ደንበኞቻችን ሁሉ ለፕሮጀክቶቻቸው ማንኛውንም ውጫዊ ኮድ ሲያረጋግጡ ተገቢውን ጥንቃቄ እንዲያደርጉ እናበረታታለን።)
ኤክስፖኔንሻል ባክኦፍን መተግበር አሁንም ይህን ስህተት ካስከተለ፣ የአጠቃቀም ደረጃዎን ማሳደግ ሊያስፈልግዎ ይችላል። የአሁኑን የተመን ገደቦችዎን እና የተመን ገደቦችዎን ለመጨመር የእምነት ደረጃዎን እንዴት ማሳደግ እንደሚችሉ በመለያ ቅንብሮችዎ የገደቦች ክፍል ውስጥ ማየት ይችላሉ።