A használati korlát hibái („Túl sok kérés”, „Elérte a használati korlátot”) akkor fordulnak elő, amikor a szervezet eléri a használati korlátját, vagyis a percenként beküldhető kérések és tokenek maximális számát. Ha elérte a korlátot, a szervezet nem tud sikeresen kéréseket beküldeni, amíg a használati korlát vissza nem áll. A hibaüzenet így néz ki:
A gpt-3.5-turbo esetében elérte a sebességkorlátot az org-exampleorgid123 szervezetben a percenkénti tokenekre.
Korlát: 10000.000000 / perc. Jelenlegi: 10020.000000 / perc. Javasoljuk, hogy ezeket a hibákat exponenciális visszalépéssel kezelje. Az exponenciális visszalépés azt jelenti, hogy használati korlát miatti hiba esetén rövid várakozás következik, majd újra megpróbáljuk a sikertelen kérést. Ha a kérés továbbra sem sikeres, a várakozási idő megnő, és a folyamat megismétlődik. Ez addig folytatódik, amíg a kérés sikeres nem lesz, vagy el nem éri az újrapróbálkozások maximális számát.
Mivel a sikertelen kérések is beleszámítanak a percenkénti korlátba, a kérés folyamatos újraküldése nem fog működni. A használati korlátok rövidebb időszakokra is vonatkozhatnak – például 60 RPM-es korlátnál másodpercenként 1 kérésre –, ami azt jelenti, hogy a rövid, nagy volumenű kéréskitörések is használati korlát miatti hibákhoz vezethetnek. Az exponenciális visszalépés jól működik, mert időben szétosztja a kéréseket, így csökkenti e hibák gyakoriságát.
Pythonban egy exponenciális visszalépési megoldás így nézhet ki:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Kérjük, vegye figyelembe: a backoff könyvtár harmadik féltől származó eszköz. Arra ösztönözzük minden ügyfelünket, hogy kellő gondossággal járjon el, amikor projektjeihez bármilyen külső kódot ellenőriz.)
Ha az exponenciális visszalépés megvalósítása után is jelentkezik ez a hiba, előfordulhat, hogy növelnie kell a használati szintjét. Aktuális használati korlátait, valamint azt, hogyan növelheti bizalmi szintjét a használati korlátok növeléséhez, a fiókbeállítások korlátok szakaszában tekintheti meg.