Fejl ved brugsgrænser (»For mange anmodninger«, »Brugsgrænsen er nået«) skyldes, at din organisation har nået sin brugsgrænse, som er det maksimale antal anmodninger og tokens, der kan indsendes pr. minut. Hvis grænsen er nået, kan organisationen ikke indsende anmodninger, før brugsgrænsen nulstilles. Fejlmeddelelsen ser sådan ud:
Hastighedsgrænse nået for gpt-3.5-turbo i organisationen org-exampleorgid123 på tokens pr. min.
Grænse: 10000.000000 / min. Nuværende: 10020.000000 / min. Vi anbefaler at håndtere disse fejl med eksponentiel backoff. Eksponentiel backoff betyder, at der holdes en kort pause, når der opstår en fejl ved brugsgrænsen, og derefter prøves den mislykkede anmodning igen. Hvis anmodningen stadig ikke lykkes, øges pausens længde, og processen gentages. Dette fortsætter, indtil anmodningen lykkes, eller indtil et maksimalt antal genforsøg er nået.
Da mislykkede anmodninger tæller med i din grænse pr. minut, fungerer det ikke at gensende en anmodning løbende. Brugsgrænser kan anvendes over kortere perioder – f.eks. 1 anmodning pr. sekund for en grænse på 60 RPM – hvilket betyder, at korte anmodningsspidser med høj volumen også kan føre til fejl ved brugsgrænsen. Eksponentiel backoff fungerer godt ved at sprede anmodningerne ud for at minimere hyppigheden af disse fejl.
I Python kan en løsning med eksponentiel backoff se sådan ud:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Bemærk: backoff-biblioteket er et tredjepartsværktøj. Vi opfordrer alle vores kunder til at foretage deres egen due diligence, når det gælder validering af ekstern kode til deres projekter.)
Hvis implementering af eksponentiel backoff stadig resulterer i denne fejl, skal du muligvis hæve dit forbrugsniveau. Du kan se dine aktuelle brugsgrænser, og hvordan du hæver dit tillidsniveau for at øge dine brugsgrænser, i grænseafsnittet i dine kontoindstillinger.