Bruksgrensefeil («For mange forespørsler», «Bruksgrensen er nådd») skyldes at organisasjonen din har nådd sin bruksgrense, som er det maksimale antallet forespørsler og tokener som kan sendes inn per minutt. Hvis grensen er nådd, kan ikke organisasjonen sende inn forespørsler før bruksgrensen tilbakestilles. Feilmeldingen ser slik ut:
Rate limit nådd for gpt-3.5-turbo i organisasjonen org-exampleorgid123 på token per min.
Grense: 10000.000000 / min. Nåværende: 10020.000000 / min. Vi anbefaler å håndtere disse feilene med eksponentiell backoff. Eksponentiell backoff betyr å legge inn en kort pause når det oppstår en bruksgrensefeil, og deretter prøve den mislykkede forespørselen på nytt. Hvis forespørselen fortsatt mislykkes, økes pauselengden, og prosessen gjentas. Dette fortsetter til forespørselen lykkes, eller til et maksimalt antall nye forsøk er nådd.
Siden mislykkede forespørsler teller mot grensen din per minutt, vil det ikke fungere å sende en forespørsel kontinuerlig på nytt. Bruksgrenser kan brukes over kortere perioder – for eksempel 1 forespørsel per sekund for en grense på 60 RPM – noe som betyr at korte topper med høyt forespørselsvolum også kan føre til bruksgrensefeil. Eksponentiell backoff fungerer godt ved å spre forespørsler utover for å minimere hyppigheten av disse feilene.
I Python kan en løsning for eksponentiell backoff se slik ut:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Merk: Backoff-biblioteket er et tredjepartsverktøy. Vi oppfordrer alle kundene våre til å gjøre egne undersøkelser når de validerer ekstern kode for prosjektene sine.)
Hvis implementering av eksponentiell backoff fortsatt fører til denne feilen, må du kanskje øke bruksnivået ditt. Du kan se de gjeldende bruksgrensene dine og hvordan du kan øke tillitsnivået ditt for å øke bruksgrensene i grensedelen av kontoinnstillingene.