Bruksgrensefeil ('For mange forespørsler', «Bruksgrense nådd») skyldes at organisasjonens bruksgrense er nådd, som er det maksimale antallet forespørsler og token som kan sendes inn per minutt. Hvis grensen er nådd, kan organisasjonen ikke sende inn forespørsler før bruksgrensen tilbakestilles. Feilmeldingen ser slik ut:
Rate limit nådd for gpt-3.5-turbo i organisasjonen org-exampleorgid123 på token per min.
Grense: 10000.000000 / min. Nåværende: 10020.000000 / min. Vi anbefaler å håndtere disse feilene med eksponentiell backoff. Eksponentiell backoff betyr å vente kort når en bruksgrensefeil oppstår, og deretter prøve den mislykkede forespørselen på nytt. Hvis forespørselen fortsatt mislykkes, økes ventetiden og prosessen gjentas. Dette fortsetter til forespørselen lykkes eller til maksimalt antall nye forsøk er nådd.
Siden mislykkede forespørsler teller med i grensen per minutt, vil det ikke fungere å sende samme forespørsel på nytt kontinuerlig. Bruksgrenser kan også gjelde over kortere perioder – for eksempel 1 forespørsel per sekund ved en grense på 60 RPM – noe som betyr at korte topper med mange forespørsler også kan føre til bruksgrensefeil. Eksponentiell backoff fungerer godt ved å spre forespørslene for å minimere hvor ofte disse feilene oppstår.
I Python kan en løsning med eksponentiell backoff se slik ut:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Merk: Biblioteket backoff er et tredjepartsverktøy. Vi oppfordrer alle kundene våre til å gjøre grundige vurderinger når de validerer ekstern kode for prosjektene sine.)
Hvis implementering av eksponentiell backoff fortsatt gir denne feilen, kan det hende du må øke bruksnivået ditt. Du kan se gjeldende bruksgrenser og hvordan du kan øke tillitsnivået ditt for å øke bruksgrensene i grensedelen i kontoinnstillingene dine.