En introduksjon til hastighetsgrenser

Hastighetsgrenser er begrensninger som API-et vårt pålegger antallet ganger en bruker eller klient kan få tilgang til tjenestene våre i løpet av en angitt tidsperiode.

Hastighetsgrenser kan kvantiseres, noe som betyr at de håndheves over kortere tidsperioder (f.eks. 60 000 forespørsler/minutt kan håndheves som 1 000 forespørsler/sekund). Å sende korte utbrudd av forespørsler eller kontekster (prompts+max_completion_tokens) som er for lange, kan føre til feil om hastighetsgrense, selv når du teknisk sett er under hastighetsgrensen per minutt.

Beste praksis for å forhindre feil om hastighetsgrense

Standardorganisasjon

Hvis du tilhører flere organisasjoner med ulike faktureringsplaner og bruksnivåer, må du sørge for at standardorganisasjonen din er satt til riktig organisasjon for å styre hvilken organisasjon som brukes som standard når du gjør forespørsler med API-nøklene dine.

Eksponentiell backoff

Inkluder logikk for eksponentiell backoff i koden din. Dette vil fange opp og prøve mislykkede forespørsler på nytt.

Tokengrenser

Reduser max_completion_tokens slik at den samsvarer med størrelsen på fullføringene dine. Bruksbehov estimeres ut fra denne verdien, så å redusere den vil minske sjansen for at du uventet får en feil om hastighetsgrense. Hvis prompten din for eksempel lager fullføringer på rundt 400 token, bør verdien max_tokens være omtrent like stor.

Optimaliser promptene dine. Du kan gjøre dette ved å gjøre instruksjonene kortere, fjerne ekstra ord og kvitte deg med ekstra eksempler. Det kan hende du må arbeide med prompten og teste den etter disse endringene for å sikre at den fortsatt fungerer godt. Den ekstra fordelen med en kortere prompt er lavere kostnad for deg. Gi oss beskjed hvis du trenger hjelp.

Bruksnivå

Hvis du har implementert denne beste praksisen, men fortsatt opplever feil om hastighetsgrense, kan du øke hastighetsgrensene dine ved å øke bruksnivået ditt. Du kan se gjeldende hastighetsgrenser, gjeldende bruksnivå og hvordan du øker bruksnivået/grensene i Grenser-delen i kontoinnstillingene dine.

Videre lesning

Se gjennom den omfattende dokumentasjonen vår om bruksnivåer og hastighetsgrenser her.