En innføring i bruksgrenser
Bruksgrenser er begrensninger som API-et vårt pålegger antallet ganger en bruker eller klient kan få tilgang til tjenestene våre innenfor en angitt tidsperiode.
Bruksgrenser kan kvantiseres, noe som betyr at de håndheves over kortere tidsperioder (f.eks. kan 60 000 forespørsler/minutt håndheves som 1000 forespørsler/sekund). Å sende korte serier med forespørsler eller kontekster (prompts+max_completion_tokens) som er for lange, kan føre til bruksgrensefeil, selv om du teknisk sett er under bruksgrensen per minutt.
Beste praksis for å forhindre bruksgrensefeil
Standardorganisasjon
Hvis du tilhører flere organisasjoner med ulike faktureringsplaner og bruksnivåer, må du sørge for at standardorganisasjonen din er satt til riktig organisasjon for å styre hvilken organisasjon som brukes som standard når du sender forespørsler med API-nøklene dine.
Eksponentiell tilbakekobling
Inkluder logikk for eksponentiell tilbakekobling i koden din. Dette vil fange opp og prøve mislykkede forespørsler på nytt.
Tokengrenser
Reduser max_completion_tokens slik at det samsvarer med størrelsen på fullføringene dine. Bruksbehov estimeres ut fra denne verdien, så hvis du reduserer den, blir sjansen mindre for at du uventet får en bruksgrensefeil. Hvis prompten din for eksempel oppretter fullføringer på rundt 400 tokener, bør max_tokens-verdien være omtrent like stor.
Optimaliser promptene dine. Du kan gjøre dette ved å gjøre instruksjonene kortere, fjerne ekstra ord og kvitte deg med ekstra eksempler. Du må kanskje jobbe med prompten og teste den etter disse endringene for å sikre at den fortsatt fungerer bra. En ekstra fordel med en kortere prompt er at kostnadene dine reduseres. Gi oss beskjed hvis du trenger hjelp.
Bruksnivå
Hvis du har implementert disse beste praksisene, men fortsatt får bruksgrensefeil, kan du øke bruksgrensene ved å øke bruksnivået ditt. Du kan se de gjeldende bruksgrensene dine, det gjeldende bruksnivået ditt og hvordan du kan øke bruksnivået/-grensene i Grenser-delen av kontoinnstillingene.
Videre lesning
Se den omfattende dokumentasjonen vår om bruksnivåer og bruksgrenser her.