Introduktion til brugsgrænser
Brugsgrænser er begrænsninger, som vores API pålægger antallet af gange, en bruger eller klient kan få adgang til vores tjenester inden for en bestemt tidsperiode.
Brugsgrænser kan kvantiseres, hvilket betyder, at de håndhæves over kortere tidsperioder (f.eks. kan 60.000 anmodninger/minut håndhæves som 1.000 anmodninger/sekund). Afsendelse af korte serier af anmodninger eller kontekster (prompts+max_completion_tokens), der er for lange, kan føre til brugsgrænsefejl, selv når du teknisk set ligger under brugsgrænsen pr. minut.
Bedste praksis til at forebygge brugsgrænsefejl
Standardorganisation
Hvis du tilhører flere organisationer med forskellige faktureringsplaner og brugsniveauer, skal du sikre, at din standardorganisation er indstillet til den relevante organisation for at styre, hvilken organisation der bruges som standard, når der foretages anmodninger med dine API-nøgler.
Eksponentiel backoff
Medtag logik for eksponentiel backoff i din kode. Dette opfanger mislykkede anmodninger og prøver dem igen.
Tokengrænser
Reducer max_completion_tokens, så den matcher størrelsen på dine fuldførelser. Brugsbehov estimeres ud fra denne værdi, så hvis du reducerer den, mindsker du risikoen for uventet at modtage en brugsgrænsefejl. Hvis din prompt f.eks. opretter fuldførelser på omkring 400 tokens, bør max_tokens-værdien være omtrent samme størrelse.
Optimér dine prompts. Du kan gøre dette ved at gøre dine instruktioner kortere, fjerne overflødige ord og fjerne unødvendige eksempler. Du skal muligvis arbejde videre med din prompt og teste den efter disse ændringer for at sikre, at den stadig fungerer godt. Den ekstra fordel ved en kortere prompt er lavere omkostninger for dig. Sig til, hvis du har brug for hjælp.
Brugsniveau
Hvis du har implementeret disse bedste praksisser, men stadig oplever brugsgrænsefejl, kan du øge dine brugsgrænser ved at hæve dit brugsniveau. Du kan se dine nuværende brugsgrænser, dit aktuelle brugsniveau, og hvordan du hæver dit brugsniveau/dine grænser, i sektionen Grænser i dine kontoindstillinger.
Læs mere
Gennemgå vores omfattende dokumentation om brugsniveauer og brugsgrænser her.