Introduktion till frekvensgränser
Frekvensgränser är begränsningar som vårt API inför för hur många gånger en användare eller klient kan få åtkomst till våra tjänster under en angiven tidsperiod.
Frekvensgränser kan vara kvantiserade, vilket innebär att de tillämpas över kortare tidsperioder (t.ex. kan 60 000 förfrågningar/minut tillämpas som 1 000 förfrågningar/sekund). Att skicka korta utbrott av förfrågningar eller kontexter (prompts+max_completion_tokens) som är för långa kan leda till fel om frekvensgränser, även när du tekniskt sett ligger under frekvensgränsen per minut.
Bästa praxis för att förhindra fel om frekvensgränser
Standardorganisation
Om du tillhör flera organisationer med olika faktureringsplaner och användningsnivåer ska du se till att din standardorganisation är inställd på rätt organisation för att styra vilken organisation som används som standard när du gör förfrågningar med dina API-nycklar.
Exponentiell backoff
Inkludera logik för exponentiell backoff i din kod. Detta fångar upp och försöker om misslyckade förfrågningar.
Tokengränser
Minska max_completion_tokens så att det matchar storleken på dina kompletteringar. Användningsbehov uppskattas utifrån detta värde, så om du minskar det minskar risken att du oväntat får ett fel om frekvensgränser. Om din prompt till exempel skapar kompletteringar på cirka 400 token bör värdet för max_tokens vara ungefär lika stort.
Optimera dina prompts. Du kan göra detta genom att göra dina instruktioner kortare, ta bort onödiga ord och rensa bort extra exempel. Du kan behöva bearbeta din prompt och testa den efter dessa ändringar för att säkerställa att den fortfarande fungerar bra. Den extra fördelen med en kortare prompt är lägre kostnad för dig. Om du behöver hjälp, meddela oss.
Användningsnivå
Om du har infört dessa bästa praxis men fortfarande får fel om frekvensgränser kan du höja dina frekvensgränser genom att höja din användningsnivå. Du kan se dina aktuella frekvensgränser, din aktuella användningsnivå och hur du höjer din användningsnivå/dina gränser i avsnittet Gränser i dina kontoinställningar.
Vidare läsning
Läs vår omfattande dokumentation om användningsnivåer och frekvensgränser här.