Een introductie tot ratelimieten

Ratelimieten zijn beperkingen die onze API oplegt aan het aantal keren dat een gebruiker of client binnen een bepaalde periode toegang kan krijgen tot onze diensten.

Ratelimieten kunnen gekwantiseerd zijn, wat betekent dat ze over kortere tijdsperioden worden afgedwongen (bijv. 60.000 aanvragen/minuut kan worden afgedwongen als 1.000 aanvragen/seconde). Het verzenden van korte pieken van aanvragen of contexten (prompts+max_completion_tokens) die te lang zijn, kan leiden tot fouten met ratelimieten, zelfs als je technisch gezien onder de ratelimiet per minuut zit.

Best practices om fouten met ratelimieten te voorkomen

Standaard org

Als je bij meerdere orgs hoort met verschillende factureringsplannen en gebruiksniveaus, zorg er dan voor dat je standaardorganisatie is ingesteld op de juiste org om te bepalen welke organisatie standaard wordt gebruikt wanneer je aanvragen doet met je API-sleutels.

Exponentiële backoff

Neem exponentiële backoff-logica op in je code. Hiermee worden mislukte aanvragen opgevangen en opnieuw geprobeerd.

Tokenlimieten

Verlaag de max_completion_tokens zodat die overeenkomt met de grootte van je completions. Gebruik wordt geschat op basis van deze waarde, dus door die te verlagen verklein je de kans dat je onverwacht een fout met een ratelimiet krijgt. Als je prompt bijvoorbeeld completions van ongeveer 400 tokens maakt, moet de waarde max_tokens ongeveer even groot zijn.

Optimaliseer je prompts. Je kunt dit doen door je instructies korter te maken, extra woorden te verwijderen en extra voorbeelden weg te laten. Mogelijk moet je aan je prompt werken en die na deze wijzigingen testen om er zeker van te zijn dat die nog steeds goed werkt. Het extra voordeel van een kortere prompt is dat de kosten voor jou lager zijn. Laat het ons weten als je hulp nodig hebt.

Gebruiksniveau

Als je deze best practices hebt geïmplementeerd maar nog steeds fouten met ratelimieten krijgt, kun je je ratelimieten verhogen door je gebruiksniveau te verhogen. Je kunt je huidige ratelimieten, je huidige gebruiksniveau en hoe je je gebruiksniveau/limieten verhoogt bekijken in het gedeelte Limieten van je accountinstellingen.

Verder lezen

Bekijk onze uitgebreide documentatie over gebruiksniveaus en ratelimieten hier.