Johdanto pyyntörajoihin

Pyyntörajoitukset ovat rajoituksia, joita API:mme asettaa sille, kuinka monta kertaa käyttäjä tai asiakas voi käyttää palveluitamme tietyn ajanjakson aikana.

Pyyntörajoja voidaan kvantisoida, eli niitä valvotaan lyhyemmillä ajanjaksoilla (esim. 60 000 pyyntöä/minuutti voidaan valvoa muodossa 1 000 pyyntöä/sekunti). Lyhyiden pyyntöpiikkien tai liian pitkien kontekstien (kehotteet+max_completion_tokens) lähettäminen voi johtaa pyyntörajojen virheisiin, vaikka olisit teknisesti alle minuuttikohtaisen pyyntörajan.

Parhaat käytännöt pyyntörajojen virheiden estämiseen

Oletusorganisaatio

Jos kuulut useisiin organisaatioihin, joilla on eri laskutussuunnitelmat ja käyttötasot, varmista, että oletusorganisaatiosi on asetettu oikeaksi organisaatioksi, jotta voit hallita, mitä organisaatiota käytetään oletuksena API-avaimillasi tehtävissä pyynnöissä.

Eksponentiaalinen viive

Sisällytä koodiisi eksponentiaalisen viiveen logiikka. Tämä ottaa epäonnistuneet pyynnöt kiinni ja yrittää niitä uudelleen.

Tokenrajat

Pienennä max_completion_tokens-arvo vastaamaan täydennystesi kokoa. Käyttötarpeet arvioidaan tämän arvon perusteella, joten sen pienentäminen vähentää mahdollisuutta, että saat odottamatta pyyntörajan virheen. Jos esimerkiksi kehotteesi tuottaa noin 400 tokenin täydennyksiä, max_tokens-arvon tulisi olla suunnilleen samankokoinen.


Optimoi kehotteesi. Voit tehdä tämän lyhentämällä ohjeitasi, poistamalla ylimääräisiä sanoja ja karsimalla ylimääräiset esimerkit. Saatat joutua muokkaamaan kehotettasi ja testaamaan sitä näiden muutosten jälkeen varmistaaksesi, että se toimii edelleen hyvin. Lyhyemmän kehotteen lisäetu on pienemmät kustannukset sinulle. Jos tarvitset apua, kerro meille.

Käyttötaso

Jos olet ottanut nämä parhaat käytännöt käyttöön, mutta kohtaat silti pyyntörajojen virheitä, voit suurentaa pyyntörajojasi nostamalla käyttötasoasi. Näet nykyiset pyyntörajoituksesi, nykyisen käyttötasosi sekä ohjeet käyttötason/rajojen nostamiseen tilisi asetusten Rajat-osiossa.

Lisätietoja

Tutustu kattavaan dokumentaatioomme käyttötasoista ja pyyntörajoista täällä.