Bevezetés a sebességkorlátokba

A sebességkorlátok olyan korlátozások, amelyeket az API-nk arra vonatkozóan alkalmaz, hogy egy felhasználó vagy kliens meghatározott időn belül hányszor férhet hozzá a szolgáltatásainkhoz.

A sebességkorlátok kvantálhatók, vagyis rövidebb időszakokra is érvényesíthetők (pl. 60 000 kérés/perc érvényesíthető 1000 kérés/másodpercként). Rövid kérelmi sorozatok küldése, illetve túl hosszú kontextusok (utasítások+max_completion_tokens) sebességkorlát-hibákhoz vezethetnek akkor is, ha technikailag perces szinten a korlát alatt marad.

Legjobb gyakorlatok a sebességkorlát-hibák megelőzésére

Alapértelmezett org

Ha több orghoz tartozol eltérő számlázási csomagokkal és használati szintekkel, győződj meg arról, hogy az alapértelmezett szervezeted a megfelelő orgra van állítva, hogy szabályozd, melyik szervezet legyen alapértelmezetten használva, amikor API-kulcsaiddal kéréseket küldesz.

Exponenciális visszalépés

Építs be exponenciális visszalépési logikát a kódodba. Ez elkapja a sikertelen kéréseket, és újrapróbálja őket.

Tokenkorlátok

Csökkentsd a max_completion_tokens értékét úgy, hogy illeszkedjen a befejezéseid méretéhez. A használati igényeket ebből az értékből becsüljük, ezért ennek csökkentése mérsékli annak esélyét, hogy váratlanul sebességkorlát-hibát kapsz. Például, ha az utasításod körülbelül 400 tokenes befejezéseket hoz létre, a max_tokens értékének is nagyjából ekkorának kell lennie.

Optimalizáld az utasításaidat. Ezt úgy teheted meg, hogy rövidebbre fogod az utasításaidat, eltávolítod a felesleges szavakat, és elhagyod a plusz példákat. Előfordulhat, hogy a módosítások után még dolgoznod kell az utasításodon, és tesztelned kell, hogy továbbra is jól működik-e. A rövidebb utasítás további előnye, hogy csökkenti a költségeidet. Ha segítségre van szükséged, szólj nekünk.

Használati szint

Ha megvalósítottad ezeket a bevált gyakorlatokat, de továbbra is sebességkorlát-hibákkal szembesülsz, növelheted a sebességkorlátaidat a használati szinted növelésével. Az aktuális sebességkorlátaidat, a jelenlegi használati szintedet, valamint azt, hogyan emelheted a használati szintedet/korlátaidat, a fiókbeállításaid Korlátok szakaszában tekintheted meg.

További olvasnivaló

Tekintsd át a használati szintekről és sebességkorlátokról szóló átfogó dokumentációnkat itt.