OpenAI
Šo lapu tulkoja mašīntulks. Skatīt oriģinālo rakstu angļu valodā.

Kāda ir labākā prakse manu API ātruma ierobežojumu pārvaldībai?

Saņemu ātruma ierobežojuma kļūdas, bet domāju, ka nepārsniedzu savu ierobežojumu. Kas notiek?

Atjaunināts: 8 days ago

Ievads par darbības ierobežojumiem

Darbības ierobežojumi ir ierobežojumi, ko mūsu API nosaka tam, cik reižu lietotājs vai klients noteiktā laika periodā var piekļūt mūsu pakalpojumiem.

Darbības ierobežojumi var būt kvantēti, t. i., tie tiek piemēroti īsākos laika periodos (piemēram, 60 000 pieprasījumu/minūtē var tikt piemēroti kā 1000 pieprasījumu/sekundē). Īsu pieprasījumu sēriju vai pārāk garu kontekstu (uzvednes+max_completion_tokens) sūtīšana var izraisīt darbības ierobežojumu kļūdas pat tad, ja tehniski nepārsniedzat darbības ierobežojumu minūtē.

Paraugprakses darbības ierobežojumu kļūdu novēršanai

Noklusējuma organizācija

Ja piederat vairākām organizācijām ar atšķirīgiem norēķinu plāniem un lietojuma līmeņiem, pārliecinieties, ka jūsu noklusējuma organizācija ir iestatīta uz atbilstošo organizāciju, lai kontrolētu, kura organizācija pēc noklusējuma tiek izmantota, veicot pieprasījumus ar jūsu API atslēgām.

Eksponenciālā atkāpšanās

Iekļaujiet savā kodā eksponenciālās atkāpšanās loģiku. Tā uztvers neveiksmīgos pieprasījumus un mēģinās tos izpildīt vēlreiz.

Tekstvienību ierobežojumi

Samaziniet max_completion_tokens, lai tas atbilstu jūsu pabeigumu lielumam. Lietojuma vajadzības tiek novērtētas pēc šīs vērtības, tāpēc tās samazināšana mazinās iespēju negaidīti saņemt darbības ierobežojuma kļūdu. Piemēram, ja jūsu uzvedne izveido apmēram 400 tekstvienību garus pabeigumus, max_tokens vērtībai jābūt aptuveni tikpat lielai.


Optimizējiet savas uzvednes. To var izdarīt, saīsinot norādījumus, noņemot liekos vārdus un atbrīvojoties no liekiem piemēriem. Pēc šīm izmaiņām, iespējams, būs jāpiestrādā pie uzvednes un tā jāpārbauda, lai pārliecinātos, ka tā joprojām darbojas labi. Īsākas uzvednes papildu ieguvums ir mazākas izmaksas jums. Ja jums nepieciešama palīdzība, informējiet mūs.

Lietojuma līmenis

Ja esat ieviesis šīs paraugprakses, bet joprojām saskaraties ar darbības ierobežojumu kļūdām, varat palielināt darbības ierobežojumus, paaugstinot savu lietojuma līmeni. Sava konta iestatījumu ierobežojumu sadaļā varat skatīt pašreizējos darbības ierobežojumus, pašreizējo lietojuma līmeni un to, kā paaugstināt lietojuma līmeni/ierobežojumus.

Papildu informācija

Skatiet mūsu visaptverošo dokumentāciju par lietojuma līmeņiem un darbības ierobežojumiem šeit.

Vai šis raksts bija noderīgs?