Kako deluje

Stranke lahko promet za vsako zahtevo posebej usmerijo v hitri način z obstoječim parametrom service_tier in možnostjo service_tier = "fast".

Žetoni, obdelani v hitrem načinu, se obračunajo glede na število žetonov, po višji ceni od standardne obdelave.

Poleg nastavitve na ravni zahteve lahko hitri način nastavite tudi kot privzetega v Nastavitve projekta > Privzeta raven storitve: Hitro. Nastavitev lahko še vedno preglasite za vsako zahtevo posebej. Izbira možnosti Hitro v nastavitvah projekta je enakovredna izbiri možnosti Prednostno.

Kako hitri način deluje z lestvico zmogljivosti?

Lestvica zmogljivosti bo ostala ločena od hitrega načina. Zahteve, poslane v hitri način, se obračunajo ločeno in se ne vštevajo v kupljene pakete TPM lestvice zmogljivosti.

Ali lahko presežni promet lestvice zmogljivosti samodejno pošiljam v hitri način?

Ne. Promet, poslan v lestvico zmogljivosti, se ne bo samodejno preusmeril v hitri način.

Kako se obračunava hitri način?

Žetoni, obdelani v hitrem načinu, se obračunajo glede na število žetonov, po višji ceni od standardne obdelave.

Ali je moja letna zaveza vezana na določen način obdelave?

Ne. Vsi načini obdelave se vštevajo v vašo letno zavezo glede porabe Enterprise.

Ali še vedno prejmem popust za predpomnjene vhodne žetone?

Da! Za predpomnjene vhode velja enak 50–75-odstotni popust kot pri standardni obdelavi.

Kako si ogledam uporabo in stroške hitrega načina?

Če si želite ogledati žetone, obdelane v hitrem načinu (prej prednostna obdelava), odprite nadzorno ploščo uporabe, izberite Chat Completions ali Responses in jih združite po ravni storitve.

Če si želite ogledati stroške hitrega načina, na nadzorni plošči uporabe izberite združevanje po postavki.

Na nadzorni plošči uporabe bodo zahteve z vrednostjo priority ali fast za service_tier še naprej prikazane kot priority. To bo posodobljeno za prihodnje modele.

Modeli

Ali je hitri način na voljo za dolgi kontekst, natančno prilagojene modele, vdelave in podobno?

Trenutno ne. V prihodnje bomo ocenili, ali naj hitri način poleg najnovejših modelov ponudimo tudi za dodatne izdelke.

Kako druge modalnosti delujejo s hitrim načinom?

Hitri način podpira enake večmodalne zmogljivosti kot standardni način. Pri prednostni obdelavi lahko kot vhod uporabite tudi slike, ki se obdelajo z enako nizko zakasnitvijo.

Ali bodo podprti tudi prihodnji modeli?

Hitri način nameravamo ponuditi za nove modele GPT, vendar ne zagotavljamo podpore za vsak model.

Omejitve hitrosti

Kakšne so omejitve hitrosti?

Poraba pri prednostni obdelavi se za omejitve hitrosti obravnava enako kot standardni promet API-ja.

Kakšne so omejitve hitrosti povečevanja prometa?

Hitri način ima omejitve hitrosti povečevanja prometa, ki vsem strankam zagotavljajo dosledno visoko zmogljivost, obenem pa ohranjajo prilagodljive cene na zahtevo. Če (a) se delovanje hitrega načina poslabša IN (b) stranka prehitro povečuje promet, se lahko nekatere zahteve v redkih primerih namesto tega preusmerijo v standardno obdelavo.

Trenutna omejitev hitrosti povečevanja prometa v hitrem načinu je opredeljena tukaj, v naši glavni dokumentaciji.

Najboljše prakse za upoštevanje omejitve hitrosti povečevanja prometa

Ob menjavi modelov promet povečujte postopoma. Če denimo aplikacija prehaja s prejšnjega posnetka na novega, promet z zastavico funkcije preusmerjajte več ur, namesto da bi ga preusmerili vsega naenkrat.

V hitrem načinu ne izvajajte obsežne obdelave podatkov ali asinhronih opravil. Ta opravila lahko zelo hitro povečajo promet in pogosto ne potrebujejo večje zmogljivosti hitrega načina.

Če pogosto dosežete omejitve hitrosti povečevanja prometa, raje razmislite o nakupu kvote lestvice zmogljivosti.

Ali omejitve hitrosti povečevanja prometa veljajo skupaj za vse moje projekte oziroma organizacije?

Da, ves vaš promet se všteva v isto omejitev hitrosti povečevanja prometa.

Pravilniki

Kaj se zgodi, če hitri način ne dosega ciljne zakasnitve?

Z morebitnimi vprašanji ali pomisleki se obrnite na svojega AD-ja. Pogodbe SLA za hitri način bomo obravnavali enako kot pogodbe SLA za lestvico zmogljivosti. Če jih za stranke s pogodbami Enterprise v določenem časovnem obdobju ne bomo izpolnili, bomo ponudili točke za storitev.

Ali je hitri način združljiv z lokalno hrambo podatkov?

Da.

Ali je hitri način združljiv z ZDR in BAA?

Da.