Kako funkcionira

Korisnici mogu usmjeravati promet u Brzi način rada za svaki pojedini zahtjev putem postojećeg parametra service_tier uz opciju service_tier = "fast".

Tokeni obrađeni u Brzom načinu rada naplaćuju se po tokenu po višoj cijeni od standardne obrade.

Osim konfiguracije na razini zahtjeva, u postavkama projekta možete postaviti Brzi način rada kao zadani odabirom Postavke projekta > Zadana Razina usluge: Brzo. Tu postavku i dalje možete nadjačati za svaki pojedini zahtjev. Odabir opcije Brzo u postavkama projekta jednak je odabiru opcije Prioritetno.

Kako to funkcionira s Razinom skaliranja?

Razina skaliranja i dalje će biti odvojena od Brzog načina rada. Zahtjevi poslani u Brzi način rada naplaćivat će se zasebno i neće se uračunavati u kupljene TPM pakete Razine skaliranja.

Mogu li višak prometa iz Razine skaliranja automatski slati u Brzi način rada?

Ne. Promet poslan u Razinu skaliranja neće se automatski preusmjeriti u Brzi način rada.

Kako se naplaćuje Brzi način rada?

Tokeni obrađeni u Brzom načinu rada naplaćuju se po tokenu po višoj cijeni od standardne obrade.

Je li moja godišnja obveza vezana uz određeni način obrade?

Ne. Svi načini obrade uračunavaju se u vašu godišnju obvezu potrošnje za Enterprise.

Dobivam li i dalje popust na predmemorirane ulazne tokene?

Da! Na predmemorirane ulazne podatke primjenjuje se isti popust od 50 do 75 % kao i pri standardnoj obradi.

Kako mogu pregledati upotrebu i potrošnju Brzog načina rada?

Za pregled tokena obrađenih u Brzom načinu rada (prethodno prioritetna obrada) otvorite nadzornu ploču Upotreba, odaberite Chat Completions ili Responses pa Grupiraj prema Razini usluge.

Za pregled troškova Brzog načina rada otvorite nadzornu ploču Upotreba i odaberite Grupiraj prema stavci.

Na nadzornoj ploči Upotreba zahtjevi koji za service_tier upotrebljavaju priority ili fast i dalje će se prikazivati kao priority. To će se ažurirati za buduće modele.

Modeli

Je li Brzi način rada dostupan za dugi kontekst, fino prilagođene modele, ugrađivanja itd.?

Trenutačno nije. U budućnosti ćemo razmotriti hoćemo li Brzi način rada ponuditi i za dodatne proizvode, osim naših najnovijih modela.

Kako drugi modaliteti funkcioniraju s Brzim načinom rada?

Brzi način rada podržava iste multimodalne mogućnosti koje su dostupne uz standardnu obradu. Konkretno, slike se mogu upotrebljavati kao ulazni podaci za prioritetnu obradu i obrađuju se uz jednako nisku latenciju.

Hoće li budući modeli biti podržani?

Brzi način rada planiramo ponuditi za nove GPT modele, ali ne jamčimo podršku za svaki model.

Ograničenja broja zahtjeva

Koja su ograničenja broja zahtjeva?

Potrošnja prioritetne obrade u pogledu ograničenja broja zahtjeva tretira se jednako kao standardni promet API-ja.

Koja su ograničenja brzine povećanja prometa?

Brzi način rada ima ograničenja brzine povećanja prometa kako bi svim korisnicima pružio dosljedno visoke performanse uz fleksibilne cijene prema potrošnji. Ako su (a) performanse Brzog načina rada smanjene I (b) promet korisnika raste prebrzo, u rijetkim se slučajevima neki zahtjevi mogu prebaciti na standardnu obradu.

Trenutačno ograničenje brzine povećanja prometa za Brzi način rada definirano je ovdje, u našoj glavnoj dokumentaciji.

Najbolje prakse za pridržavanje ograničenja brzine povećanja prometa

Pri promjeni modela postupno povećavajte promet. Primjerice, ako aplikacija prelazi s prethodne snimke modela na novu, upotrijebite zastavicu značajke kako biste promet preusmjeravali tijekom nekoliko sati, a ne odjednom.

U Brzom načinu rada izbjegavajte pokretanje opsežne obrade podataka ili asinkronih zadataka. Takvi zadaci mogu vrlo brzo povećati promet, a poboljšane performanse Brzog načina rada često im nisu potrebne.

Ako redovito nailazite na ograničenja brzine povećanja prometa, razmislite o kupnji kvote Razine skaliranja.

Dijele li se ograničenja brzine povećanja prometa među mojim projektima ili organizacijama?

Da, sav vaš promet ulazi u isto ograničenje brzine povećanja prometa.

Pravila

Što se događa ako Brzi način rada ne ispunjava ciljanu latenciju?

Ako imate pitanja ili nedoumica, obratite se voditelju svojeg korisničkog računa. SLA-ovi za Brzi način rada tretirat će se jednako kao SLA-ovi za Razinu skaliranja. Ako za korisnike s ugovorima Enterprise u određenom razdoblju ne ispunimo te SLA-ove, ponudit ćemo kredite za uslugu.

Je li Brzi način rada kompatibilan s rezidentnošću podataka?

Da.

Je li Brzi način rada kompatibilan sa ZDR-om i BAA-om?

Da.