Kako funkcionira

Korisnici mogu za svaki pojedinačni zahtjev usmjeriti promet na Brzi mod pomoću postojećeg parametra service_tier i opcije service_tier = "fast".

Tokeni obrađeni u Brzom modu naplaćuju se po tokenu, po višoj cijeni u odnosu na cijene standardne obrade.

Osim konfiguriranja na nivou zahtjeva, Brzi mod možete postaviti i kao zadani za projekt u Postavke projekta > Zadani nivo usluge: Brzi. Postavku i dalje možete promijeniti za svaki pojedinačni zahtjev. Odabir opcije Brzi u postavkama projekta jednak je odabiru opcije Prioritetni.

Kako ovo funkcionira s Nivoom skale?

Nivo skale ostat će odvojen od Brzog moda. Zahtjevi poslani u Brzi mod naplaćivat će se zasebno i neće se uračunavati u kupljene TPM pakete Nivoa skale.

Mogu li višak prometa s Nivoa skale automatski slati u Brzi mod?

Ne. Promet poslan na Nivo skale neće se automatski preusmjeravati u Brzi mod.

Kako se naplaćuje Brzi mod?

Tokeni obrađeni u Brzom modu naplaćuju se po tokenu, po višoj cijeni u odnosu na cijene standardne obrade.

Je li moja godišnja obaveza vezana za određeni način obrade?

Ne. Svi načini obrade uračunavaju se u vašu godišnju obavezu potrošnje za Enterprise.

Dobivam li i dalje popust na keširane ulazne tokene?

Da! Keširani ulazi imaju isti popust od 50–75% kao pri standardnoj obradi.

Kako mogu pregledati korištenje Brzog moda i potrošnju?

Da biste pregledali tokene obrađene u Brzom modu (ranije prioritetna obrada), otvorite kontrolnu ploču Korištenje, odaberite Chat Completions ili Responses i opciju Grupiraj prema nivou usluge.

Da biste pregledali troškove Brzog moda, otvorite kontrolnu ploču Korištenje i odaberite Grupiraj prema stavci.

Na kontrolnoj ploči Korištenje zahtjevi koji kao service_tier koriste priority ili fast i dalje će se prikazivati kao priority. To će biti ažurirano za buduće modele.

Modeli

Je li Brzi mod dostupan za dugi kontekst, fino podešene modele, ugrađivanja itd.?

Trenutno nije. U budućnosti ćemo razmotriti mogućnost ponude Brzog moda za dodatne proizvode, osim naših najnovijih modela.

Kako drugi modaliteti funkcioniraju s Brzim modom?

Brzi mod podržava iste multimodalne mogućnosti dostupne u standardnoj obradi. Konkretno, slike se mogu koristiti kao ulazni podaci za prioritetnu obradu i obrađuju se uz jednako kratko kašnjenje.

Hoće li budući modeli biti podržani?

Planiramo nuditi Brzi mod za nove GPT modele, ali ne garantiramo podršku za svaki model.

Ograničenja brzine

Koja su ograničenja brzine?

Potrošnja prioritetne obrade tretira se jednako kao standardni API promet u pogledu ograničenja brzine.

Koja su ograničenja brzine povećanja prometa?

Brzi mod ima ograničenja brzine povećanja prometa kako bi svim korisnicima osigurao dosljedno visoke performanse, uz fleksibilne cijene na zahtjev. Ako su (a) performanse Brzog moda smanjene I (b) promet korisnika raste prebrzo, u rijetkim slučajevima neki zahtjevi mogu biti prebačeni na standardnu obradu.

Trenutno ograničenje brzine povećanja prometa za Brzi mod definirano je ovdje, u našoj glavnoj dokumentaciji.

Najbolje prakse za zadržavanje unutar ograničenja brzine povećanja prometa

Pri promjeni modela postepeno povećavajte promet. Naprimjer, ako vaša aplikacija prelazi s prethodne snimke na novu, upotrijebite zastavicu funkcije kako biste promet preusmjeravali tokom nekoliko sati umjesto odjednom.

Nemojte pokretati velike poslove obrade podataka ili asinhrone poslove u Brzom modu. Ti poslovi mogu vrlo brzo povećati promet, a često im nisu potrebne bolje performanse Brzog moda.

Ako redovno nailazite na ograničenja brzine povećanja prometa, razmotrite kupovinu kvote Nivoa skale.

Dijele li moji projekti ili organizacije ograničenja brzine povećanja prometa?

Da, sav vaš promet uračunava se u isto ograničenje brzine povećanja prometa.

Pravila

Šta se dešava ako Brzi mod ne ispunjava ciljano vrijeme odziva?

Ako imate pitanja ili nedoumice, obratite se svom AD-u. SLA-ovi Brzog moda tretirat će se jednako kao SLA-ovi Nivoa skale; ako u određenom periodu ne ispunimo te SLA-ove za korisnike s Enterprise ugovorima, ponudit ćemo kredite za uslugu.

Je li Brzi mod kompatibilan s rezidentnošću podataka?

Da.

Je li Brzi mod kompatibilan sa ZDR-om i BAA-om?

Da.