Si funksionon

Klientët mund ta drejtojnë trafikun në modalitetin e shpejtë për çdo kërkesë, duke përdorur parametrin ekzistues service_tier me opsionin service_tier = "fast".

Tokenët e përpunuar nga modaliteti i shpejtë do të faturohen për token, me çmim më të lartë se tarifat e përpunimit standard.

Përveç konfigurimit për çdo kërkesë, mund ta caktoni modalitetin e shpejtë si parazgjedhje për një projekt te Cilësimet e projektit > Niveli i parazgjedhur i shërbimit: I shpejtë. Mund ta anashkaloni ende këtë cilësim për çdo kërkesë. Zgjedhja e opsionit I shpejtë në cilësimet e projektit është e barasvlershme me zgjedhjen e opsionit Përparësi.

Si ndërvepron kjo me nivelin e shkallëzimit?

Niveli i shkallëzimit do të mbetet i ndarë nga modaliteti i shpejtë. Kërkesat e dërguara në modalitetin e shpejtë do të faturohen veçmas dhe nuk do të llogariten në paketat TPM të blera për nivelin e shkallëzimit.

A mund ta dërgoj automatikisht në modalitetin e shpejtë trafikun që tejkalon kapacitetin e nivelit të shkallëzimit?

Jo. Trafiku i dërguar në nivelin e shkallëzimit nuk do të kalojë automatikisht në modalitetin e shpejtë.

Si faturohet modaliteti i shpejtë?

Tokenët e përpunuar nga modaliteti i shpejtë do të faturohen për token, me çmim më të lartë se tarifat e përpunimit standard.

A lidhet angazhimi im vjetor me një modalitet të caktuar përpunimi?

Jo. Të gjitha modalitetet e përpunimit llogariten në angazhimin tuaj vjetor për shpenzimet Enterprise.

A përfitoj ende zbritje për tokenët e hyrjeve të ruajtura në memorie specifike?

Po! Hyrjet e ruajtura në memorie specifike përfitojnë të njëjtën zbritje prej 50–75% si në përpunimin standard.

Si mund t’i shoh përdorimin dhe shpenzimet e modalitetit të shpejtë?

Për të parë tokenët e përpunuar nga modaliteti i shpejtë (i njohur më parë si përpunimi me përparësi), shkoni te paneli i përdorimit, zgjidhni Chat Completions ose Responses dhe grupojini sipas nivelit të shërbimit.

Për të parë koston e modalitetit të shpejtë, shkoni te paneli i përdorimit dhe zgjidhni Grupimi sipas zërit.

Në panelin e përdorimit, kërkesat që përdorin priority ose fast si service_tier do të vazhdojnë të shfaqen si priority. Kjo do të përditësohet për modelet e ardhshme.

Modelet

A ofrohet modaliteti i shpejtë për kontekst të gjatë, modele të personalizuara me trajnim shtesë, ngulitje etj.?

Jo për momentin. Në të ardhmen do të vlerësojmë mundësinë e ofrimit të modalitetit të shpejtë edhe për produkte të tjera, përtej modeleve tona më të fundit.

Si funksionojnë modalitetet e tjera me modalitetin e shpejtë?

Modaliteti i shpejtë mbështet të njëjtat funksione multimodale që ofrohen në përpunimin standard. Në veçanti, imazhet mund të përdoren si hyrje për përpunimin me përparësi dhe përpunohen me të njëjtën vonesë të ulët.

A do të mbështeten modelet e ardhshme?

Planifikojmë ta ofrojmë modalitetin e shpejtë në modelet e reja GPT, por nuk garantojmë se do të mbështetet çdo model.

Kufijtë e normës

Cilët janë kufijtë e normës?

Për kufijtë e normës, përdorimi i përpunimit me përparësi trajtohet njësoj si trafiku standard i API-së.

Cilët janë kufijtë e ritmit të rritjes?

Modaliteti i shpejtë ka kufij të ritmit të rritjes për të siguruar performancë të lartë dhe të qëndrueshme për të gjithë klientët, duke ofruar njëkohësisht çmime fleksibël sipas kërkesës. Në raste të rralla, nëse (a) performanca e modalitetit të shpejtë bie DHE (b) trafiku i klientit po rritet tepër shpejt, disa kërkesa mund të kalojnë në përpunimin standard.

Kufiri aktual i ritmit të rritjes për modalitetin e shpejtë përcaktohet këtu, në dokumentacionin tonë kryesor.

Praktikat më të mira për të qëndruar brenda kufirit të ritmit të rritjes

Kur ndërroni modele, rriteni trafikun gradualisht. Për shembull, nëse aplikacioni juaj po kalon nga një version i mëparshëm në një të ri, përdorni një tregues funksionaliteti për ta zhvendosur trafikun gjatë disa orëve, jo të gjithin menjëherë.

Shmangni ekzekutimin e proceseve të mëdha të përpunimit të të dhënave ose të detyrave asinkrone në modalitetin e shpejtë. Këto detyra mund ta rrisin trafikun shumë shpejt dhe shpesh nuk kanë nevojë për performancën e përmirësuar të modalitetit të shpejtë.

Nëse i arrini rregullisht kufijtë e ritmit të rritjes, merrni parasysh blerjen e një kuote të nivelit të shkallëzimit.

A ndahen kufijtë e ritmit të rritjes mes projekteve ose organizatave të mia?

Po, i gjithë trafiku juaj llogaritet në të njëjtin kufi të ritmit të rritjes.

Politikat

Çfarë ndodh nëse modaliteti i shpejtë nuk e arrin objektivin e vonesës?

Për çdo pyetje ose shqetësim, kontaktoni drejtorin e llogarisë suaj. SLA-të e modalitetit të shpejtë do të trajtohen njësoj si SLA-të e nivelit të shkallëzimit. Nëse gjatë një periudhe të caktuar nuk i përmbushim këto SLA për klientët me marrëveshje Enterprise, do të ofrohen kredite shërbimi.

A përputhet modaliteti i shpejtë me qëndrimin e të dhënave?

Po.

A përputhet modaliteti i shpejtë me ZDR dhe BAA?

Po.