Kaip tai veikia

Klientai gali kiekvienai užklausai atskirai nukreipti srautą į Spartųjį režimą naudodami esamą parametrą service_tier su parinktimi service_tier = "fast".

Spartuoju režimu apdoroti žetonai apmokestinami už kiekvieną žetoną, taikant didesnę kainą nei standartinio apdorojimo įkainiai.

Spartųjį režimą galima ne tik nustatyti užklausos lygmeniu, bet ir pasirinkti kaip numatytąjį projekto režimą skiltyje Projekto nustatymai > Numatytasis paslaugos lygmuo: Spartusis. Vis tiek galite pakeisti šį nustatymą atskirose užklausose. Projekto nustatymuose pasirinkti „Spartusis“ yra tas pats, kas pasirinkti „Prioritetinis“.

Kaip tai sąveikauja su Plėtros lygmeniu?

Plėtros lygmuo ir toliau bus atskirtas nuo Sparčiojo režimo. Į Spartųjį režimą siunčiamos užklausos bus apmokestinamos atskirai ir nebus įskaičiuojamos į jūsų įsigytus Plėtros lygmens TPM paketus.

Ar galiu automatiškai nukreipti Plėtros lygmens kvotą viršijantį srautą į Spartųjį režimą?

Ne. Į Plėtros lygmenį siunčiamas srautas nebus automatiškai nukreipiamas į Spartųjį režimą viršijus kvotą.

Kaip apmokestinamas Spartusis režimas?

Spartuoju režimu apdoroti žetonai apmokestinami už kiekvieną žetoną, taikant didesnę kainą nei standartinio apdorojimo įkainiai.

Ar mano metinis įsipareigojimas susietas su konkrečiu apdorojimo režimu?

Ne. Visi apdorojimo režimai įskaičiuojami į jūsų metinį įsipareigojimą išleisti nustatytą sumą „Enterprise“ paslaugoms.

Ar vis dar gaunu nuolaidą talpykloje saugomiems įvesties žetonams?

Taip! Talpykloje saugomoms įvestims taikoma tokia pati 50–75 % nuolaida kaip ir naudojant standartinį apdorojimą.

Kaip peržiūrėti Sparčiojo režimo naudojimą ir išlaidas?

Norėdami peržiūrėti Spartuoju režimu (anksčiau – Prioritetiniu apdorojimu) apdorotus žetonus, eikite į naudojimo suvestinę, pasirinkite „Chat Completions“ arba „Responses“, tada – „Grupuoti pagal paslaugos lygmenį“.

Norėdami peržiūrėti Sparčiojo režimo išlaidas, eikite į naudojimo suvestinę ir pasirinkite „Grupuoti pagal eilutės elementą“.

Naudojimo suvestinėje užklausos, kurių service_tier reikšmė yra priority arba fast, ir toliau bus rodomos kaip priority. Tai bus atnaujinta būsimiems modeliams.

Modeliai

Ar Spartusis režimas prieinamas ilgam kontekstui, tikslintiems modeliams, įterpiniams ir kt.?

Šiuo metu ne. Ateityje įvertinsime, ar siūlyti Spartųjį režimą ne tik naujausiuose modeliuose, bet ir kituose produktuose.

Kaip kitos modalumo rūšys veikia su Sparčiuoju režimu?

Spartusis režimas palaiko tas pačias daugiarūšes funkcijas kaip standartinis apdorojimas. Visų pirma, vaizdus galima naudoti kaip Prioritetinio apdorojimo įvestį; jie apdorojami taip pat greitai.

Ar būsimi modeliai bus palaikomi?

Planuojame siūlyti Spartųjį režimą naujuose GPT modeliuose, tačiau negarantuojame, kad bus palaikomas kiekvienas modelis.

Užklausų dažnio ribojimai

Kokie taikomi užklausų dažnio ribojimai?

Taikant užklausų dažnio ribojimus, Prioritetinio apdorojimo naudojimas vertinamas taip pat kaip standartinis API srautas.

Kokie taikomi srauto didinimo spartos ribojimai?

Spartusis režimas riboja srauto didinimo spartą, kad visiems klientams būtų užtikrintas pastoviai aukštas našumas ir kartu išliktų lanksti, naudojimu pagrįsta kainodara. Jei (a) Sparčiojo režimo našumas suprastėja IR (b) kliento srautas didėja per greitai, retais atvejais kai kurios užklausos gali būti apdorojamos standartiniu, o ne Sparčiuoju režimu.

Dabartinis Sparčiojo režimo srauto didinimo spartos ribojimas apibrėžtas čia, pagrindiniuose mūsų dokumentuose.

Geriausia srauto didinimo spartos ribojimo laikymosi praktika

Keisdami modelius, srautą didinkite palaipsniui. Pavyzdžiui, jei programa pereina nuo ankstesnės momentinės versijos prie naujos, naudokite funkcijos žymą ir srautą perkelkite per kelias valandas, o ne visą iš karto.

Sparčiuoju režimu nevykdykite didelių duomenų apdorojimo ar asinchroninių užduočių. Šios užduotys gali labai greitai padidinti srautą, o geresnio Sparčiojo režimo našumo joms dažnai nereikia.

Jei dažnai pasiekiate srauto didinimo spartos ribą, verčiau apsvarstykite galimybę įsigyti Plėtros lygmens kvotą.

Ar srauto didinimo spartos ribojimas bendras visiems mano projektams ir organizacijoms?

Taip, visas jūsų srautas įskaičiuojamas į tą patį srauto didinimo spartos ribojimą.

Politika

Kas nutinka, jei Spartusis režimas nepasiekia tikslinės delsos?

Jei turite klausimų ar abejonių, kreipkitės į savo paskyros direktorių. Sparčiojo režimo SLA bus vertinami taip pat kaip Plėtros lygmens SLA. Jei per tam tikrą laikotarpį neįvykdysime šių SLA klientams, sudariusiems „Enterprise“ sutartis, suteiksime paslaugų kreditų.

Ar Spartusis režimas suderinamas su duomenų saugojimo vietos reikalavimais?

Taip.

Ar Spartusis režimas suderinamas su ZDR ir BAA?

Taip.