Dabar Enterprise API klientams, norintiems greitesnio ir nuoseklesnio našumo naudojant tam tikrus modelius, siūlome prioritetinį apdorojimą. Toliau pateikiami atsakymai į dažnus klausimus apie tai, kaip tai veikia, kainodarą, modelių prieinamumą, užklausų dažnio ribojimus, patikimumą, politikas ir tinkamumą.

Sužinokite daugiau čia.

Prieiga

Kas gali naudotis prioritetiniu apdorojimu?

Prioritetinis apdorojimas šiuo metu prieinamas Enterprise klientams.

Ar prioritetinis apdorojimas prieinamas visuose regionuose?

Prioritetinio apdorojimo prieinamumas priklauso nuo kiekvienoje jurisdikcijoje taikomų įstatymų ir teisės aktų. Jei turite klausimų apie prieinamumą savo regione, susisiekite su savo paskyros direktoriumi.

Kainodara

Kaip pradėti naudoti prioritetinį apdorojimą?

Klientai gali nukreipti srautą į prioritetinį apdorojimą kiekvienai užklausai atskirai, naudodami esamą parametrą service_tier su parinktimi service_tier="priority".

Kaip tai sąveikauja su Plėtros lygmeniu?

Plėtros lygmuo išliks atskiras nuo prioritetinio apdorojimo. Užklausos, siunčiamos į prioritetinį apdorojimą, bus apmokestinamos atskirai ir nebus įskaičiuojamos į jūsų įsigytus Plėtros lygmens TPM paketus.

Ar galiu automatiškai siųsti savo Plėtros lygmens perteklinį srautą į prioritetinį apdorojimą?

Ne. Srautas, siunčiamas į Plėtros lygmenį, automatiškai nebus nukreiptas kaip perteklius į prioritetinį apdorojimą.

Kaip apmokestinamas prioritetinis apdorojimas?

Žetonai, aptarnaujami naudojant prioritetinį apdorojimą, bus apmokestinami pagal žetonų skaičių, taikant didesnę kainą nei standartinio apdorojimo tarifai.

Ar mano metinis įsipareigojimas susietas su konkrečiu apdorojimo režimu?

Ne. Visi apdorojimo režimai įskaičiuojami į jūsų metinį Enterprise išlaidų įsipareigojimą.

Ar vis dar gaunu nuolaidą talpykloje saugomiems įvesties žetonams?

Taip! Talpykloje saugomoms įvestims taikoma ta pati 50–75 % nuolaida kaip ir standartinio apdorojimo atveju.

Kaip peržiūrėti savo prioritetinio apdorojimo naudojimą ir išlaidas?

Norėdami peržiūrėti žetonus, apdorotus naudojant prioritetinį apdorojimą, eikite į naudojimo suvestinę, pasirinkite Chat Completions arba Responses ir grupuokite pagal Paslaugos lygmenį. Norėdami peržiūrėti prioritetinio apdorojimo kainą, eikite į naudojimo suvestinę ir pasirinkite grupavimą pagal eilutės elementą.

Modeliai

Ar prioritetinis apdorojimas prieinamas ilgam kontekstui, patobulintiems modeliams, įdėjiniams ir pan.?

Šiuo metu ne. Ateityje įvertinsime, ar siūlyti prioritetinį apdorojimą papildomiems produktams, ne tik mūsų naujausiems modeliams.

Kaip kitos modalumo rūšys veikia su prioritetiniu apdorojimu?

Prioritetinis apdorojimas palaiko tas pačias multimodalines galimybes, kurios prieinamos standartiniame apdorojime. Konkrečiai, vaizdai gali būti naudojami kaip prioritetinio apdorojimo įvestys ir apdorojami su tokia pačia maža delsa.

Ar būsimi modeliai bus palaikomi?

Planuojame siūlyti prioritetinį apdorojimą naujiems GPT modeliams, tačiau negarantuojame, kad bus palaikomas kiekvienas modelis.

Užklausų dažnio ribojimai

Kokie yra užklausų dažnio ribojimai?

Prioritetinio apdorojimo naudojimas užklausų dažnio ribojimų atžvilgiu vertinamas taip pat kaip standartinis API srautas.

Kokie yra srauto didinimo tempo ribojimai?

Prioritetinis apdorojimas turi srauto didinimo tempo ribojimus, kad visiems klientams būtų užtikrintas nuosekliai aukštas našumas, kartu išlaikant lanksčią kainodarą pagal poreikį. Jei (a) prioritetinio apdorojimo našumas suprastėja IR (b) kliento srautas didėja per greitai, retais atvejais kai kurios prioritetinės užklausos gali būti perkeltos į standartinį apdorojimą.

Dabartinis prioritetinio apdorojimo srauto didinimo tempo ribojimas apibrėžtas mūsų pagrindinėje dokumentacijoje čia.

Geriausia praktika, kaip neviršyti srauto didinimo tempo ribojimo

Keisdami modelius, srautą didinkite palaipsniui. Pavyzdžiui, jei jūsų programa pereina nuo ankstesnės momentinės versijos prie naujos, naudokite funkcijos vėliavėlę, kad srautas būtų perkeltas per kelias valandas, o ne iš karto.

Venkite vykdyti dideles duomenų apdorojimo ar asinchronines užduotis naudojant prioritetinį apdorojimą. Šios užduotys gali labai greitai padidinti srautą ir dažnai joms nereikia geresnio prioritetinio apdorojimo našumo.
Jei reguliariai susiduriate su srauto didinimo tempo ribojimais, apsvarstykite galimybę vietoj to įsigyti Plėtros lygmens kvotą.

Ar srauto didinimo tempo ribojimai bendrinami visuose mano projektuose ar organizacijose?

Taip, visas jūsų srautas prisideda prie to paties srauto didinimo tempo ribojimo.

Politikos

Kas nutiks, jei prioritetinis apdorojimas neatitiks delsos tikslo?

Jei turite klausimų ar rūpesčių, kreipkitės į savo AD. Prioritetinio apdorojimo SLA bus vertinami taip pat kaip Plėtros lygmens SLA; jei tam tikru laikotarpiu neįvykdysime šių SLA klientams, turintiems Enterprise sutartis, bus siūlomi paslaugų kreditai.

Ar prioritetinis apdorojimas suderinamas su duomenų saugojimo vietos reikalavimais?

Taip.

Ar prioritetinis apdorojimas suderinamas su ZDR ir BAA?