Kuidas see toimib?

Kliendid saavad suunata liikluse iga päringu puhul eraldi Kiirrežiimi, kasutades olemasolevat parameetrit service_tier koos valikuga service_tier = "fast".

Kiirrežiimis töödeldud tokenite eest esitatakse arve tokenipõhiselt ja Standardtöötlusest kõrgema hinnaga.

Lisaks päringutasandil seadistamisele saate määrata projekti vaikerežiimiks Kiirrežiimi jaotises Project settings > Default Service Tier: Fast. Saate selle valiku iga päringu puhul siiski alistada. Projekti seadetes valiku Fast tegemine on samaväärne valiku Priority tegemisega.

Kuidas toimib see koos Skaleerimistasandiga?

Skaleerimistasand jääb Kiirrežiimist eraldiseisvaks. Kiirrežiimi saadetud päringute eest esitatakse eraldi arve ning neid ei arvestata teie ostetud Skaleerimistasandi TPM-pakettide hulka.

Kas saan Skaleerimistasandi ülejääva liikluse automaatselt Kiirrežiimi suunata?

Ei. Skaleerimistasandile saadetud liiklust ei suunata automaatselt Kiirrežiimi.

Kuidas Kiirrežiimi eest arveldatakse?

Kiirrežiimis töödeldud tokenite eest esitatakse arve tokenipõhiselt ja Standardtöötlusest kõrgema hinnaga.

Kas minu aastane kohustus on seotud kindla töötlusrežiimiga?

Ei. Kõigi töötlusrežiimide kulud lähevad arvesse teie Enterprise’i aastase kulukohustuse täitmisel.

Kas vahemällu salvestatud sisendtokenitele kehtib endiselt allahindlus?

Jah! Vahemällu salvestatud sisenditele kehtib sama 50–75% allahindlus nagu Standardtöötluse puhul.

Kuidas vaadata Kiirrežiimi kasutust ja kulusid?

Kiirrežiimis (endise nimega Priority processing) töödeldud tokenite vaatamiseks avage Usage dashboard, valige Chat Completions või Responses ja seejärel Group by Service Tier.

Kiirrežiimi kulude vaatamiseks avage Usage dashboard ja valige Group by Line Item.

Usage dashboardis kuvatakse päringuid, mille service_tier on priority või fast, ka edaspidi väärtusega priority. Tulevaste mudelite puhul seda muudetakse.

Mudelid

Kas Kiirrežiim on saadaval pika konteksti, peenhäälestatud mudelite, manuste jm jaoks?

Praegu mitte. Hindame tulevikus, kas pakkuda Kiirrežiimi peale uusimate mudelite ka muudes toodetes.

Kuidas toimivad Kiirrežiimis muud modaalsused?

Kiirrežiim toetab samu multimodaalseid võimalusi nagu Standardtöötlus. Eelkõige saab pilte kasutada Priority processing’u sisendina ning neid töödeldakse sama lühikese latentsusajaga.

Kas tulevasi mudeleid hakatakse toetama?

Kavatseme pakkuda Kiirrežiimi uutes GPT mudelites, kuid ei garanteeri, et kõiki mudeleid toetatakse.

Kiiruse piirangud

Millised on kiiruse piirangud?

Kiiruse piirangute arvestuses käsitletakse Priority processing’u kasutust samamoodi nagu tavapärast API-liiklust.

Millised on liikluse kasvukiiruse piirangud?

Kiirrežiimil on liikluse kasvukiiruse piirangud, et tagada kõigile klientidele püsivalt hea jõudlus ning pakkuda samal ajal paindlikku nõudluspõhist hinnastamist. Kui (a) Kiirrežiimi jõudlus on halvenenud JA (b) kliendi liiklus kasvab liiga kiiresti, võidakse harvadel juhtudel osa päringuid suunata hoopis Standardtöötlusse.

Kiirrežiimi praegune liikluse kasvukiiruse piirang on määratletud meie põhidokumentatsioonis siin.

Head tavad liikluse kasvukiiruse piirangu järgimiseks

Mudelite vahetamisel suurendage liiklust järk-järgult. Näiteks kui teie rakendus läheb varasemalt hetktõmmiselt üle uuele, kasutage funktsioonilippu, et suunata liiklus ümber järk-järgult mõne tunni jooksul, mitte korraga.

Vältige mahukate andmetöötlus- või asünkroonsete tööde käitamist Kiirrežiimis. Need tööd võivad liiklust väga kiiresti kasvatada ega vaja sageli Kiirrežiimi paremat jõudlust.

Kui jõuate sageli liikluse kasvukiiruse piiranguni, kaaluge selle asemel Skaleerimistasandi kvoodi ostmist.

Kas liikluse kasvukiiruse piirangud on minu projektide või organisatsioonide vahel ühised?

Jah, kogu teie liiklus läheb arvesse sama liikluse kasvukiiruse piirangu puhul.

Eeskirjad

Mis juhtub, kui Kiirrežiim ei täida latentsusaja eesmärki?

Küsimuste või murede korral võtke ühendust oma kliendihalduriga. Kiirrežiimi SLA-sid käsitletakse samamoodi nagu Skaleerimistasandi SLA-sid. Kui me ei täida Enterprise’i lepinguga klientide puhul neid SLA-sid kindla ajavahemiku jooksul, pakume teenusekrediiti.

Kas Kiirrežiim ühildub andmete asukohanõuetega?

Jah.

Kas Kiirrežiim ühildub ZDR-i ja BAA-ga?

Jah.