Tarjoamme nyt Enterprise API -asiakkaille prioriteettikäsittelyä, jos he haluavat tietyillä malleilla nopeamman ja tasaisemman suorituskyvyn. Alta löydät vastauksia yleisiin kysymyksiin sen toiminnasta, hinnoittelusta, mallien saatavuudesta, käyttörajoista, luotettavuudesta, käytännöistä ja kelpoisuudesta.

Lue lisää täältä.

Käyttöoikeus

Kuka voi käyttää prioriteettikäsittelyä?

Prioriteettikäsittely on tällä hetkellä Enterprise-asiakkaiden saatavilla.

Onko prioriteettikäsittely saatavilla kaikilla alueilla?

Prioriteettikäsittelyn saatavuus riippuu kunkin lainkäyttöalueen sovellettavista laeista ja määräyksistä. Ota yhteyttä Account Directoriisi, jos sinulla on kysyttävää saatavuudesta alueellasi.

Hinnoittelu

Miten aloitan prioriteettikäsittelyn käytön?

Asiakkaat voivat ohjata liikennettä prioriteettikäsittelyyn pyyntökohtaisesti käyttämällä olemassa olevaa service_tier-parametria ja valintaa service_tier="priority".

Miten tämä toimii yhdessä Scale Tierin kanssa?

Scale Tier säilyy erillisenä prioriteettikäsittelystä. Prioriteettikäsittelyyn lähetetyt pyynnöt laskutetaan erikseen, eikä niitä lasketa ostamiasi Scale Tier TPM -paketteja vastaan.

Voinko lähettää Scale Tierin ylivuotoliikenteen automaattisesti prioriteettikäsittelyyn?

En. Scale Tieriin lähetetty liikenne ei siirry automaattisesti prioriteettikäsittelyyn.

Miten prioriteettikäsittely laskutetaan?

Prioriteettikäsittelyn palvelemat tokenit laskutetaan token-kohtaisesti, ja niiden hinta on Standard-käsittelyn hintoja korkeampi.

Onko vuosisitoumukseni sidottu tiettyyn käsittelytilaan?

Ei. Kaikki käsittelytilat lasketaan mukaan vuosittaiseen Enterprise-kulutussitoumukseesi.

Saanko edelleen alennuksen välimuistiin tallennetuista syötetokeneista?

Kyllä! Cached Inputs saa saman 50–75 % alennuksen kuin Standard-käsittelyssä.

Miten näen prioriteettikäsittelyn käyttömääriä ja kulutusta?

Nähdäksesi prioriteettikäsittelyn käsittelemät tokenit siirry Usage-koontinäyttöön, valitse Chat Completions tai Responses ja ryhmittele Service Tierin mukaan. Nähdäksesi prioriteettikäsittelyn kustannukset siirry Usage-koontinäyttöön ja valitse ryhmittelyksi Line Item.

Mallit

Onko prioriteettikäsittely saatavilla pitkälle kontekstille, hienosäädetyille malleille, upotuksille jne.?

Ei tällä hetkellä. Arvioimme tulevaisuudessa, tarjoammeko prioriteettikäsittelyä lisätuotteille uusimpien malliemme lisäksi.

Miten muut modaliteetit toimivat prioriteettikäsittelyssä?

Prioriteettikäsittely tukee samoja multimodaalisia ominaisuuksia kuin Standard. Erityisesti kuvia voidaan käyttää prioriteettikäsittelyn syötteinä, ja ne käsitellään samalla nopealla viiveellä.

Tuetaanko tulevia malleja?

Suunnittelemme tarjoavamme prioriteettikäsittelyä uusille GPT-malleille, mutta emme takaa, että jokaista mallia tuetaan.

Käyttörajat

Mitkä ovat käyttörajat?

Prioriteettikäsittelyn käyttöä kohdellaan käyttörajojen osalta samalla tavalla kuin tavallista API-liikennettä.

Mitkä ovat kasvunopeusrajat?

Prioriteettikäsittelyssä on kasvunopeusrajat, jotta kaikille asiakkaille voidaan varmistaa tasaisen korkea suorituskyky ja samalla tarjota joustava, tarpeen mukaan määräytyvä hinnoittelu. Jos (a) prioriteettikäsittelyn suorituskyky heikkenee JA (b) asiakkaan liikenne kasvaa liian nopeasti, osa prioriteettipyynnöistä voidaan harvinaisissa tapauksissa alentaa Standard-käsittelyyn.

Prioriteettikäsittelyn nykyinen kasvunopeusraja on määritelty ensisijaisessa dokumentaatiossamme täällä.

Parhaat käytännöt kasvunopeusrajoissa pysymiseen

Lisää liikennettä asteittain, kun vaihdat mallia. Jos sovelluksesi esimerkiksi siirtyy aiemmasta snapshotista uuteen, käytä ominaisuuslippua liikenteen siirtämiseen muutaman tunnin aikana sen sijaan, että siirtäisit kaiken kerralla.
Vältä suurten tietojenkäsittely- tai asynkronisten töiden ajamista prioriteettikäsittelyssä. Nämä työt voivat kasvattaa liikennettä hyvin nopeasti, eivätkä ne usein tarvitse prioriteettikäsittelyn parempaa suorituskykyä.
Jos kohtaat kasvunopeusrajoja toistuvasti, harkitse sen sijaan Scale tier -kiintiön ostamista.

Jaetaanko kasvunopeusrajat projektieni tai organisaatioideni kesken?

Kyllä, kaikki liikenteesi vaikuttaa samaan kasvunopeusrajaan.

Käytännöt

Mitä tapahtuu, jos prioriteettikäsittely ei täytä viivetavoitetta?

Ota yhteyttä AD:hen, jos sinulla on kysymyksiä tai huolia. Prioriteettikäsittelyn SLA:t käsitellään samalla tavalla kuin Scale Tierin SLA:t; palveluhyvityksiä tarjotaan, jos emme täytä näitä SLA:ita Enterprise-sopimusasiakkaille tietyn aikaikkunan aikana.

Onko prioriteettikäsittely yhteensopiva tietojen sijaintipaikan kanssa?

Kyllä.

Onko prioriteettikäsittely yhteensopiva ZDR:n ja BAA:n kanssa?