Nag-aalok na kami ngayon ng Priority na pagproseso para sa mga Enterprise API customer na gustong magkaroon ng access sa mas mabilis at mas consistent na performance sa ilang modelo. Nasa ibaba ang mga sagot sa mga karaniwang tanong tungkol sa kung paano ito gumagana, pagpepresyo, availability ng modelo, mga rate limit, reliability, mga patakaran, at eligibility.

Matuto pa dito.

Access

Sino ang makaka-access sa Priority na pagproseso?

Kasalukuyang available ang Priority na pagproseso sa mga Enterprise customer.

Available ba ang Priority na pagproseso sa lahat ng rehiyon?

Nakadepende ang availability ng Priority na pagproseso sa mga naaangkop na batas at regulasyon sa bawat hurisdiksyon. Makipag-ugnayan sa iyong Account Director kung may mga tanong ka tungkol sa availability sa iyong rehiyon.

Pagpepresyo

Paano ko sisimulang gamitin ang Priority na pagproseso?

Maaaring idirekta ng mga customer ang traffic sa Priority na pagproseso kada request gamit ang umiiral na parameter na service_tier, gamit ang opsyong service_tier="priority".

Paano ito nakikipag-ugnayan sa Antas ng Scale?

Mananatiling hiwalay ang Antas ng Scale sa Priority na pagproseso. Ang mga request na ipinadala sa Priority na pagproseso ay sisingilin nang hiwalay at hindi ibibilang sa iyong biniling mga TPM bundle sa Antas ng Scale.

Maaari ko bang awtomatikong ipadala ang spillover traffic ng aking Antas ng Scale sa Priority na pagproseso?

Hindi. Ang traffic na ipinadala sa Antas ng Scale ay hindi awtomatikong mag-spill over sa Priority na pagproseso.

Paano sinisingil ang Priority na pagproseso?

Ang mga token na inihatid ng Priority na pagproseso ay sisingilin kada token, na may presyong premium kumpara sa mga rate ng Standard na pagproseso.

Nakatali ba ang aking taunang commitment sa isang partikular na mode ng pagproseso?

Hindi. Lahat ng mode ng pagproseso ay ibinibilang sa iyong taunang Enterprise spend commitment.

May diskuwento pa rin ba ako sa mga Naka-cache na input token?

Oo! Nakakatanggap ang Mga Naka-cache na Input ng parehong 50-75% diskuwento gaya ng sa Standard na pagproseso.

Paano ko makikita ang aking paggamit at gastos sa Priority na pagproseso?

Para makita ang mga token na naproseso ng Priority na pagproseso, pumunta sa Usage dashboard, piliin ang Chat Completions o Responses, at i-Group by Antas ng Serbisyo. Para makita ang gastos sa Priority na pagproseso, pumunta sa Usage dashboard, at piliin ang Group by Line Item.

Mga Modelo

Available ba ang Priority na pagproseso para sa long context, mga fine-tuned na modelo, embeddings, atbp.?

Hindi sa ngayon. Susuriin namin sa hinaharap kung mag-aalok ng Priority na pagproseso sa mga karagdagang produkto bukod sa aming pinakabagong mga modelo.

Paano gumagana ang iba pang modality sa Priority na pagproseso?

Sinusuportahan ng Priority na pagproseso ang parehong multimodal capability na available sa Standard. Sa partikular, maaaring gamitin ang mga larawan bilang input sa Priority na pagproseso at pinoproseso ang mga ito nang may parehong mabilis na latency.

Susuportahan ba ang mga modelo sa hinaharap?

Plano naming mag-alok ng Priority na pagproseso sa mga bagong GPT model, pero hindi namin ginagarantiya na susuportahan ang bawat modelo.

Mga rate limit

Ano ang mga rate limit?

Itinuturing ang pagkonsumo ng Priority na pagproseso na kapareho ng karaniwang API traffic para sa mga rate limit.

Ano ang mga ramp rate limit?

May mga ramp rate limit ang Priority na pagproseso para matiyak ang tuloy-tuloy na mataas na performance para sa lahat ng customer, habang nagbibigay pa rin ng flexible at on-demand na pagpepresyo. Kung (a) bumaba ang performance ng Priority na pagproseso AT (b) masyadong mabilis ang pagtaas ng traffic ng isang customer, maaaring i-downgrade ang ilang Priority request sa Standard na pagproseso sa halip, sa mga bihirang pagkakataon.

Ang kasalukuyang ramp rate limit ng Priority na pagproseso ay tinukoy sa aming pangunahing dokumentasyon dito.

Pinakamahuhusay na kasanayan para manatili sa loob ng iyong ramp rate limit

• Unti-unting dagdagan ang traffic kapag nagpapalit ng mga modelo. Halimbawa, kung lumilipat ang iyong application mula sa dating snapshot patungo sa bago, gumamit ng feature flag para ilipat ang traffic sa loob ng ilang oras sa halip na sabay-sabay.

• Iwasang magpatakbo ng malalaking data processing o asynchronous na job sa Priority na pagproseso. Maaaring napakabilis na pataasin ng mga job na ito ang traffic, at kadalasan ay hindi kailangan ang pinahusay na performance ng Priority na pagproseso.

• Kung madalas kang nakakaranas ng mga ramp rate limit, pag-isipang bumili na lang ng quota sa Antas ng Scale.

Pinagsasaluhan ba ang mga ramp rate limit sa aking mga proyekto o organisasyon?

Oo, lahat ng iyong traffic ay nag-aambag sa iisang ramp rate limit.

Mga Patakaran

Ano ang mangyayari kung hindi natutugunan ng Priority na pagproseso ang target sa latency?

Mangyaring makipag-ugnayan sa iyong AD para sa anumang tanong o alalahanin. Ituturing ang mga SLA ng Priority na pagproseso na kapareho ng mga SLA ng Antas ng Scale; mag-aalok ng mga service credit kung hindi namin matutugunan ang mga SLA na iyon para sa mga customer na may Enterprise agreement sa isang partikular na time window.

Compatible ba ang Priority na pagproseso sa Lokasyon ng Data?

Oo.

Compatible ba ang Priority na pagproseso sa ZDR at BAA?

Oo.