Zdaj ponujamo prednostno obdelavo za stranke Enterprise API, ki želijo dostop do hitrejše in doslednejše zmogljivosti pri določenih modelih. Spodaj so odgovori na pogosta vprašanja o tem, kako deluje, o cenah, razpoložljivosti modelov, omejitvah hitrosti, zanesljivosti, pravilnikih in upravičenosti.
Več o tem tukaj.
Dostop
Kdo lahko dostopa do prednostne obdelave?
Prednostna obdelava je trenutno na voljo strankam Enterprise.
Ali je prednostna obdelava na voljo v vseh regijah?
Razpoložljivost prednostne obdelave je odvisna od veljavnih zakonov in predpisov v posamezni jurisdikciji. Če imate vprašanja o razpoložljivosti v svoji regiji, se obrnite na svojega vodjo računa.
Cene
Kako začnem uporabljati prednostno obdelavo?
Stranke lahko promet usmerijo v prednostno obdelavo za vsako zahtevo posebej z obstoječim parametrom service_tier in možnostjo service_tier="priority".
Kako to deluje skupaj z lestvico zmogljivosti?
Lestvica zmogljivosti bo ostala ločena od prednostne obdelave. Zahteve, poslane v prednostno obdelavo, bodo obračunane ločeno in se ne bodo štele v vaše kupljene pakete TPM lestvice zmogljivosti.
Ali lahko svoj presežni promet lestvice zmogljivosti samodejno pošljem v prednostno obdelavo?
Ne. Promet, poslan v lestvico zmogljivosti, se ne bo samodejno prelil v prednostno obdelavo.
Kako se obračunava prednostna obdelava?
Žetoni, obdelani s prednostno obdelavo, bodo obračunani na žeton, po višji ceni v primerjavi s tarifami standardne obdelave.
Ali je moja letna obveznost vezana na določen način obdelave?
Ne. Vsi načini obdelave se štejejo v vašo letno obveznost porabe za Enterprise.
Ali še vedno dobim popust za predpomnjene vhodne žetone?
Da! Predpomnjeni vhodi prejmejo enak 50–75-odstotni popust kot pri standardni obdelavi.
Kako si ogledam uporabo in porabo za prednostno obdelavo?
Če si želite ogledati žetone, obdelane s prednostno obdelavo, pojdite na nadzorno ploščo Usage, izberite Chat Completions ali Responses in združite po ravni storitve. Če si želite ogledati stroške prednostne obdelave, pojdite na nadzorno ploščo Usage in izberite združevanje po postavki.
Modeli
Ali je prednostna obdelava na voljo za dolg kontekst, natančno uglašene modele, vdelave itd.?
Trenutno ne. V prihodnosti bomo ocenili, ali naj ponudimo prednostno obdelavo za dodatne izdelke poleg naših najnovejših modelov.
Kako druge modalitete delujejo s prednostno obdelavo?
Prednostna obdelava podpira enake večmodalne zmogljivosti, kot so na voljo pri standardni ravni. Zlasti slike se lahko uporabljajo kot vhodi za prednostno obdelavo in se obdelajo z enako nizko zakasnitvijo.
Ali bodo prihodnji modeli podprti?
Prednostno obdelavo nameravamo ponuditi za nove modele GPT, vendar ne jamčimo, da bo podprt vsak model.
Omejitve hitrosti
Kakšne so omejitve hitrosti?
Poraba prednostne obdelave se za omejitve hitrosti obravnava enako kot standardni promet API-ja.
Kakšne so omejitve hitrosti povečevanja?
Prednostna obdelava ima omejitve hitrosti povečevanja, da zagotovi dosledno visoko zmogljivost za vse stranke, hkrati pa še vedno omogoča prilagodljivo določanje cen na zahtevo. Če je (a) zmogljivost prednostne obdelave poslabšana IN (b) se promet stranke povečuje prehitro, se lahko v redkih primerih nekatere prednostne zahteve namesto tega znižajo na standardno obdelavo.
Trenutna omejitev hitrosti povečevanja za prednostno obdelavo je opredeljena v naši glavni dokumentaciji tukaj.
Najboljše prakse za upoštevanje omejitve hitrosti povečevanja
Pri menjavi modelov promet povečujte postopoma. Če vaša aplikacija na primer prehaja s prejšnjega posnetka na novega, uporabite zastavico funkcije, da promet preusmerite v nekaj urah, namesto vsega naenkrat.
Izogibajte se izvajanju velikih opravil obdelave podatkov ali asinhronih opravil s prednostno obdelavo. Ta opravila lahko zelo hitro povečajo promet in pogosto ne potrebujejo izboljšane zmogljivosti prednostne obdelave.
Če se redno srečujete z omejitvami hitrosti povečevanja, razmislite o nakupu kvote lestvice zmogljivosti.
Ali so omejitve hitrosti povečevanja skupne za moje projekte ali organizacije?
Da, ves vaš promet prispeva k isti omejitvi hitrosti povečevanja.
Pravilniki
Kaj se zgodi, če prednostna obdelava ne dosega ciljne zakasnitve?
Če imate kakršna koli vprašanja ali pomisleke, se obrnite na svojega AD-ja. SLA-ji za prednostno obdelavo bodo obravnavani enako kot SLA-ji za lestvico zmogljivosti; če teh SLA-jev za stranke s pogodbami Enterprise v določenem časovnem oknu ne izpolnimo, bodo ponujeni dobropisi za storitve.
Ali je prednostna obdelava združljiva z lokalno hrambo podatkov?
Da.
Ali je prednostna obdelava združljiva z ZDR in BAA?
Da.