Jinsi inavyofanya kazi

Wateja wanaweza kuelekeza trafiki kwenye Hali ya haraka kwa kila ombi kwa kutumia kigezo kilichopo cha service_tier pamoja na chaguo la service_tier = "fast".

Tokeni zinazochakatwa na Hali ya haraka zitatozwa kwa kila tokeni, kwa bei ya juu kuliko viwango vya uchakataji wa Standard.

Mbali na kuisanidi katika kiwango cha ombi, unaweza pia kuweka Hali ya haraka kuwa chaguo-msingi la mradi katika Project settings > Default Service Tier: Fast. Bado unaweza kubatilisha mpangilio huo kwa kila ombi. Kuchagua Fast katika mipangilio ya mradi wako ni sawa na kuchagua Priority.

Hii inahusianaje na Kiwango cha Kuongeza Uwezo?

Kiwango cha Kuongeza Uwezo kitaendelea kuwa tofauti na Hali ya haraka. Maombi yanayotumwa kwenye Hali ya haraka yatatozwa kando na hayatahesabiwa katika vifurushi vya TPM vya Kiwango cha Kuongeza Uwezo ulivyonunua.

Je, ninaweza kuelekeza kiotomatiki trafiki inayozidi uwezo wa Kiwango cha Kuongeza Uwezo kwenye Hali ya haraka?

La. Trafiki inayotumwa kwenye Kiwango cha Kuongeza Uwezo haitahamishiwa kiotomatiki kwenye Hali ya haraka inapozidi uwezo.

Hali ya haraka hutozwaje?

Tokeni zinazochakatwa na Hali ya haraka zitatozwa kwa kila tokeni, kwa bei ya juu kuliko viwango vya uchakataji wa Standard.

Je, ahadi yangu ya mwaka inahusishwa na hali mahususi ya uchakataji?

La. Hali zote za uchakataji zinahesabiwa katika ahadi yako ya matumizi ya mwaka ya Enterprise.

Je, bado ninapata punguzo kwa tokeni za ingizo zilizohifadhiwa kwenye akiba?

Ndiyo! Ingizo Zilizohifadhiwa kwenye Akiba hupata punguzo lilelile la 50–75% kama katika uchakataji wa Standard.

Ninawezaje kuona matumizi na gharama zangu za Hali ya haraka?

Ili kuona tokeni zilizochakatwa na Hali ya haraka (zamani uchakataji wa Priority), nenda kwenye dashibodi ya Usage, chagua Chat Completions au Responses, kisha uchague Group by Service Tier.

Ili kuona gharama ya Hali ya haraka, nenda kwenye dashibodi ya Usage kisha uchague Group by Line Item.

Kwenye dashibodi ya Usage, maombi yanayotumia priority au fast kama service_tier yataendelea kuonekana kama priority. Hili litasasishwa kwa miundo ya baadaye.

Miundo

Je, Hali ya haraka inapatikana kwa muktadha mrefu, miundo iliyoboreshwa kwa data mahususi, embeddings na kadhalika?

Si kwa sasa. Katika siku zijazo, tutatathmini uwezekano wa kutoa Hali ya haraka kwenye bidhaa zaidi ya miundo yetu ya hivi karibuni.

Mbinu nyingine za kuingiza na kutoa data hufanyaje kazi na Hali ya haraka?

Hali ya haraka inasaidia uwezo uleule wa aina nyingi za data unaopatikana kwenye Standard. Hasa, picha zinaweza kutumiwa kama ingizo katika uchakataji wa Priority na huchakatwa kwa kasi ileile ya juu.

Je, miundo ya baadaye itatumika?

Tunapanga kutoa Hali ya haraka kwenye miundo mipya ya GPT, lakini hatuhakikishi kuwa kila muundo utatumika.

Vikomo vya maombi

Vikomo vya maombi ni vipi?

Matumizi ya uchakataji wa Priority huchukuliwa sawa na trafiki ya kawaida ya API kwa madhumuni ya vikomo vya maombi.

Vikomo vya kasi ya kuongeza trafiki ni vipi?

Hali ya haraka ina vikomo vya kasi ya kuongeza trafiki ili kuhakikisha utendaji wa juu na thabiti kwa wateja wote, huku ikiendelea kutoa bei nyumbufu kulingana na mahitaji. Ikiwa (a) utendaji wa Hali ya haraka umeshuka NA (b) trafiki ya mteja inaongezeka haraka mno, katika hali nadra baadhi ya maombi yanaweza kuhamishwa badala yake kwenye uchakataji wa Standard.

Kikomo cha sasa cha kasi ya kuongeza trafiki katika Hali ya haraka kimefafanuliwa hapa kwenye nyaraka zetu kuu.

Mbinu bora za kutovuka kikomo chako cha kasi ya kuongeza trafiki

Ongeza trafiki hatua kwa hatua unapobadilisha miundo. Kwa mfano, ikiwa programu yako inahama kutoka snapshot ya awali kwenda mpya, tumia feature flag kuhamisha trafiki kwa muda wa saa kadhaa badala ya kuihamisha yote mara moja.

Epuka kuendesha kazi kubwa za kuchakata data au kazi zisizosawazishwa kwenye Hali ya haraka. Kazi hizi zinaweza kuongeza trafiki haraka sana, na mara nyingi hazihitaji utendaji ulioboreshwa wa Hali ya haraka.

Ikiwa unakumbana mara kwa mara na vikomo vya kasi ya kuongeza trafiki, badala yake zingatia kununua mgao wa Kiwango cha Kuongeza Uwezo.

Je, vikomo vya kasi ya kuongeza trafiki vinashirikiwa katika miradi au mashirika yangu yote?

Ndiyo, trafiki yako yote huchangia katika kikomo kilekile cha kasi ya kuongeza trafiki.

Sera

Nini hutokea ikiwa Hali ya haraka haifikii lengo la muda wa kusubiri?

Tafadhali wasiliana na AD wako ukiwa na maswali au wasiwasi wowote. SLA za Hali ya haraka zitashughulikiwa sawa na SLA za Kiwango cha Kuongeza Uwezo; tutatoa salio za huduma tukishindwa kutimiza SLA hizo ndani ya kipindi fulani kwa wateja wenye makubaliano ya Enterprise.

Je, Hali ya haraka inaoana na hifadhi ya data?

Ndiyo.

Je, Hali ya haraka inaoana na ZDR na BAA?

Ndiyo.