Sada nudimo Prioritetnu obradu za Enterprise API korisnike koji žele pristup bržim i dosljednijim performansama na određenim modelima. U nastavku su odgovori na česta pitanja o tome kako funkcionira, cijenama, dostupnosti modela, ograničenjima brzine, pouzdanosti, pravilima i podobnosti.
Saznajte više ovdje.
Pristup
Ko može pristupiti Prioritetnoj obradi?
Prioritetna obrada trenutno je dostupna Enterprise korisnicima.
Da li je Prioritetna obrada dostupna u svim regijama?
Dostupnost Prioritetne obrade zavisi od primjenjivih zakona i propisa u svakoj jurisdikciji. Obratite se svom direktoru za račun ako imate pitanja o dostupnosti u svojoj regiji.
Cijene
Kako da počnem koristiti Prioritetnu obradu?
Korisnici mogu usmjeriti promet na Prioritetnu obradu po pojedinačnom zahtjevu koristeći postojeći parametar service_tier, s opcijom service_tier="priority".
Kako ovo funkcioniše s Nivoom skale?
Nivo skale ostat će odvojen od Prioritetne obrade. Zahtjevi poslani na Prioritetnu obradu naplaćivat će se zasebno i neće se uračunavati u kupljene TPM pakete Nivoa skale.
Mogu li automatski slati svoj višak prometa s Nivoa skale na Prioritetnu obradu?
Ne. Promet poslan na Nivo skale neće se automatski preliti na Prioritetnu obradu.
Kako se naplaćuje Prioritetna obrada?
Tokeni posluženi Prioritetnom obradom naplaćivat će se po tokenu, po premium cijeni u odnosu na cijene Standardne obrade.
Da li je moja godišnja obaveza vezana za određeni način obrade?
Ne. Svi načini obrade uračunavaju se u vašu godišnju obavezu Enterprise potrošnje.
Da li i dalje dobijam popust na keširane ulazne tokene?
Da! Keširani ulazi dobijaju isti popust od 50–75% kao i u Standardnoj obradi.
Kako mogu vidjeti svoju upotrebu i potrošnju za Prioritetnu obradu?
Da biste vidjeli tokene obrađene Prioritetnom obradom, idite na kontrolnu tablu Usage, odaberite Chat Completions ili Responses i odaberite grupiranje po Nivou usluge. Da biste vidjeli trošak Prioritetne obrade, idite na kontrolnu tablu Usage i odaberite grupiranje po stavci.
Modeli
Da li je Prioritetna obrada dostupna za dugi kontekst, fino podešene modele, ugradnje itd.?
Ne u ovom trenutku. U budućnosti ćemo procijeniti da li da ponudimo Prioritetnu obradu na dodatnim proizvodima izvan naših najnovijih modela.
Kako drugi modaliteti funkcionišu s Prioritetnom obradom?
Prioritetna obrada podržava iste multimodalne mogućnosti dostupne na Standardu. Konkretno, slike se mogu koristiti kao ulazi za Prioritetnu obradu i obrađuju se s istom brzom latencijom.
Hoće li budući modeli biti podržani?
Planiramo ponuditi Prioritetnu obradu na novim GPT modelima, ali ne garantujemo da će svaki model biti podržan.
Ograničenja brzine
Koja su ograničenja brzine?
Potrošnja Prioritetne obrade tretira se isto kao standardni API promet u pogledu ograničenja brzine.
Koja su ograničenja brzine povećanja?
Prioritetna obrada ima ograničenja brzine povećanja kako bi se osigurale dosljedno visoke performanse za sve korisnike, uz fleksibilno određivanje cijena na zahtjev. Ako su (a) performanse Prioritetne obrade smanjene I (b) promet korisnika se prebrzo povećava, u rijetkim slučajevima neki Prioritetni zahtjevi mogu umjesto toga biti spušteni na Standardnu obradu.
Trenutno ograničenje brzine povećanja za Prioritetnu obradu definirano je u našoj glavnoj dokumentaciji ovdje.
Najbolje prakse za ostanak unutar ograničenja brzine povećanja
Postepeno povećavajte promet prilikom promjene modela. Na primjer, ako vaša aplikacija prelazi s prethodnog snimka na novi, koristite oznaku funkcije da preusmjerite promet tokom nekoliko sati umjesto odjednom.
Izbjegavajte pokretanje velikih poslova obrade podataka ili asinhronih poslova na Prioritetnoj obradi. Ovi poslovi mogu vrlo brzo povećati promet i često im nisu potrebne poboljšane performanse Prioritetne obrade.
Ako redovno nailazite na ograničenja brzine povećanja, razmislite o kupovini kvote Nivoa skale.
Da li se ograničenja brzine povećanja dijele između mojih projekata ili organizacija?
Da, sav vaš promet doprinosi istom ograničenju brzine povećanja.
Pravila
Šta se dešava ako Prioritetna obrada ne ispunjava cilj latencije?
Obratite se svom AD-u za sva pitanja ili nedoumice. SLA-ovi Prioritetne obrade tretirat će se isto kao SLA-ovi Nivoa skale; krediti za uslugu bit će ponuđeni ako ne ispunimo te SLA-ove za korisnike s Enterprise ugovorima tokom određenog vremenskog perioda.
Da li je Prioritetna obrada kompatibilna s rezidentnošću podataka?
Da.
Da li je Prioritetna obrada kompatibilna sa ZDR-om i BAA-om?
Da.