Slik fungerer det

Kunder kan sende trafikk til Hurtigmodus for hver enkelt forespørsel ved å bruke den eksisterende parameteren service_tier med alternativet service_tier = "fast".

Tokener som behandles i Hurtigmodus, faktureres per token til en høyere pris enn satsene for standardbehandling.

I tillegg til å konfigurere dette på forespørselsnivå kan du angi Hurtigmodus som standard for et prosjekt under Prosjektinnstillinger > Standard tjenestenivå: Hurtig. Du kan fortsatt overstyre dette for hver enkelt forespørsel. Å velge Hurtig i prosjektinnstillingene tilsvarer å velge Prioritert.

Hvordan fungerer dette sammen med Skaleringsnivå?

Skaleringsnivå forblir atskilt fra Hurtigmodus. Forespørsler som sendes til Hurtigmodus, faktureres separat og belastes ikke TPM-pakkene du har kjøpt for Skaleringsnivå.

Kan overskytende trafikk fra Skaleringsnivå sendes automatisk til Hurtigmodus?

Nei. Trafikk som sendes til Skaleringsnivå, overføres ikke automatisk til Hurtigmodus.

Hvordan faktureres Hurtigmodus?

Tokener som behandles i Hurtigmodus, faktureres per token til en høyere pris enn satsene for standardbehandling.

Er årsforpliktelsen min knyttet til en bestemt behandlingsmodus?

Nei. Alle behandlingsmoduser teller mot den årlige forbruksforpliktelsen for Enterprise.

Får jeg fortsatt rabatt på bufrede inndatatokener?

Ja! Bufrede inndata får samme rabatt på 50–75 % som ved standardbehandling.

Hvordan ser jeg bruken av og kostnadene for Hurtigmodus?

For å se tokener behandlet av Hurtigmodus (tidligere Prioritert behandling), går du til kontrollpanelet for bruk, velger Chat Completions eller Responses og deretter Grupper etter tjenestenivå.

For å se kostnadene for Hurtigmodus går du til kontrollpanelet for bruk og velger Grupper etter linjeelement.

I kontrollpanelet for bruk vises forespørsler med enten priority eller fast som service_tier fortsatt som priority. Dette blir oppdatert for fremtidige modeller.

Modeller

Er Hurtigmodus tilgjengelig for lange kontekster, finjusterte modeller, innebygginger og lignende?

Ikke for øyeblikket. Vi vil senere vurdere om Hurtigmodus skal tilbys for flere produkter enn de nyeste modellene våre.

Hvordan fungerer andre modaliteter med Hurtigmodus?

Hurtigmodus støtter de samme multimodale funksjonene som standardbehandling. Bilder kan blant annet brukes som inndata ved Prioritert behandling og behandles med den samme lave latenstiden.

Vil fremtidige modeller støttes?

Vi planlegger å tilby Hurtigmodus for nye GPT-modeller, men garanterer ikke støtte for alle modeller.

Bruksgrenser

Hva er bruksgrensene?

Ved beregning av bruksgrenser behandles forbruk fra Prioritert behandling på samme måte som standard API-trafikk.

Hva er bruksgrensene for opptrapping?

Hurtigmodus har bruksgrenser for opptrapping for å sikre jevnt høy ytelse for alle kunder, samtidig som prisingen er fleksibel og behovsbasert. Hvis (a) ytelsen til Hurtigmodus er redusert OG (b) trafikken til en kunde øker for raskt, kan enkelte forespørsler i sjeldne tilfeller bli nedgradert til standardbehandling.

Den gjeldende bruksgrensen for opptrapping i Hurtigmodus er definert her i hoveddokumentasjonen vår.

Anbefalte fremgangsmåter for å holde deg innenfor bruksgrensen for opptrapping

Øk trafikken gradvis når du bytter modell. Hvis applikasjonen for eksempel går fra et tidligere øyeblikksbilde til et nytt, bør du bruke et funksjonsflagg til å overføre trafikken i løpet av noen timer i stedet for alt på én gang.

Unngå å kjøre omfattende databehandling eller asynkrone jobber i Hurtigmodus. Slike jobber kan øke trafikken svært raskt og trenger ofte ikke den forbedrede ytelsen i Hurtigmodus.

Hvis du ofte når bruksgrensene for opptrapping, bør du vurdere å kjøpe kvote for Skaleringsnivå i stedet.

Deler prosjektene eller organisasjonene mine bruksgrenser for opptrapping?

Ja, all trafikken din teller mot den samme bruksgrensen for opptrapping.

Retningslinjer

Hva skjer hvis Hurtigmodus ikke oppfyller målet for latenstid?

Ta kontakt med den kundeansvarlige din hvis du har spørsmål eller bekymringer. Tjenestenivåavtalene for Hurtigmodus behandles på samme måte som avtalene for Skaleringsnivå. Kunder med Enterprise-avtaler får tjenestekreditter hvis vi ikke oppfyller disse avtalene i et gitt tidsrom.

Er Hurtigmodus kompatibel med dataresidens?

Ja.

Er Hurtigmodus kompatibel med ZDR og BAA?

Ja.