Vi tilbyr nå prioritert behandling for Enterprise API-kunder som ønsker tilgang til raskere og mer konsekvent ytelse på enkelte modeller. Nedenfor finner du svar på vanlige spørsmål om hvordan det fungerer, prising, modelltilgjengelighet, bruksgrenser, pålitelighet, retningslinjer og kvalifisering.
Les mer her.
Tilgang
Hvem kan få tilgang til prioritert behandling?
Prioritert behandling er for øyeblikket tilgjengelig for Enterprise-kunder.
Er prioritert behandling tilgjengelig i alle regioner?
Tilgjengeligheten av prioritert behandling avhenger av gjeldende lover og forskrifter i hver jurisdiksjon. Kontakt Account Director hvis du har spørsmål om tilgjengelighet i regionen din.
Prising
Hvordan begynner jeg å bruke prioritert behandling?
Kunder kan sende trafikk til prioritert behandling per forespørsel ved hjelp av den eksisterende parameteren service_tier, med alternativet service_tier="priority".
Hvordan samhandler dette med Skaleringsnivå?
Skaleringsnivå forblir separat fra prioritert behandling. Forespørsler som sendes til prioritert behandling, faktureres separat og teller ikke mot TPM-pakkene du har kjøpt for Skaleringsnivå.
Kan jeg automatisk sende overløpstrafikk fra Skaleringsnivå til prioritert behandling?
Nei. Trafikk som sendes til Skaleringsnivå, flyter ikke automatisk over til prioritert behandling.
Hvordan faktureres prioritert behandling?
Token som leveres av prioritert behandling, faktureres per token og prises med et påslag sammenlignet med satsene for standardbehandling.
Er den årlige forpliktelsen min knyttet til en bestemt behandlingsmodus?
Nei. Alle behandlingsmoduser teller mot den årlige forbruksforpliktelsen din for Enterprise.
Får jeg fortsatt rabatt på bufrede inndata-token?
Ja! Bufrede inndata får den samme rabatten på 50–75 % som i standardbehandling.
Hvordan ser jeg bruken og kostnadene mine for prioritert behandling?
For å se token behandlet av prioritert behandling går du til bruksdashbordet, velger Chat Completions eller Responses og Grupper etter Tjenestenivå. For å se kostnader for prioritert behandling går du til bruksdashbordet og velger Grupper etter linjeelement.
Modeller
Er prioritert behandling tilgjengelig for lang kontekst, finjusterte modeller, embeddings osv.?
Ikke på dette tidspunktet. Vi vil i fremtiden vurdere om vi skal tilby prioritert behandling på flere produkter utover de nyeste modellene våre.
Hvordan fungerer andre modaliteter med prioritert behandling?
Prioritert behandling støtter de samme multimodale funksjonene som er tilgjengelige på Standard. Spesielt kan bilder brukes som inndata til prioritert behandling og behandles med samme lave svartid.
Vil fremtidige modeller støttes?
Vi planlegger å tilby prioritert behandling på nye GPT-modeller, men vi garanterer ikke at alle modeller vil støttes.
Bruksgrenser
Hva er bruksgrensene?
Forbruk av prioritert behandling behandles på samme måte som standard API-trafikk for bruksgrenser.
Hva er bruksgrensene for opptrappingstakt?
Prioritert behandling har bruksgrenser for opptrappingstakt for å sikre jevnt høy ytelse for alle kunder, samtidig som fleksibel behovsbasert prising tilbys. Hvis (a) ytelsen for prioritert behandling er redusert OG (b) kundens trafikk trappes opp for raskt, kan enkelte prioriterte forespørsler i sjeldne tilfeller nedgraderes til standardbehandling i stedet.
Den gjeldende bruksgrensen for opptrappingstakt for prioritert behandling er definert i hoveddokumentasjonen vår her.
Beste praksis for å holde deg innenfor bruksgrensen for opptrappingstakt
Øk trafikken gradvis når du bytter modeller. Hvis applikasjonen din for eksempel går over fra et tidligere øyeblikksbilde til et nytt, kan du bruke et funksjonsflagg til å flytte trafikken over noen timer i stedet for alt på én gang.
Unngå å kjøre store databehandlings- eller asynkrone jobber på prioritert behandling. Disse jobbene kan øke trafikken svært raskt og trenger ofte ikke den forbedrede ytelsen til prioritert behandling.
Hvis du ofte møter bruksgrenser for opptrappingstakt, bør du vurdere å kjøpe Skaleringsnivå-kvote i stedet.
Deles bruksgrenser for opptrappingstakt på tvers av prosjektene eller organisasjonene mine?
Ja, all trafikken din bidrar til den samme bruksgrensen for opptrappingstakt.
Retningslinjer
Hva skjer hvis prioritert behandling ikke oppfyller latensmålet?
Kontakt AD-en din hvis du har spørsmål eller bekymringer. SLA-er for prioritert behandling behandles på samme måte som SLA-er for Skaleringsnivå. Tjenestekreditter tilbys hvis vi ikke oppfyller disse SLA-ene for kunder med Enterprise-avtaler i et gitt tidsvindu.
Er prioritert behandling kompatibel med dataresidens?
Ja.
Er prioritert behandling kompatibel med ZDR og BAA?
Ja.