Vi tilbyr nå Priority processing for Enterprise API-kunder som ønsker tilgang til raskere og mer konsistent ytelse på enkelte modeller. Nedenfor finner du svar på vanlige spørsmål om hvordan det fungerer, priser, modelltilgjengelighet, hastighetsgrenser, pålitelighet, retningslinjer og kvalifisering.
Les mer her.
Tilgang
Hvem har tilgang til Priority processing?
Priority processing er for øyeblikket tilgjengelig for Enterprise-kunder.
Er Priority processing tilgjengelig i alle regioner?
Tilgjengeligheten av Priority processing avhenger av gjeldende lover og forskrifter i hver jurisdiksjon. Kontakt Account Director hvis du har spørsmål om tilgjengelighet i din region.
Priser
Hvordan begynner jeg å bruke Priority processing?
Kunder kan dirigere trafikk til Priority processing per forespørsel ved å bruke den eksisterende parameteren service_tier, med alternativet service_tier="priority".
Hvordan samhandler dette med Scale Tier?
Scale Tier vil forbli adskilt fra Priority processing. Forespørsler sendt til Priority processing vil bli fakturert separat og vil ikke telle mot dine kjøpte Scale Tier-TPM-pakker.
Kan jeg automatisk sende Scale Tier-overflytstrafikken min til Priority processing?
Nei. Trafikk sendt til Scale Tier vil ikke automatisk flyte over til Priority processing.
Hvordan faktureres Priority processing?
Tokens betjent av Priority processing faktureres per token, med en premiumpris sammenlignet med satsene for Standard processing.
Er min årlige forpliktelse knyttet til en bestemt behandlingsmodus?
Nei. Alle behandlingsmoduser teller mot din årlige Enterprise-forbruksforpliktelse.
Får jeg fortsatt rabatt på bufrede inndatatokens?
Ja! Bufrede inndata får den samme rabatten på 50–75 % som i Standard processing.
Hvordan ser jeg bruk og forbruk for Priority processing?
For å se tokens behandlet av Priority processing, går du til Usage-dashbordet, velger Chat Completions eller Responses, og grupperer etter Service Tier. For å se kostnaden for Priority processing går du til Usage-dashbordet og velger Grupper etter Line Item.
Modeller
Er Priority processing tilgjengelig for lang kontekst, finjusterte modeller, embeddings osv.?
Ikke nå. Vi vil i fremtiden vurdere om vi skal tilby Priority processing på flere produkter utover de nyeste modellene våre.
Hvordan fungerer andre modaliteter med Priority processing?
Priority processing støtter de samme multimodale funksjonene som er tilgjengelige på Standard. Spesielt kan bilder brukes som inndata til Priority processing og behandles med samme lave latenstid.
Vil fremtidige modeller støttes?
Vi planlegger å tilby Priority processing på nye GPT-modeller, men vi garanterer ikke at alle modeller vil bli støttet.
Hastighetsgrenser
Hva er hastighetsgrensene?
Forbruk av Priority processing behandles på samme måte som standard API-trafikk når det gjelder hastighetsgrenser.
Hva er økningsgrensene?
Priority processing har økningsgrenser for å sikre konsekvent høy ytelse for alle kunder, samtidig som det fortsatt gir fleksibel, behovsbasert prising. Hvis (a) ytelsen til Priority processing er redusert OG (b) en kundes trafikk øker for raskt, kan noen Priority-forespørsler i sjeldne tilfeller nedgraderes til Standard processing i stedet.
Den gjeldende økningsgrensen for Priority processing er definert i hoveddokumentasjonen vår her.
Beste praksis for å holde deg innenfor økningsgrensen
Øk trafikken gradvis når du endrer modeller. Hvis applikasjonen din for eksempel går over fra et tidligere øyeblikksbilde til et nytt, kan du bruke et feature flag til å flytte trafikken over i løpet av noen timer i stedet for alt på én gang.
Unngå å kjøre store databehandlings- eller asynkrone jobber på Priority processing. Disse jobbene kan øke trafikken svært raskt, og trenger ofte ikke den forbedrede ytelsen til Priority processing.
Hvis du stadig møter økningsgrenser, bør du vurdere å kjøpe kvote for Scale tier i stedet.
Er økningsgrensene delt på tvers av prosjektene eller organisasjonene mine?
Ja, all trafikken din bidrar til den samme økningsgrensen.
Retningslinjer
Hva skjer hvis Priority processing ikke oppfyller latenstidsmålet?
Ta kontakt med AD-en din hvis du har spørsmål eller bekymringer. SLA-er for Priority processing vil bli behandlet på samme måte som SLA-er for Scale Tier; tjenestekreditter vil bli tilbudt dersom vi ikke oppfyller disse SLA-ene for kunder med Enterprise-avtaler i løpet av et gitt tidsvindu.
Er Priority processing kompatibel med dataresidens?
Ja.
Er Priority processing kompatibel med ZDR og BAA?
Ja.