Sådan fungerer det

Kunder kan dirigere trafik til Hurtig tilstand for hver enkelt anmodning ved hjælp af den eksisterende parameter service_tier med indstillingen service_tier = "fast".

Tokens, der behandles i Hurtig tilstand, faktureres pr. token til en højere pris end taksterne for standardbehandling.

Ud over at konfigurere tilstanden for hver enkelt anmodning kan du også vælge Hurtig tilstand som standard for et projekt under Projektindstillinger > Standardserviceniveau: Hurtig. Du kan stadig tilsidesætte indstillingen for hver enkelt anmodning. At vælge Hurtig i projektindstillingerne svarer til at vælge Prioritet.

Hvordan fungerer dette sammen med Skaleringsniveau?

Skaleringsniveau forbliver adskilt fra Hurtig tilstand. Anmodninger, der sendes til Hurtig tilstand, faktureres separat og modregnes ikke i de TPM-pakker, du har købt på Skaleringsniveau.

Kan overskydende trafik fra Skaleringsniveau automatisk sendes til Hurtig tilstand?

Nej. Trafik, der sendes til Skaleringsniveau, overføres ikke automatisk til Hurtig tilstand.

Hvordan faktureres Hurtig tilstand?

Tokens, der behandles i Hurtig tilstand, faktureres pr. token til en højere pris end taksterne for standardbehandling.

Er min årlige forpligtelse knyttet til en bestemt behandlingstilstand?

Nej. Alle behandlingstilstande tæller med i din årlige Enterprise-forbrugsforpligtelse.

Får jeg stadig rabat på cachelagrede inputtokens?

Ja! Cachelagrede input får samme rabat på 50-75 % som ved standardbehandling.

Hvordan ser jeg mit forbrug og mine udgifter til Hurtig tilstand?

Hvis du vil se de tokens, der er behandlet i Hurtig tilstand (tidligere Priority processing), skal du gå til dashboardet Forbrug, vælge Chat Completions eller Responses og gruppere efter Serviceniveau.

Hvis du vil se udgifterne til Hurtig tilstand, skal du gå til dashboardet Forbrug og vælge Gruppér efter linjepost.

På dashboardet Forbrug vises anmodninger med enten priority eller fast som service_tier fortsat som priority. Dette bliver opdateret for fremtidige modeller.

Modeller

Er Hurtig tilstand tilgængelig til lange kontekster, finjusterede modeller, embeddings osv.?

Ikke på nuværende tidspunkt. Vi vil fremover vurdere, om Hurtig tilstand skal tilbydes til flere produkter end vores nyeste modeller.

Hvordan fungerer andre modaliteter med Hurtig tilstand?

Hurtig tilstand understøtter de samme multimodale funktioner som Standard. Billeder kan især bruges som input til Priority processing og behandles med samme lave latenstid.

Bliver fremtidige modeller understøttet?

Vi planlægger at tilbyde Hurtig tilstand på nye GPT-modeller, men garanterer ikke, at alle modeller bliver understøttet.

Brugsgrænser

Hvad er brugsgrænserne?

For brugsgrænser behandles forbruget ved Priority processing på samme måde som almindelig API-trafik.

Hvad er brugsgrænserne for trafikstigning?

Hurtig tilstand har brugsgrænser for trafikstigning for at sikre stabilt høj ydeevne for alle kunder og samtidig tilbyde fleksibel behovsbaseret prissætning. Hvis (a) ydeevnen i Hurtig tilstand er forringet, OG (b) en kundes trafik stiger for hurtigt, kan enkelte anmodninger i sjældne tilfælde blive nedgraderet til standardbehandling.

Den aktuelle brugsgrænse for trafikstigning i Hurtig tilstand er beskrevet her i vores primære dokumentation.

Bedste praksis til at holde dig inden for brugsgrænsen for trafikstigning

Øg trafikken gradvist, når du skifter model. Hvis din applikation eksempelvis skifter fra et tidligere snapshot til et nyt, bør du bruge et funktionsflag til at overføre trafikken over nogle timer i stedet for på én gang.

Undgå at køre omfattende databehandling eller asynkrone jobs i Hurtig tilstand. Disse jobs kan få trafikken til at stige meget hurtigt og har ofte ikke brug for den forbedrede ydeevne i Hurtig tilstand.

Hvis du ofte rammer brugsgrænserne for trafikstigning, bør du i stedet overveje at købe en kvote på Skaleringsniveau.

Er brugsgrænserne for trafikstigning fælles for mine projekter eller organisationer?

Ja, al din trafik tæller med i den samme brugsgrænse for trafikstigning.

Politikker

Hvad sker der, hvis Hurtig tilstand ikke opfylder målet for latenstid?

Kontakt din AD, hvis du har spørgsmål eller bekymringer. SLA'er for Hurtig tilstand behandles på samme måde som SLA'er for Skaleringsniveau. Hvis vi i et givent tidsrum ikke opfylder disse SLA'er for kunder med Enterprise-aftaler, tilbyder vi servicekreditter.

Er Hurtig tilstand kompatibel med dataresidens?

Ja.

Er Hurtig tilstand kompatibel med ZDR og BAA'en?

Ja.