Vi tilbyder nu Prioritetsbehandling til Enterprise API-kunder, der ønsker adgang til hurtigere og mere ensartet ydeevne på visse modeller. Nedenfor finder du svar på almindelige spørgsmål om, hvordan det fungerer, priser, modeltilgængelighed, brugsgrænser, pålidelighed, politikker og berettigelse.
Få mere at vide her.
Adgang
Hvem kan få adgang til Prioritetsbehandling?
Prioritetsbehandling er i øjeblikket tilgængelig for Enterprise-kunder.
Er Prioritetsbehandling tilgængelig i alle regioner?
Tilgængeligheden af Prioritetsbehandling afhænger af gældende love og regler i hver jurisdiktion. Kontakt din Account Director, hvis du har spørgsmål om tilgængelighed i din region.
Priser
Hvordan begynder jeg at bruge Prioritetsbehandling?
Kunder kan dirigere trafik til Prioritetsbehandling for hver enkelt anmodning ved hjælp af den eksisterende parameter service_tier med indstillingen service_tier="priority".
Hvordan fungerer dette sammen med Skaleringsniveau?
Skaleringsniveau forbliver adskilt fra Prioritetsbehandling. Anmodninger sendt til Prioritetsbehandling faktureres separat og tæller ikke med i dine købte Skaleringsniveau-TPM-pakker.
Kan jeg automatisk sende min overløbstrafik fra Skaleringsniveau til Prioritetsbehandling?
Nej. Trafik sendt til Skaleringsniveau overføres ikke automatisk som overløb til Prioritetsbehandling.
Hvordan faktureres Prioritetsbehandling?
Tokens leveret af Prioritetsbehandling faktureres pr. token og prissættes med et tillæg i forhold til satserne for standardbehandling.
Er min årlige forpligtelse knyttet til en bestemt behandlingsmetode?
Nej. Alle behandlingsmetoder tæller med i din årlige Enterprise-forbrugsforpligtelse.
Får jeg stadig rabat på cachelagrede inputtokens?
Ja! Cachelagrede inputs får den samme rabat på 50-75 %, som de gør ved standardbehandling.
Hvordan kan jeg se mit forbrug og mine udgifter til Prioritetsbehandling?
For at se tokens behandlet af Prioritetsbehandling skal du gå til brugsdashboardet, vælge Chat Completions eller Responses og gruppere efter Serviceniveau. For at se omkostningerne til Prioritetsbehandling skal du gå til brugsdashboardet og vælge Gruppér efter linjepost.
Modeller
Er Prioritetsbehandling tilgængelig for lang kontekst, finjusterede modeller, embeddings osv.?
Ikke på nuværende tidspunkt. Vi vil i fremtiden vurdere, om vi skal tilbyde Prioritetsbehandling på yderligere produkter ud over vores nyeste modeller.
Hvordan fungerer andre modaliteter med Prioritetsbehandling?
Prioritetsbehandling understøtter de samme multimodale funktioner, som er tilgængelige på Standard. Især kan billeder bruges som input til Prioritetsbehandling og behandles med den samme hurtige latenstid.
Vil fremtidige modeller blive understøttet?
Vi planlægger at tilbyde Prioritetsbehandling på nye GPT-modeller, men vi garanterer ikke, at alle modeller vil blive understøttet.
Brugsgrænser
Hvad er brugsgrænserne?
Forbrug af Prioritetsbehandling behandles på samme måde som standard API-trafik i forhold til brugsgrænser.
Hvad er brugsgrænserne for optrapning?
Prioritetsbehandling har brugsgrænser for optrapning for at sikre konsekvent høj ydeevne for alle kunder, samtidig med at der stadig tilbydes fleksible priser efter behov. Hvis (a) ydeevnen for Prioritetsbehandling er forringet OG (b) en kundes trafik øges for hurtigt, kan nogle Priority-anmodninger i sjældne tilfælde i stedet blive nedgraderet til standardbehandling.
Den aktuelle brugsgrænse for optrapning ved Prioritetsbehandling er defineret i vores primære dokumentation her.
Bedste praksis for at holde dig inden for din brugsgrænse for optrapning
Øg trafikken gradvist, når du skifter modeller. Hvis din applikation f.eks. overgår fra et tidligere snapshot til et nyt, kan du bruge et featureflag til at flytte trafikken over i løbet af nogle timer i stedet for det hele på én gang.
Undgå at køre store databehandlings- eller asynkrone jobs på Prioritetsbehandling. Disse jobs kan øge trafikken meget hurtigt og har ofte ikke brug for den forbedrede ydeevne ved Prioritetsbehandling.
Hvis du jævnligt støder på brugsgrænser for optrapning, bør du overveje at købe Skaleringsniveau-kvote i stedet.
Deles brugsgrænser for optrapning på tværs af mine projekter eller organisationer?
Ja, al din trafik bidrager til den samme brugsgrænse for optrapning.
Politikker
Hvad sker der, hvis Prioritetsbehandling ikke opfylder målet for latenstid?
Kontakt din AD, hvis du har spørgsmål eller bekymringer. SLA'er for Prioritetsbehandling behandles på samme måde som SLA'er for Skaleringsniveau. Der tilbydes servicekreditter, hvis vi ikke opfylder disse SLA'er for kunder med Enterprise-aftaler i et givet tidsvindue.
Er Prioritetsbehandling kompatibel med dataresidens?
Ja.
Er Prioritetsbehandling kompatibel med ZDR og BAA?
Ja.