We bieden nu Priority processing aan voor Enterprise API-klanten die toegang willen tot snellere, consistentere prestaties op bepaalde modellen. Hieronder vind je antwoorden op veelgestelde vragen over hoe het werkt, prijzen, beschikbaarheid van modellen, snelheidslimieten, betrouwbaarheid, beleid en geschiktheid.
Lees hier meer.
Toegang
Wie heeft toegang tot Priority processing?
Priority processing is momenteel beschikbaar voor Enterprise-klanten.
Is Priority processing beschikbaar in alle regio's?
De beschikbaarheid van Priority processing hangt af van de toepasselijke wet- en regelgeving in elk rechtsgebied. Neem contact op met je Account Director als je vragen hebt over de beschikbaarheid in jouw regio.
Prijzen
Hoe begin ik met Priority processing?
Klanten kunnen verkeer per aanvraag naar Priority processing sturen met de bestaande parameter service_tier, met de optie service_tier="priority".
Hoe werkt dit samen met Scale Tier?
Scale Tier blijft gescheiden van Priority processing. Verzoeken die naar Priority processing worden gestuurd, worden afzonderlijk gefactureerd en tellen niet mee voor je aangekochte Scale Tier-TPM-bundels.
Kan ik mijn overtollige Scale Tier-verkeer automatisch naar Priority processing sturen?
Nee. Verkeer dat naar Scale Tier wordt gestuurd, loopt niet automatisch over naar Priority processing.
Hoe wordt Priority processing gefactureerd?
Tokens die via Priority processing worden verwerkt, worden per token gefactureerd, tegen een hoger tarief dan de tarieven voor Standard processing.
Is mijn jaarlijkse bestedingsverplichting gekoppeld aan een specifieke verwerkingsmodus?
Nee. Alle verwerkingsmodi tellen mee voor je jaarlijkse bestedingsverplichting voor Enterprise.
Krijg ik nog steeds korting op Cached input tokens?
Ja! Cached Inputs krijgen dezelfde korting van 50-75% als bij Standard processing.
Hoe bekijk ik mijn gebruik en uitgaven voor Priority processing?
Om tokens te bekijken die via Priority processing zijn verwerkt, ga je naar het Usage-dashboard, selecteer je Chat Completions of Responses en groepeer je op Service Tier. Om de kosten van Priority processing te bekijken, ga je naar het Usage-dashboard en selecteer je Groeperen op Line Item.
Modellen
Is Priority processing beschikbaar voor lange context, fine-tuned modellen, embeddings, enz.?
Op dit moment niet. We zullen in de toekomst beoordelen of we Priority processing ook aanbieden voor aanvullende producten naast onze nieuwste modellen.
Hoe werken andere modaliteiten met Priority processing?
Priority processing ondersteunt dezelfde multimodale mogelijkheden als beschikbaar zijn op Standard. Met name kunnen afbeeldingen worden gebruikt als input voor Priority processing en worden ze verwerkt met dezelfde lage latentie.
Worden toekomstige modellen ondersteund?
We zijn van plan Priority processing aan te bieden voor nieuwe GPT-modellen, maar we garanderen niet dat elk model wordt ondersteund.
Snelheidslimieten
Wat zijn de snelheidslimieten?
Verbruik van Priority processing wordt voor snelheidslimieten hetzelfde behandeld als standaard API-verkeer.
Wat zijn de limieten voor opbouwsnelheid?
Priority processing heeft limieten voor opbouwsnelheid om consequent hoge prestaties voor alle klanten te waarborgen, terwijl flexibele pricing op aanvraag mogelijk blijft. Als (a) de prestaties van Priority processing achteruitgaan EN (b) het verkeer van een klant te snel toeneemt, kunnen sommige Priority-verzoeken in zeldzame gevallen in plaats daarvan worden teruggezet naar Standard processing.
De huidige limiet voor opbouwsnelheid van Priority processing wordt in onze primaire documentatie hier gedefinieerd.
Best practices om binnen je limiet voor opbouwsnelheid te blijven
Verhoog verkeer geleidelijk wanneer je van model verandert. Als je applicatie bijvoorbeeld overgaat van een vorige snapshot naar een nieuwe, gebruik dan een feature flag om verkeer in de loop van enkele uren over te zetten in plaats van alles tegelijk.
Voer geen grote gegevensverwerking of asynchrone taken uit met Priority processing. Deze taken kunnen het verkeer zeer snel opvoeren en hebben vaak de verbeterde prestaties van Priority processing niet nodig.
Als je regelmatig tegen limieten voor opbouwsnelheid aanloopt, overweeg dan in plaats daarvan quota voor Scale tier aan te schaffen.
Worden limieten voor opbouwsnelheid gedeeld tussen mijn projecten of organisaties?
Ja, al je verkeer draagt bij aan dezelfde limiet voor opbouwsnelheid.
Beleid
Wat gebeurt er als Priority processing de latentiedoelstelling niet haalt?
Neem contact op met je AD als je vragen of zorgen hebt. SLA's voor Priority processing worden hetzelfde behandeld als SLA's voor Scale Tier; servicecredits worden aangeboden als we er niet in slagen die SLA's te halen voor klanten met Enterprise-overeenkomsten binnen een bepaald tijdvenster.
Is Priority processing compatibel met gegevensresidentie?
Ja.
Is Priority processing compatibel met ZDR en de BAA?
Ja.