Πλέον προσφέρουμε επεξεργασία Προτεραιότητας για πελάτες Enterprise API που θέλουν πρόσβαση σε ταχύτερη και πιο συνεπή απόδοση σε ορισμένα μοντέλα. Παρακάτω θα βρείτε απαντήσεις σε συνήθεις ερωτήσεις σχετικά με το πώς λειτουργεί, την τιμολόγηση, τη διαθεσιμότητα μοντέλων, τα όρια ρυθμού, την αξιοπιστία, τις πολιτικές και την επιλεξιμότητα.
Μάθετε περισσότερα εδώ.
Πρόσβαση
Ποιοι μπορούν να έχουν πρόσβαση στην επεξεργασία Προτεραιότητας;
Η επεξεργασία Προτεραιότητας είναι προς το παρόν διαθέσιμη σε πελάτες Enterprise.
Είναι η επεξεργασία Προτεραιότητας διαθέσιμη σε όλες τις περιοχές;
Η διαθεσιμότητα της επεξεργασίας Προτεραιότητας εξαρτάται από τους ισχύοντες νόμους και κανονισμούς σε κάθε δικαιοδοσία. Επικοινωνήστε με τον Account Director σας αν έχετε ερωτήσεις σχετικά με τη διαθεσιμότητα στην περιοχή σας.
Τιμολόγηση
Πώς ξεκινώ να χρησιμοποιώ την επεξεργασία Προτεραιότητας;
Οι πελάτες μπορούν να κατευθύνουν την κίνηση στην επεξεργασία Προτεραιότητας ανά αίτημα χρησιμοποιώντας την υπάρχουσα παράμετρο service_tier, με την επιλογή service_tier="priority".
Πώς αλληλεπιδρά αυτό με το Scale Tier;
Το Scale Tier θα παραμείνει ξεχωριστό από την επεξεργασία Προτεραιότητας. Τα αιτήματα που αποστέλλονται στην επεξεργασία Προτεραιότητας θα χρεώνονται ξεχωριστά και δεν θα υπολογίζονται στα αγορασμένα σας πακέτα TPM του Scale Tier.
Μπορώ να στέλνω αυτόματα την υπερχείλιση κίνησης του Scale Tier στην επεξεργασία Προτεραιότητας;
Όχι. Η κίνηση που αποστέλλεται στο Scale Tier δεν θα μεταφέρεται αυτόματα στην επεξεργασία Προτεραιότητας.
Πώς χρεώνεται η επεξεργασία Προτεραιότητας;
Τα token που εξυπηρετούνται από την επεξεργασία Προτεραιότητας θα χρεώνονται ανά token, με υψηλότερη τιμή σε σχέση με τις χρεώσεις της Τυπικής επεξεργασίας.
Συνδέεται η ετήσια δέσμευσή μου με συγκεκριμένη λειτουργία επεξεργασίας;
Όχι. Όλες οι λειτουργίες επεξεργασίας υπολογίζονται στη δέσμευσή σας για ετήσια δαπάνη Enterprise.
Εξακολουθώ να λαμβάνω έκπτωση στα Cached input token;
Ναι! Τα Cached Inputs λαμβάνουν την ίδια έκπτωση 50-75% όπως και στην Τυπική επεξεργασία.
Πώς βλέπω τη χρήση και τη δαπάνη μου για την επεξεργασία Προτεραιότητας;
Για να δείτε τα token που υποβλήθηκαν σε επεξεργασία μέσω Προτεραιότητας, μεταβείτε στον πίνακα ελέγχου Usage, επιλέξτε Chat Completions ή Responses και, στη συνέχεια, Group by Service Tier. Για να δείτε το κόστος της επεξεργασίας Προτεραιότητας, μεταβείτε στον πίνακα ελέγχου Usage και επιλέξτε Group by Line Item.
Μοντέλα
Είναι η επεξεργασία Προτεραιότητας διαθέσιμη για μεγάλο context, fine-tuned μοντέλα, embeddings κ.λπ.;
Όχι προς το παρόν. Στο μέλλον θα αξιολογήσουμε αν θα προσφέρουμε επεξεργασία Προτεραιότητας σε επιπλέον προϊόντα πέρα από τα πιο πρόσφατα μοντέλα μας.
Πώς λειτουργούν άλλες modality με την επεξεργασία Προτεραιότητας;
Η επεξεργασία Προτεραιότητας υποστηρίζει τις ίδιες πολυτροπικές δυνατότητες που είναι διαθέσιμες στην Τυπική επεξεργασία. Συγκεκριμένα, οι εικόνες μπορούν να χρησιμοποιηθούν ως είσοδοι στην επεξεργασία Προτεραιότητας και υποβάλλονται σε επεξεργασία με την ίδια χαμηλή καθυστέρηση.
Θα υποστηρίζονται μελλοντικά μοντέλα;
Σχεδιάζουμε να προσφέρουμε επεξεργασία Προτεραιότητας σε νέα μοντέλα GPT, αλλά δεν εγγυόμαστε ότι κάθε μοντέλο θα υποστηρίζεται.
Όρια ρυθμού
Ποια είναι τα όρια ρυθμού;
Η κατανάλωση της επεξεργασίας Προτεραιότητας αντιμετωπίζεται με τον ίδιο τρόπο όπως η τυπική κίνηση API για τα όρια ρυθμού.
Ποια είναι τα όρια ramp rate;
Η επεξεργασία Προτεραιότητας έχει όρια ramp rate ώστε να διασφαλίζει σταθερά υψηλή απόδοση για όλους τους πελάτες, ενώ παράλληλα παρέχει ευέλικτη τιμολόγηση κατ’ απαίτηση. Αν (a) η απόδοση της επεξεργασίας Προτεραιότητας υποβαθμιστεί ΚΑΙ (b) η κίνηση ενός πελάτη αυξάνεται υπερβολικά γρήγορα, τότε ορισμένα αιτήματα Προτεραιότητας ενδέχεται σε σπάνιες περιπτώσεις να υποβαθμιστούν σε Τυπική επεξεργασία.
Το τρέχον όριο ramp rate για την επεξεργασία Προτεραιότητας ορίζεται στην κύρια τεκμηρίωσή μας εδώ.
Βέλτιστες πρακτικές για να παραμείνετε εντός του ορίου ramp rate
Αυξάνετε σταδιακά την κίνηση όταν αλλάζετε μοντέλα. Για παράδειγμα, αν η εφαρμογή σας μεταβαίνει από ένα προηγούμενο snapshot σε ένα νέο, χρησιμοποιήστε ένα feature flag ώστε η μετάβαση της κίνησης να γίνει μέσα σε λίγες ώρες και όχι όλη μαζί.
Αποφύγετε την εκτέλεση μεγάλων εργασιών επεξεργασίας δεδομένων ή ασύγχρονων εργασιών στην επεξεργασία Προτεραιότητας. Αυτές οι εργασίες μπορούν να αυξήσουν την κίνηση πολύ γρήγορα και συχνά δεν χρειάζονται τη βελτιωμένη απόδοση της επεξεργασίας Προτεραιότητας.
Αν αντιμετωπίζετε συστηματικά όρια ramp rate, εξετάστε το ενδεχόμενο να αγοράσετε ποσόστωση Scale tier.
Τα όρια ramp rate μοιράζονται μεταξύ των έργων ή των οργανισμών μου;
Ναι, όλη η κίνησή σας συμβάλλει στο ίδιο όριο ramp rate.
Πολιτικές
Τι συμβαίνει αν η επεξεργασία Προτεραιότητας δεν επιτυγχάνει τον στόχο καθυστέρησης;
Επικοινωνήστε με τον AD σας για οποιεσδήποτε ερωτήσεις ή ανησυχίες. Τα SLA της επεξεργασίας Προτεραιότητας θα αντιμετωπίζονται με τον ίδιο τρόπο όπως τα SLA του Scale Tier· θα παρέχονται πιστώσεις υπηρεσίας αν δεν καταφέρουμε να τηρήσουμε αυτά τα SLA για πελάτες με συμφωνίες Enterprise εντός ενός δεδομένου χρονικού παραθύρου.
Είναι η επεξεργασία Προτεραιότητας συμβατή με τη γεωγραφική διαμονή δεδομένων;
Ναι.
Είναι η επεξεργασία Προτεραιότητας συμβατή με το ZDR και το BAA;
Ναι.