Πλέον προσφέρουμε επεξεργασία προτεραιότητας για πελάτες Enterprise API που θέλουν πρόσβαση σε ταχύτερη και πιο σταθερή απόδοση σε ορισμένα μοντέλα. Παρακάτω θα βρείτε απαντήσεις σε συχνές ερωτήσεις σχετικά με τον τρόπο λειτουργίας, την τιμολόγηση, τη διαθεσιμότητα μοντέλων, τα όρια ρυθμού, την αξιοπιστία, τις πολιτικές και την επιλεξιμότητα.
Μάθετε περισσότερα εδώ.
Πρόσβαση
Ποιος μπορεί να έχει πρόσβαση στην επεξεργασία προτεραιότητας;
Η επεξεργασία προτεραιότητας είναι προς το παρόν διαθέσιμη σε πελάτες Enterprise.
Είναι διαθέσιμη η επεξεργασία προτεραιότητας σε όλες τις περιοχές;
Η διαθεσιμότητα της επεξεργασίας προτεραιότητας εξαρτάται από τους ισχύοντες νόμους και κανονισμούς σε κάθε δικαιοδοσία. Επικοινωνήστε με τον Υπεύθυνο Λογαριασμού σας εάν έχετε ερωτήσεις σχετικά με τη διαθεσιμότητα στην περιοχή σας.
Τιμολόγηση
Πώς ξεκινώ να χρησιμοποιώ την επεξεργασία προτεραιότητας;
Οι πελάτες μπορούν να κατευθύνουν την κίνηση προς την επεξεργασία προτεραιότητας ανά αίτημα, χρησιμοποιώντας την υπάρχουσα παράμετρο service_tier, με την επιλογή service_tier="priority".
Πώς αλληλεπιδρά αυτό με το Επίπεδο κλιμάκωσης;
Το Επίπεδο κλιμάκωσης θα παραμείνει ξεχωριστό από την επεξεργασία προτεραιότητας. Τα αιτήματα που αποστέλλονται στην επεξεργασία προτεραιότητας θα χρεώνονται ξεχωριστά και δεν θα προσμετρώνται στα πακέτα TPM Επιπέδου κλιμάκωσης που έχετε αγοράσει.
Μπορώ να στέλνω αυτόματα την πλεονάζουσα κίνηση του Επιπέδου κλιμάκωσης στην επεξεργασία προτεραιότητας;
Όχι. Η κίνηση που αποστέλλεται στο Επίπεδο κλιμάκωσης δεν θα διοχετεύεται αυτόματα στην επεξεργασία προτεραιότητας.
Πώς χρεώνεται η επεξεργασία προτεραιότητας;
Τα token που εξυπηρετούνται από την επεξεργασία προτεραιότητας θα χρεώνονται ανά token, με τιμή premium σε σχέση με τις χρεώσεις της τυπικής επεξεργασίας.
Συνδέεται η ετήσια δέσμευσή μου με μια συγκεκριμένη λειτουργία επεξεργασίας;
Όχι. Όλες οι λειτουργίες επεξεργασίας προσμετρώνται στην ετήσια δέσμευση δαπανών Enterprise.
Εξακολουθώ να λαμβάνω έκπτωση στα token εισόδου σε cache;
Ναι! Οι είσοδοι σε cache λαμβάνουν την ίδια έκπτωση 50-75% όπως και στην τυπική επεξεργασία.
Πώς μπορώ να δω τη χρήση και τις δαπάνες μου για την επεξεργασία προτεραιότητας;
Για να δείτε τα token που υποβλήθηκαν σε επεξεργασία προτεραιότητας, μεταβείτε στον πίνακα ελέγχου χρήσης, επιλέξτε Chat Completions ή Responses και κάντε ομαδοποίηση κατά Επίπεδο υπηρεσίας. Για να δείτε το κόστος της επεξεργασίας προτεραιότητας, μεταβείτε στον πίνακα ελέγχου χρήσης και επιλέξτε ομαδοποίηση κατά στοιχείο γραμμής.
Μοντέλα
Είναι διαθέσιμη η επεξεργασία προτεραιότητας για long context, μοντέλα με fine-tuning, embeddings κ.λπ.;
Όχι προς το παρόν. Θα αξιολογήσουμε στο μέλλον αν θα προσφέρουμε επεξεργασία προτεραιότητας σε πρόσθετα προϊόντα πέρα από τα πιο πρόσφατα μοντέλα μας.
Πώς λειτουργούν οι άλλες μορφές περιεχομένου με την επεξεργασία προτεραιότητας;
Η επεξεργασία προτεραιότητας υποστηρίζει τις ίδιες πολυτροπικές δυνατότητες που είναι διαθέσιμες στην τυπική επεξεργασία. Συγκεκριμένα, οι εικόνες μπορούν να χρησιμοποιηθούν ως είσοδοι στην επεξεργασία προτεραιότητας και υποβάλλονται σε επεξεργασία με την ίδια χαμηλή καθυστέρηση.
Θα υποστηρίζονται μελλοντικά μοντέλα;
Σχεδιάζουμε να προσφέρουμε επεξεργασία προτεραιότητας σε νέα μοντέλα GPT, αλλά δεν εγγυόμαστε ότι θα υποστηρίζεται κάθε μοντέλο.
Όρια ρυθμού
Ποια είναι τα όρια ρυθμού;
Η κατανάλωση επεξεργασίας προτεραιότητας αντιμετωπίζεται με τον ίδιο τρόπο όπως η τυπική κίνηση API για τα όρια ρυθμού.
Ποια είναι τα όρια ρυθμού αύξησης;
Η επεξεργασία προτεραιότητας έχει όρια ρυθμού αύξησης, ώστε να διασφαλίζεται σταθερά υψηλή απόδοση για όλους τους πελάτες, παρέχοντας παράλληλα ευέλικτη τιμολόγηση κατ’ απαίτηση. Εάν (α) η απόδοση της επεξεργασίας προτεραιότητας υποβαθμίζεται ΚΑΙ (β) η κίνηση ενός πελάτη αυξάνεται υπερβολικά γρήγορα, τότε ορισμένα αιτήματα Priority ενδέχεται, σε σπάνιες περιπτώσεις, να υποβαθμιστούν σε τυπική επεξεργασία.
Το τρέχον όριο ρυθμού αύξησης για την επεξεργασία προτεραιότητας ορίζεται στην κύρια τεκμηρίωσή μας εδώ.
Βέλτιστες πρακτικές για να παραμένετε εντός του ορίου ρυθμού αύξησης
Αυξήστε σταδιακά την κίνηση όταν αλλάζετε μοντέλα. Για παράδειγμα, εάν η εφαρμογή σας μεταβαίνει από ένα προηγούμενο στιγμιότυπο σε ένα νέο, χρησιμοποιήστε ένα feature flag για να μεταφέρετε την κίνηση μέσα σε λίγες ώρες αντί για όλη μαζί.
Αποφύγετε την εκτέλεση μεγάλων εργασιών επεξεργασίας δεδομένων ή ασύγχρονων εργασιών στην επεξεργασία προτεραιότητας. Αυτές οι εργασίες μπορούν να αυξήσουν την κίνηση πολύ γρήγορα και συχνά δεν χρειάζονται τη βελτιωμένη απόδοση της επεξεργασίας προτεραιότητας.
Εάν αντιμετωπίζετε συστηματικά όρια ρυθμού αύξησης, εξετάστε το ενδεχόμενο να αγοράσετε ποσόστωση Επιπέδου κλιμάκωσης.
Τα όρια ρυθμού αύξησης μοιράζονται μεταξύ των έργων ή των οργανισμών μου;
Ναι, όλη η κίνησή σας συμβάλλει στο ίδιο όριο ρυθμού αύξησης.
Πολιτικές
Τι συμβαίνει εάν η επεξεργασία προτεραιότητας δεν επιτυγχάνει τον στόχο καθυστέρησης;
Επικοινωνήστε με τον AD σας για οποιεσδήποτε ερωτήσεις ή ανησυχίες. Τα SLA της επεξεργασίας προτεραιότητας θα αντιμετωπίζονται με τον ίδιο τρόπο όπως τα SLA του Επιπέδου κλιμάκωσης· θα προσφέρονται πιστώσεις υπηρεσίας εάν δεν καταφέρουμε να εκπληρώσουμε αυτά τα SLA για πελάτες με συμβάσεις Enterprise κατά τη διάρκεια ενός συγκεκριμένου χρονικού παραθύρου.
Είναι η επεξεργασία προτεραιότητας συμβατή με τη γεωγραφική διαμονή δεδομένων;
Ναι.
Είναι η επεξεργασία προτεραιότητας συμβατή με το ZDR και το BAA;
Ναι.