Πώς λειτουργεί

Οι πελάτες μπορούν να κατευθύνουν την κίνηση στη Γρήγορη λειτουργία ανά αίτημα, χρησιμοποιώντας την υπάρχουσα παράμετρο service_tier με την επιλογή service_tier = "fast".

Τα token που εξυπηρετούνται μέσω της Γρήγορης λειτουργίας χρεώνονται ανά token, σε υψηλότερη τιμή από τις τιμές της Τυπικής επεξεργασίας.

Εκτός από τη ρύθμιση σε επίπεδο αιτήματος, μπορείτε επίσης να ορίσετε τη Γρήγορη λειτουργία ως προεπιλογή ενός έργου από τις Ρυθμίσεις έργου > Προεπιλεγμένο Επίπεδο υπηρεσίας: Γρήγορη λειτουργία. Μπορείτε ακόμη να παρακάμπτετε την προεπιλογή ανά αίτημα. Η επιλογή «Γρήγορη λειτουργία» στις ρυθμίσεις του έργου ισοδυναμεί με την επιλογή «Προτεραιότητα».

Πώς αλληλεπιδρά με το Επίπεδο κλιμάκωσης;

Το Επίπεδο κλιμάκωσης θα παραμείνει ξεχωριστό από τη Γρήγορη λειτουργία. Τα αιτήματα που αποστέλλονται στη Γρήγορη λειτουργία θα χρεώνονται ξεχωριστά και δεν θα συνυπολογίζονται στα πακέτα TPM του Επιπέδου κλιμάκωσης που έχετε αγοράσει.

Μπορώ να στέλνω αυτόματα στη Γρήγορη λειτουργία την πλεονάζουσα κίνηση από το Επίπεδο κλιμάκωσης;

Όχι. Η κίνηση που αποστέλλεται στο Επίπεδο κλιμάκωσης δεν θα μεταφέρεται αυτόματα στη Γρήγορη λειτουργία.

Πώς χρεώνεται η Γρήγορη λειτουργία;

Τα token που εξυπηρετούνται μέσω της Γρήγορης λειτουργίας χρεώνονται ανά token, σε υψηλότερη τιμή από τις τιμές της Τυπικής επεξεργασίας.

Συνδέεται η ετήσια δέσμευσή μου με συγκεκριμένο τρόπο επεξεργασίας;

Όχι. Όλοι οι τρόποι επεξεργασίας συνυπολογίζονται στην ετήσια δέσμευση δαπανών Enterprise.

Εξακολουθώ να λαμβάνω έκπτωση στα token εισόδου από την κρυφή μνήμη;

Ναι! Οι είσοδοι από την κρυφή μνήμη λαμβάνουν την ίδια έκπτωση 50–75% όπως και στην Τυπική επεξεργασία.

Πώς μπορώ να δω τη χρήση και τις δαπάνες της Γρήγορης λειτουργίας;

Για να δείτε τα token που υποβλήθηκαν σε επεξεργασία από τη Γρήγορη λειτουργία (πρώην Επεξεργασία προτεραιότητας), μεταβείτε στον πίνακα ελέγχου Χρήσης, επιλέξτε Chat Completions ή Responses και κάντε ομαδοποίηση κατά Επίπεδο υπηρεσίας.

Για να δείτε το κόστος της Γρήγορης λειτουργίας, μεταβείτε στον πίνακα ελέγχου Χρήσης και επιλέξτε ομαδοποίηση κατά στοιχείο χρέωσης.

Στον πίνακα ελέγχου Χρήσης, τα αιτήματα που χρησιμοποιούν priority ή fast ως service_tier θα συνεχίσουν να εμφανίζονται ως priority. Αυτό θα ενημερωθεί για τα μελλοντικά μοντέλα.

Μοντέλα

Είναι διαθέσιμη η Γρήγορη λειτουργία για μεγάλο περιβάλλον, μοντέλα λεπτομερούς ρύθμισης, ενσωματώσεις κ.λπ.;“

Όχι προς το παρόν. Στο μέλλον θα αξιολογήσουμε αν θα προσφέρουμε τη Γρήγορη λειτουργία και σε άλλα προϊόντα πέρα από τα πιο πρόσφατα μοντέλα μας.

Πώς λειτουργούν οι άλλες μορφές δεδομένων με τη Γρήγορη λειτουργία;

Η Γρήγορη λειτουργία υποστηρίζει τις ίδιες πολυτροπικές δυνατότητες που διατίθενται στην Τυπική επεξεργασία. Ειδικότερα, οι εικόνες μπορούν να χρησιμοποιηθούν ως είσοδοι στην Επεξεργασία προτεραιότητας και υποβάλλονται σε επεξεργασία με την ίδια χαμηλή καθυστέρηση.

Θα υποστηρίζονται μελλοντικά μοντέλα;

Σχεδιάζουμε να προσφέρουμε τη Γρήγορη λειτουργία σε νέα μοντέλα GPT, αλλά δεν εγγυόμαστε ότι θα υποστηρίζεται κάθε μοντέλο.

Όρια ρυθμού

Ποια είναι τα όρια ρυθμού;

Για τα όρια ρυθμού, η χρήση της Επεξεργασίας προτεραιότητας αντιμετωπίζεται όπως η τυπική κίνηση API.

Ποια είναι τα όρια ρυθμού απότομης αύξησης;

Η Γρήγορη λειτουργία έχει όρια ρυθμού απότομης αύξησης, ώστε να εξασφαλίζει σταθερά υψηλή απόδοση για όλους τους πελάτες, διατηρώντας παράλληλα ευέλικτη τιμολόγηση κατά απαίτηση. Αν (α) η απόδοση της Γρήγορης λειτουργίας έχει υποβαθμιστεί ΚΑΙ (β) η κίνηση ενός πελάτη αυξάνεται υπερβολικά γρήγορα, σε σπάνιες περιπτώσεις ορισμένα αιτήματα ενδέχεται να υποβαθμιστούν σε Τυπική επεξεργασία.

Το ισχύον όριο ρυθμού απότομης αύξησης της Γρήγορης λειτουργίας ορίζεται εδώ, στην κύρια τεκμηρίωσή μας.

Βέλτιστες πρακτικές για την τήρηση του ορίου ρυθμού απότομης αύξησης

Όταν αλλάζετε μοντέλα, αυξάνετε σταδιακά την κίνηση. Για παράδειγμα, αν η εφαρμογή σας μεταβαίνει από ένα προηγούμενο στιγμιότυπο σε ένα νέο, χρησιμοποιήστε μια σημαία λειτουργίας για να μεταφέρετε την κίνηση σε διάστημα μερικών ωρών και όχι όλη μαζί.

Αποφεύγετε την εκτέλεση μεγάλων εργασιών επεξεργασίας δεδομένων ή ασύγχρονων εργασιών στη Γρήγορη λειτουργία. Αυτές οι εργασίες μπορούν να αυξήσουν την κίνηση πολύ γρήγορα και συχνά δεν χρειάζονται τη βελτιωμένη απόδοση της Γρήγορης λειτουργίας.

Αν φτάνετε συχνά τα όρια ρυθμού απότομης αύξησης, εξετάστε το ενδεχόμενο να αγοράσετε χωρητικότητα Επιπέδου κλιμάκωσης.

Τα όρια ρυθμού απότομης αύξησης είναι κοινά για όλα τα έργα ή τους οργανισμούς μου;

Ναι, όλη η κίνησή σας συνυπολογίζεται στο ίδιο όριο ρυθμού απότομης αύξησης.

Πολιτικές

Τι συμβαίνει αν η Γρήγορη λειτουργία δεν επιτυγχάνει τον στόχο καθυστέρησης;

Για τυχόν ερωτήσεις ή προβληματισμούς, επικοινωνήστε με τον AD σας. Οι SLA της Γρήγορης λειτουργίας θα αντιμετωπίζονται όπως οι SLA του Επιπέδου κλιμάκωσης. Αν δεν τηρήσουμε αυτές τις SLA για πελάτες με συμβάσεις Enterprise σε δεδομένο χρονικό διάστημα, θα παρέχονται πιστώσεις υπηρεσίας.

Είναι συμβατή η Γρήγορη λειτουργία με τη γεωγραφική διαμονή δεδομένων;

Ναι.

Είναι συμβατή η Γρήγορη λειτουργία με το ZDR και το BAA;

Ναι.