Σημαντικοί σύνδεσμοι
Πίνακας Service Health (προς το παρόν διαθέσιμος μόνο σε πελάτες Enterprise API)
Ξεκινήστε με τις σωστές προεπιλογές
Όταν ανοίγετε τον πίνακα Service Health, από προεπιλογή εμφανίζονται:
Όλα τα έργα
Τελευταίες 30 ημέρες
Ωριαία ανάλυση
Αυτή η προβολή είναι χρήσιμη μόνο για προσανατολισμό. Η ουσιαστική αντιμετώπιση προβλημάτων απαιτεί πάντα φιλτράρισμα.
Φιλτράρισμα πριν από τη διερεύνηση
Το σωστό φιλτράρισμα είναι το πιο σημαντικό βήμα. Οι περισσότερες παρερμηνείες προέρχονται από ανάμειξη μοντέλων, επιπέδων ή έργων.
Φιλτράρισμα κατά μοντέλο (ένα κάθε φορά)
Να φιλτράρετε πάντα σε ένα μόνο μοντέλο.
Γιατί:
Ζητήματα σε μοντέλα χαμηλής κίνησης μπορεί να κρύβονται από κίνηση υψηλότερου όγκου
Τα μοντέλα υψηλού όγκου μπορεί να κάνουν τα τοπικά ζητήματα να φαίνονται καθολικά
Διαφορετικά μοντέλα έχουν διαφορετικούς στόχους απόδοσης
Σημείωση: η επιλογή πολλών μοντέλων τα συγκεντρώνει — δεν εναλλάσσεται μεταξύ τους.
Φιλτράρισμα ανά Επίπεδο υπηρεσίας
Αν χρησιμοποιείτε περισσότερα από ένα επίπεδα (τυπικό, Γρήγορη λειτουργία —παλαιότερα Επεξεργασία προτεραιότητας—, Επίπεδο κλιμάκωσης), να φιλτράρετε πάντα ως προς το επίπεδο που διερευνάτε.
Γιατί:
Τα επίπεδα έχουν διαφορετικά χαρακτηριστικά απόδοσης
Η Γρήγορη λειτουργία και το Επίπεδο κλιμάκωσης έχουν καθορισμένα SLA
Ο συνδυασμός επιπέδων αποκρύπτει τις επιδόσεις του επί πληρωμή επιπέδου
Αυτό είναι ιδιαίτερα σημαντικό για την ανάλυση της καθυστέρησης.
Για τα υπάρχοντα μοντέλα, η κίνηση της Γρήγορης λειτουργίας εξακολουθεί να εμφανίζεται ως priority στον πίνακα ελέγχου χρήσης.
Φιλτράρισμα κατά έργο
Από προεπιλογή, το Service Health εμφανίζει όλα τα έργα.
Για την αντιμετώπιση προβλημάτων, φιλτράρετε στο έργο ή στα έργα όπου παρατηρήθηκε το ζήτημα.
Γιατί:
Ένα μόνο έργο υψηλού όγκου μπορεί να κυριαρχεί στις μετρήσεις.
Μικρότερα επηρεαζόμενα έργα μπορεί να επισκιαστούν από άσχετη κίνηση.
Αφήστε επιλεγμένο το "Όλα τα έργα" μόνο αν πιστεύετε ότι το ζήτημα αφορά πραγματικά ολόκληρο τον οργανισμό.
Αντιμετώπιση σφαλμάτων
Χρησιμοποιήστε την προβολή HTTP Requests
Για να διερευνήσετε σφάλματα:
Φιλτράρετε κατά μοντέλο και επίπεδο υπηρεσίας.
Ανοίξτε την καρτέλα HTTP Requests αντί για την καρτέλα Uptime.
Αυτή η προβολή εμφανίζει τα συνολικά αιτήματα και τον αριθμό σφαλμάτων ανά κωδικό κατάστασης HTTP. Μεγεθύνετε σε ανάλυση επιπέδου λεπτού για να εντοπίσετε λεπτομερείς αιχμές ή αλλαγές.
Ερμηνεύστε ποσοστά σφαλμάτων, όχι πλήθη
Ορισμένα σφάλματα είναι αναμενόμενα σε κάθε σύστημα παραγωγής. Εστιάστε στο ποσοστό σφαλμάτων, όχι στα ακατέργαστα σύνολα.
Όσο μεγαλύτερος είναι ο συνολικός όγκος σας, τόσο μεγαλύτερος είναι ο πιθανός αριθμός σφαλμάτων, ακόμη και με εξαιρετικά χαμηλό ποσοστό σφαλμάτων.
Όταν λείπουν σφάλματα από το Service Health
Αν βλέπετε σφάλματα στην πλευρά του πελάτη αλλά δεν υπάρχουν αντίστοιχα δεδομένα στο Service Health:
Τα αιτήματα πιθανότατα δεν έφτασαν στην OpenAI.
Το ζήτημα συνήθως βρίσκεται upstream (χρονικά όρια, proxy, δικτύωση).
Αυτό είναι συνηθισμένο με επιθετικά χρονικά όρια στην πλευρά του πελάτη.
Αντιμετώπιση προβλημάτων καθυστέρησης
Η ανάλυση της καθυστέρησης έχει μεγαλύτερη αξία για τη Γρήγορη λειτουργία και το Επίπεδο κλιμάκωσης, που έχουν καθορισμένα SLA. Το τυπικό επίπεδο μπορεί να παρουσιάζει μεγαλύτερες διακυμάνσεις στην καθυστέρηση και δεν εγγυάται συγκεκριμένο χρόνο απόκρισης.
Βασικές μετρήσεις
Για να δείτε κάθε μέτρηση, κάντε κλικ στη σχετική καρτέλα:
Ταχύτητα token: Token που δημιουργούνται ανά δευτερόλεπτο, ανεξάρτητα από το μέγεθος της προτροπής.
Request Time: Συνολική διάρκεια αιτήματος, που επηρεάζεται έντονα από το μέγεθος εξόδου και τη συλλογιστική.
Time to First Token (TTFT): Χρόνος μέχρι να δημιουργηθεί το πρώτο token, που επηρεάζεται έντονα από το μέγεθος της μη αποθηκευμένης στην κρυφή μνήμη προτροπής εισόδου και τη συλλογιστική.
Να εξετάζετε πάντα τα εκατοστημόρια P50 / P75 / P95. Οι μέσοι όροι μπορούν να κρύψουν τον αντίκτυπο στους πραγματικούς χρήστες.
6. Συσχέτιση καθυστέρησης με χρήση token
Το Service Health δείχνει πότε άλλαξε η συμπεριφορά. Τα δεδομένα χρήσης βοηθούν να εξηγηθεί γιατί.
Στον πίνακα χρήσης, κάντε τα εξής για να βεβαιωθείτε ότι βλέπετε τα δεδομένα που σχετίζονται με την προβολή σας στον πίνακα Service Health:
Φιλτράρετε στο ίδιο έργο και μοντέλο.
Ομαδοποιήστε κατά επίπεδο υπηρεσίας, αν ισχύει.
Εστιάστε στα token εξόδου, τα οποία επηρεάζουν περισσότερο την καθυστέρηση.
Για βαθύτερη ανάλυση, εξαγάγετε τα Activity Data και εξετάστε τα token ανά αίτημα με την πάροδο του χρόνου.
7. Τι να κοινοποιήσετε στην υποστήριξη (αν χρειάζεται)
Αν επικοινωνήσετε με την υποστήριξη, συμπεριλάβετε:
Τα Org IDs που επηρεάζονται (σημαντικό)
Τα endpoint που επηρεάζονται, όπως Chat Completions ή Responses (σημαντικό)
Τα μοντέλα που επηρεάζονται (σημαντικό)
Αν το πρόβλημα αφορά τη Γρήγορη λειτουργία ή το Επίπεδο κλιμάκωσης (σημαντικό)
Χρονικά διαστήματα με ζώνη ώρας για καθυστέρηση ή σφάλματα (σημαντικό)
Σχετικό x-request-id ή X-Client-Request-Id, αν υπάρχει
Χρονικές σημάνσεις με ζώνη ώρας ή τουλάχιστον την ημερομηνία για τα αιτήματα που παραθέτετε
Αν είναι διαθέσιμα, συμπεριλάβετε επίσης:
Το Project ID που σχετίζεται με τα αιτήματα
Αν επηρεάζονται αιτήματα γεωγραφικής διαμονής δεδομένων και ποια
Περιγραφές των τάσεων που παρατηρείτε
Ανάλογα με τον τύπο του προβλήματος, συμπεριλάβετε:
Σφάλματα: Κατά προσέγγιση ποσοστό αιτημάτων που αποτυγχάνουν ή επιστρέφουν σφάλμα, κωδικούς απόκρισης, μηνύματα σφάλματος και τον χρόνο που χρειάστηκε μέχρι τη λήψη της απόκρισης σφάλματος.
Καθυστέρηση: Ποια εκατοστημόρια επηρεάζονται (P50 / P90 / P95 / P99), πόσο υψηλότερα είναι από την τιμή αναφοράς του πελάτη και παραδείγματα αργών αιτημάτων με χρονικές σημάνσεις αποστολής και λήψης.
Και τα δύο: Στιγμιότυπα οθόνης ή έναν πίνακα με δεδομένα σφαλμάτων ή καθυστέρησης, καθώς και τον τρόπο με τον οποίο διαπιστώσατε ότι τα ποσοστά σφαλμάτων ή η καθυστέρηση ήταν υψηλότερα από το αναμενόμενο.
Συνήθη σενάρια αντιμετώπισης προβλημάτων
Προκύπτουν χρονικά όρια, αλλά το Service Health φαίνεται κανονικό
Πιθανή αιτία: τα αιτήματα λήγουν λόγω χρονικού ορίου πριν φτάσουν στην OpenAI.
Ελέγξτε:
Ρυθμίσεις χρονικού ορίου πελάτη ή proxy
Αλλαγές στο τοπικό δίκτυο ή στον εξισορροπητή φόρτου
Παρουσία σφαλμάτων 499 στον πίνακα Service Health (αυτά μπορεί να εμφανίζονται ως σφάλματα 5xx στα δικά σας συστήματα).
Η καθυστέρηση αυξήθηκε χωρίς ανάπτυξη
Πιθανή αιτία: αυξήθηκε το μέγεθος των token εξόδου ή η χρήση συλλογιστικής ή/και η κίνηση μετακινήθηκε μεταξύ επιπέδων υπηρεσίας.
Ελέγξτε:
Μέσος όρος token εξόδου ανά αίτημα στον πίνακα χρήσης (απαιτεί λήψη δεδομένων και διαίρεση των token εξόδου με το σύνολο των αιτημάτων).
Εκατοστημόρια Request Time και TTFT στον πίνακα Service Health.
Χαμηλή ταχύτητα στη Γρήγορη λειτουργία ή στο Επίπεδο κλιμάκωσης
Πιθανή αιτία: οι μετρήσεις συνδυάζουν διαφορετικά επίπεδα, με αποτέλεσμα η κίνηση του τυπικού επιπέδου να αποκρύπτει τις επιδόσεις του επί πληρωμή επιπέδου.
Ελέγξτε τα εξής:
Τα φίλτρα περιορίζονται σε ένα μόνο επίπεδο και μοντέλο.
Σύγκριση της ταχύτητας των token μεταξύ επιπέδων.
Αύξηση σφαλμάτων 5XX
Πιθανή αιτία: παροδικές αστοχίες που επηρεάζουν ένα μικρό ποσοστό της κίνησης.
Ελέγξτε:
Ποσοστό σφαλμάτων
Αν ο όγκος κίνησης άλλαξε ταυτόχρονα
Το ζήτημα επηρεάζει μόνο ένα έργο
Πιθανή αιτία: διαμόρφωση ή μοτίβο χρήσης ειδικά για το έργο.
Ελέγξτε:
Φιλτράρισμα σε επίπεδο έργου
Σύγκριση με έργα που δεν επηρεάζονται
Τελικά συμπεράσματα
Φιλτράρετε κατά μοντέλο, επίπεδο και έργο, όπου χρειάζεται, πριν ερμηνεύσετε τις μετρήσεις.
Χρησιμοποιήστε εκατοστημόρια, όχι μέσους όρους, για την ανάλυση καθυστέρησης.
Αναμένονται μικρά ποσοστά σφαλμάτων.
Τα δεδομένα που λείπουν συνήθως υποδεικνύουν ζητήματα upstream.
Τα δεδομένα χρήσης μπορούν να βοηθήσουν να εξηγηθεί γιατί άλλαξε η καθυστέρηση· το Service Health δείχνει πότε άλλαξε η συμπεριφορά.