Εισαγωγή στα όρια ρυθμού
Τα όρια ρυθμού είναι περιορισμοί που επιβάλλει το API μας στον αριθμό των φορών που ένας χρήστης ή πελάτης μπορεί να αποκτήσει πρόσβαση στις υπηρεσίες μας μέσα σε καθορισμένο χρονικό διάστημα.
Τα όρια ρυθμού μπορούν να ποσοτικοποιούνται, που σημαίνει ότι επιβάλλονται σε μικρότερα χρονικά διαστήματα (π.χ. 60.000 αιτήματα/λεπτό μπορεί να επιβάλλονται ως 1.000 αιτήματα/δευτερόλεπτο). Η αποστολή αιτημάτων σε σύντομες ριπές ή περιεχομένων (προτροπές+max_completion_tokens) που είναι υπερβολικά μεγάλα μπορεί να οδηγήσει σε σφάλματα ορίου ρυθμού, ακόμη κι όταν τεχνικά βρίσκεστε κάτω από το όριο ρυθμού ανά λεπτό.
Βέλτιστες πρακτικές για την αποφυγή σφαλμάτων ορίου ρυθμού
Προεπιλεγμένος οργανισμός
Αν ανήκετε σε πολλούς οργανισμούς με διαφορετικά προγράμματα χρέωσης και βαθμίδες χρήσης, βεβαιωθείτε ότι ο προεπιλεγμένος οργανισμός σας έχει οριστεί στον κατάλληλο οργανισμό, για να ελέγχετε ποιος οργανισμός χρησιμοποιείται από προεπιλογή κατά την υποβολή αιτημάτων με τα κλειδιά API σας.
Εκθετική καθυστέρηση επανάληψης
Συμπεριλάβετε λογική εκθετικής καθυστέρησης επανάληψης στον κώδικά σας. Αυτό θα εντοπίζει τα αποτυχημένα αιτήματα και θα επιχειρεί ξανά.
Όρια token
Μειώστε το max_completion_tokens ώστε να ταιριάζει με το μέγεθος των ολοκληρώσεών σας. Οι ανάγκες χρήσης εκτιμώνται από αυτήν την τιμή, επομένως η μείωσή της θα μειώσει την πιθανότητα να λάβετε απροσδόκητα ένα σφάλμα ορίου ρυθμού. Για παράδειγμα, αν η προτροπή σας δημιουργεί ολοκληρώσεις περίπου 400 token, η τιμή max_tokens θα πρέπει να έχει περίπου το ίδιο μέγεθος.
Βελτιστοποιήστε τις προτροπές σας. Μπορείτε να το κάνετε αυτό συντομεύοντας τις οδηγίες σας, αφαιρώντας επιπλέον λέξεις και καταργώντας περιττά παραδείγματα. Ίσως χρειαστεί να επεξεργαστείτε την προτροπή σας και να τη δοκιμάσετε μετά από αυτές τις αλλαγές, για να βεβαιωθείτε ότι εξακολουθεί να λειτουργεί καλά. Το πρόσθετο όφελος μιας συντομότερης προτροπής είναι το μειωμένο κόστος για εσάς. Αν χρειάζεστε βοήθεια, ενημερώστε μας.
Βαθμίδα χρήσης
Αν έχετε εφαρμόσει αυτές τις βέλτιστες πρακτικές αλλά εξακολουθείτε να αντιμετωπίζετε σφάλματα ορίου ρυθμού, μπορείτε να αυξήσετε τα όρια ρυθμού σας αυξάνοντας τη βαθμίδα χρήσης σας. Μπορείτε να δείτε τα τρέχοντα όρια ρυθμού σας, την τρέχουσα βαθμίδα χρήσης σας και πώς να αυξήσετε τη βαθμίδα χρήσης/τα όριά σας στην ενότητα Όρια των ρυθμίσεων του λογαριασμού σας.
Περαιτέρω ανάγνωση
Ελέγξτε την αναλυτική τεκμηρίωσή μας σχετικά με τις βαθμίδες χρήσης και τα όρια ρυθμού εδώ.