Τα σφάλματα ορίου ρυθμού («Too Many Requests», «Rate limit reached») προκαλούνται όταν φτάνετε το όριο ρυθμού του οργανισμού σας, δηλαδή τον μέγιστο αριθμό αιτημάτων και token που μπορούν να υποβληθούν ανά λεπτό. Αν επιτευχθεί το όριο, ο οργανισμός δεν μπορεί να υποβάλει επιτυχώς αιτήματα μέχρι να γίνει επαναφορά του ορίου ρυθμού. Το μήνυμα σφάλματος μοιάζει κάπως έτσι:
Έγινε υπέρβαση ορίου ρυθμού για το gpt-3.5-turbo στον οργανισμό org-exampleorgid123 ως προς τα token ανά λεπτό.
Όριο: 10000.000000 / λεπτό. Τρέχον: 10020.000000 / λεπτό. Συνιστούμε να χειρίζεστε αυτά τα σφάλματα με εκθετική υποχώρηση. Η εκθετική υποχώρηση σημαίνει ότι γίνεται μια σύντομη παύση όταν προκύπτει σφάλμα ορίου ρυθμού και έπειτα επαναλαμβάνεται το ανεπιτυχές αίτημα. Αν το αίτημα εξακολουθεί να μην είναι επιτυχές, η διάρκεια της παύσης αυξάνεται και η διαδικασία επαναλαμβάνεται. Αυτό συνεχίζεται μέχρι να επιτύχει το αίτημα ή μέχρι να φτάσετε στον μέγιστο αριθμό επαναλήψεων.
Καθώς τα ανεπιτυχή αιτήματα συνυπολογίζονται στο όριο ανά λεπτό, η συνεχής επανυποβολή ενός αιτήματος δεν θα λειτουργήσει. Τα όρια ρυθμού μπορούν να εφαρμόζονται και σε μικρότερα χρονικά διαστήματα — για παράδειγμα, 1 αίτημα ανά δευτερόλεπτο για όριο 60 RPM — πράγμα που σημαίνει ότι και σύντομες εκρήξεις μεγάλου όγκου αιτημάτων μπορούν επίσης να οδηγήσουν σε σφάλματα ορίου ρυθμού. Η εκθετική υποχώρηση λειτουργεί καλά, επειδή κατανέμει χρονικά τα αιτήματα ώστε να ελαχιστοποιείται η συχνότητα αυτών των σφαλμάτων.
Στην Python, μια λύση εκθετικής υποχώρησης θα μπορούσε να είναι κάπως έτσι:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Σημειώστε: Η βιβλιοθήκη backoff είναι εργαλείο τρίτου μέρους. Ενθαρρύνουμε όλους τους πελάτες μας να κάνουν τον απαιτούμενο έλεγχο όταν πρόκειται να επικυρώσουν οποιονδήποτε εξωτερικό κώδικα για τα έργα τους.)
Αν η υλοποίηση εκθετικής υποχώρησης εξακολουθεί να οδηγεί σε αυτό το σφάλμα, ίσως χρειαστεί να αυξήσετε τη βαθμίδα χρήσης σας. Μπορείτε να δείτε τα τρέχοντα όρια ρυθμού σας και πώς να αυξήσετε τη βαθμίδα εμπιστοσύνης σας ώστε να αυξήσετε τα όρια ρυθμού σας στην ενότητα ορίων των ρυθμίσεων του λογαριασμού σας.