Μια εισαγωγή στα όρια ρυθμού

Τα όρια ρυθμού είναι περιορισμοί που επιβάλλει το API μας στον αριθμό των φορών που ένας χρήστης ή πελάτης μπορεί να έχει πρόσβαση στις υπηρεσίες μας μέσα σε ένα καθορισμένο χρονικό διάστημα.

Τα όρια ρυθμού μπορούν να είναι κβαντοποιημένα, δηλαδή να επιβάλλονται σε μικρότερα χρονικά διαστήματα (π.χ. 60.000 αιτήματα/λεπτό μπορεί να επιβάλλονται ως 1.000 αιτήματα/δευτερόλεπτο). Η αποστολή σύντομων ριπών αιτημάτων ή context (προτροπές+max_completion_tokens) που είναι υπερβολικά μεγάλα μπορεί να οδηγήσει σε σφάλματα ορίου ρυθμού, ακόμη κι όταν τεχνικά βρίσκεστε κάτω από το όριο ανά λεπτό.

Βέλτιστες πρακτικές για την αποτροπή σφαλμάτων ορίου ρυθμού

Προεπιλεγμένος org

Αν ανήκετε σε πολλούς org με διαφορετικά προγράμματα χρέωσης και επίπεδα χρήσης, βεβαιωθείτε ότι η προεπιλεγμένη οργάνωσή σας έχει οριστεί στον κατάλληλο org ώστε να ελέγχετε ποιος οργανισμός χρησιμοποιείται από προεπιλογή όταν κάνετε αιτήματα με τα κλειδιά API σας.

Εκθετική υποχώρηση

Συμπεριλάβετε λογική εκθετικής υποχώρησης στον κώδικά σας. Αυτό θα εντοπίζει και θα επαναλαμβάνει τα αποτυχημένα αιτήματα.

Όρια token

Μειώστε το max_completion_tokens ώστε να ταιριάζει με το μέγεθος των completions σας. Οι ανάγκες χρήσης εκτιμώνται από αυτή την τιμή, οπότε η μείωσή της θα περιορίσει την πιθανότητα να λάβετε απροσδόκητα σφάλμα ορίου ρυθμού. Για παράδειγμα, αν η προτροπή σας δημιουργεί completions περίπου 400 token, η τιμή max_tokens θα πρέπει να είναι περίπου στο ίδιο μέγεθος.

Βελτιστοποιήστε τις προτροπές σας. Μπορείτε να το κάνετε αυτό κάνοντας τις οδηγίες σας συντομότερες, αφαιρώντας περιττές λέξεις και καταργώντας περιττά παραδείγματα. Ίσως χρειαστεί να δουλέψετε την προτροπή σας και να τη δοκιμάσετε μετά από αυτές τις αλλαγές για να βεβαιωθείτε ότι εξακολουθεί να λειτουργεί καλά. Το πρόσθετο όφελος μιας συντομότερης προτροπής είναι το μειωμένο κόστος για εσάς. Αν χρειάζεστε βοήθεια, ενημερώστε μας.

Επίπεδο χρήσης

Αν έχετε εφαρμόσει αυτές τις βέλτιστες πρακτικές αλλά εξακολουθείτε να αντιμετωπίζετε σφάλματα ορίου ρυθμού, μπορείτε να αυξήσετε τα όρια ρυθμού σας αυξάνοντας το επίπεδο χρήσης σας. Μπορείτε να δείτε τα τρέχοντα όρια ρυθμού σας, το τρέχον επίπεδο χρήσης σας και πώς να αυξήσετε το επίπεδο/τα όριά σας στην ενότητα Limits στις ρυθμίσεις του λογαριασμού σας.

Περαιτέρω ανάγνωση

Δείτε την αναλυτική τεκμηρίωσή μας για τα επίπεδα χρήσης και τα όρια ρυθμού εδώ.