Kullanım limiti hataları ('Çok Fazla İstek', ‘Kullanım limitine ulaşıldı’), kuruluşunuzun dakika başına gönderilebilecek maksimum istek ve token sayısı olan kullanım limitine ulaşılmasından kaynaklanır. Limite ulaşılırsa kuruluş, kullanım limiti sıfırlanana kadar istekleri başarıyla gönderemez. Hata mesajı şöyle görünür:
Kuruluş org-exampleorgid123 içinde gpt-3.5-turbo için dakikadaki token sayısında hız sınırına ulaşıldı.
Sınır: dakikada 10000.000000. Mevcut: dakikada 10020.000000.Bu hataları üstel geri çekilme kullanarak ele almanızı öneririz. Üstel geri çekilme, kullanım limiti hatasıyla karşılaşıldığında kısa süre bekleyip ardından başarısız olan isteği yeniden denemek anlamına gelir. İstek hâlâ başarısız olursa bekleme süresi artırılır ve süreç tekrarlanır. Bu, istek başarılı olana veya maksimum yeniden deneme sayısına ulaşılana kadar devam eder.
Başarısız istekler dakika başına limitinize katkıda bulunduğundan, bir isteği sürekli yeniden göndermek işe yaramaz. Kullanım limitleri daha kısa süreler boyunca uygulanabilir; örneğin 60 RPM limiti için saniyede 1 istek. Bu da kısa süreli, yüksek hacimli istek patlamalarının da kullanım limiti hatalarına yol açabileceği anlamına gelir. Üstel geri çekilme, bu hataların sıklığını en aza indirmek için istekleri aralıklı göndererek iyi sonuç verir.
Python’da üstel geri çekilme çözümü şöyle görünebilir:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Lütfen unutmayın: backoff kitaplığı üçüncü taraf bir araçtır. Tüm müşterilerimizi, projeleri için herhangi bir harici kodu doğrulama konusunda gerekli özeni göstermeye teşvik ediyoruz.)
Üstel geri çekilme uygulamak hâlâ bu hatayla sonuçlanıyorsa kullanım katmanınızı artırmanız gerekebilir. Mevcut kullanım limitlerinizi ve kullanım limitlerinizi artırmak için güven katmanınızı nasıl yükselteceğinizi hesap ayarlarınızın limitler bölümünde görüntüleyebilirsiniz.