მოთხოვნების ლიმიტის შეცდომებს („Too Many Requests“, „Rate limit reached“) იწვევს თქვენი ორგანიზაციის მოთხოვნების ლიმიტის მიღწევა; ეს არის მოთხოვნებისა და token-ების მაქსიმალური რაოდენობა, რომლის გაგზავნაც წუთში შეიძლება. ლიმიტის მიღწევის შემთხვევაში, ორგანიზაცია ვერ შეძლებს მოთხოვნების წარმატებით გაგზავნას, სანამ მოთხოვნების ლიმიტი არ აღდგება. შეცდომის შეტყობინება ასე გამოიყურება:
gpt-3.5-turbo-სთვის სიჩქარის ლიმიტი მიღწეულია organization org-exampleorgid123-ში, tokens per min-ზე.
ლიმიტი: 10000.000000 / min. მიმდინარე: 10020.000000 / min. გირჩევთ, ეს შეცდომები ექსპონენციალური დაყოვნების გამოყენებით დაამუშაოთ. ექსპონენციალური დაყოვნება ნიშნავს მოკლე პაუზის გაკეთებას მოთხოვნების ლიმიტის შეცდომის მიღებისას, შემდეგ კი წარუმატებელი მოთხოვნის ხელახლა ცდას. თუ მოთხოვნა კვლავ წარუმატებელია, პაუზის ხანგრძლივობა იზრდება და პროცესი მეორდება. ეს გრძელდება, სანამ მოთხოვნა წარმატებით შესრულდება ან ხელახალი ცდების მაქსიმალურ რაოდენობას მიაღწევს.
რადგან წარუმატებელი მოთხოვნები თქვენს წუთობრივ ლიმიტში ითვლება, მოთხოვნის უწყვეტი ხელახლა გაგზავნა არ იმუშავებს. მოთხოვნების ლიმიტები შეიძლება უფრო მოკლე პერიოდებზეც გავრცელდეს — მაგალითად, 60 RPM ლიმიტისთვის 1 მოთხოვნა წამში — რაც ნიშნავს, რომ დიდი მოცულობის მოკლე მოთხოვნების ნაკადებმაც შეიძლება მოთხოვნების ლიმიტის შეცდომები გამოიწვიოს. ექსპონენციალური დაყოვნება კარგად მუშაობს, რადგან მოთხოვნებს შორის ინტერვალს ზრდის და ამ შეცდომების სიხშირეს ამცირებს.
Python-ში ექსპონენციალური დაყოვნების გადაწყვეტა შეიძლება ასე გამოიყურებოდეს:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(გთხოვთ, გაითვალისწინოთ: backoff ბიბლიოთეკა მესამე მხარის ინსტრუმენტია. მოვუწოდებთ ყველა ჩვენს მომხმარებელს, საკუთარი პროექტებისთვის ნებისმიერი გარე კოდის ვალიდაციისას სათანადო შემოწმება ჩაატარონ.)
თუ ექსპონენციალური დაყოვნების დანერგვის შემდეგ ეს შეცდომა მაინც ჩნდება, შეიძლება დაგჭირდეთ გამოყენების დონის გაზრდა. თქვენი მიმდინარე მოთხოვნების ლიმიტებისა და ნდობის დონის გაზრდის გზების ნახვა, რათა მოთხოვნების ლიმიტები გაზარდოთ, შეგიძლიათ ანგარიშის პარამეტრების ლიმიტების განყოფილებაში.