সীমা-সংক্রান্ত ত্রুটি ('Too Many Requests', ‘Rate limit reached’) ঘটে যখন আপনার প্রতিষ্ঠানের সীমা অতিক্রম করা হয়, যা প্রতি মিনিটে জমা দেওয়া যায় এমন সর্বোচ্চ অনুরোধ ও টোকেনের সংখ্যা. সীমায় পৌঁছে গেলে, সীমা রিসেট না হওয়া পর্যন্ত প্রতিষ্ঠানটি সফলভাবে অনুরোধ জমা দিতে পারে না. ত্রুটি বার্তাটি এমন দেখায়:
org-exampleorgid123 প্রতিষ্ঠানের gpt-3.5-turbo-এর জন্য প্রতি মিনিটের টোকেনে রেট লিমিটে পৌঁছানো হয়েছে।
সীমা: 10000.000000 / মিনিট। বর্তমান: 10020.000000 / মিনিট। আমরা এক্সপোনেনশিয়াল ব্যাকঅফ ব্যবহার করে এই ত্রুটিগুলো সামলানোর পরামর্শ দিই. এক্সপোনেনশিয়াল ব্যাকঅফ মানে হলো সীমা-সংক্রান্ত ত্রুটি ঘটলে অল্প সময় বিরতি নেওয়া, তারপর ব্যর্থ অনুরোধটি আবার চেষ্টা করা. অনুরোধটি যদি তখনও ব্যর্থ হয়, বিরতির সময় বাড়ানো হয় এবং প্রক্রিয়াটি পুনরাবৃত্তি করা হয়. অনুরোধটি সফল না হওয়া পর্যন্ত বা সর্বোচ্চ পুনরায় চেষ্টার সংখ্যা পূরণ না হওয়া পর্যন্ত এটি চলতে থাকে.
ব্যর্থ অনুরোধগুলো আপনার প্রতি-মিনিটের সীমায় যোগ হয়, তাই একই অনুরোধ বারবার পাঠালে কাজ হবে না. সীমা আরও ছোট সময়সীমাতেও প্রয়োগ করা যেতে পারে - যেমন, 60 RPM সীমার জন্য প্রতি সেকেন্ডে 1টি অনুরোধ - অর্থাৎ অল্প সময়ে বেশি অনুরোধের ঝটকাও সীমা-সংক্রান্ত ত্রুটি ঘটাতে পারে. অনুরোধগুলোর মধ্যে ব্যবধান রেখে এই ত্রুটিগুলোর ঘনত্ব কমাতে এক্সপোনেনশিয়াল ব্যাকঅফ ভালোভাবে কাজ করে.
Python-এ এক্সপোনেনশিয়াল ব্যাকঅফ সমাধান এমন হতে পারে:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(অনুগ্রহ করে মনে রাখবেন: backoff লাইব্রেরি একটি তৃতীয় পক্ষের টুল. আপনার প্রকল্পের জন্য যেকোনো বাহ্যিক কোড যাচাই করার ক্ষেত্রে আমরা আমাদের সব গ্রাহককে যথাযথ সতর্কতা অবলম্বন করতে উৎসাহিত করি.)
এক্সপোনেনশিয়াল ব্যাকঅফ বাস্তবায়ন করার পরও যদি এই ত্রুটি দেখা যায়, তাহলে আপনাকে আপনার ব্যবহার স্তর বাড়াতে হতে পারে. আপনার বর্তমান সীমাগুলো এবং সীমা বাড়ানোর জন্য আপনার ট্রাস্ট স্তর কীভাবে বাড়াবেন তা অ্যাকাউন্ট সেটিংসের সীমা বিভাগে দেখতে পারবেন.