সীমা সম্পর্কে পরিচিতি

সীমা হলো এমন বিধিনিষেধ, যা নির্দিষ্ট সময়ের মধ্যে কোনো ব্যবহারকারী বা ক্লায়েন্ট কতবার আমাদের পরিষেবা অ্যাক্সেস করতে পারে তার ওপর আমাদের API আরোপ করে.

সীমাগুলো কোয়ান্টাইজড হতে পারে, অর্থাৎ সেগুলো ছোট সময়সীমায় প্রয়োগ করা হয় (যেমন 60,000 requests/minute প্রয়োগ হতে পারে 1,000 requests/second হিসেবে). খুব অল্প সময়ে অনেকগুলো অনুরোধ পাঠানো বা খুব দীর্ঘ কনটেক্সট (প্রম্পট+max_completion_tokens) পাঠালে সীমা-সংক্রান্ত ত্রুটি হতে পারে, এমনকি প্রযুক্তিগতভাবে প্রতি মিনিটের সীমার নিচে থাকলেও.

সীমা-সংক্রান্ত ত্রুটি প্রতিরোধের সেরা অনুশীলন

ডিফল্ট সংস্থা

আপনি যদি বিভিন্ন বিলিং প্ল্যান ও ব্যবহারের স্তরসহ একাধিক সংস্থার সদস্য হন, তাহলে আপনার API কী দিয়ে অনুরোধ করার সময় ডিফল্টভাবে কোন সংস্থা ব্যবহৃত হবে তা নিয়ন্ত্রণ করতে আপনার ডিফল্ট সংস্থা যেন উপযুক্ত সংস্থায় সেট করা থাকে তা নিশ্চিত করুন.

এক্সপোনেনশিয়াল ব্যাকঅফ

আপনার কোডে এক্সপোনেনশিয়াল ব্যাকঅফ লজিক অন্তর্ভুক্ত করুন. এটি ব্যর্থ অনুরোধগুলো ধরবে এবং আবার চেষ্টা করবে.

টোকেন সীমা

আপনার কমপ্লিশনের আকারের সঙ্গে মিল রেখে max_completion_tokens কমান. ব্যবহারের প্রয়োজন এই মান থেকে অনুমান করা হয়, তাই এটি কমালে আপনার অপ্রত্যাশিতভাবে সীমা-সংক্রান্ত ত্রুটি পাওয়ার সম্ভাবনা কমবে. উদাহরণস্বরূপ, আপনার প্রম্পট যদি প্রায় 400 টোকেনের কমপ্লিশন তৈরি করে, তাহলে max_tokens মানটিও প্রায় একই আকারের হওয়া উচিত.


আপনার প্রম্পটগুলো অপ্টিমাইজ করুন. আপনার নির্দেশনাগুলো ছোট করে, অতিরিক্ত শব্দ বাদ দিয়ে এবং অতিরিক্ত উদাহরণ সরিয়ে আপনি এটি করতে পারেন. এই পরিবর্তনগুলোর পরও এটি ভালোভাবে কাজ করছে কিনা নিশ্চিত করতে আপনার প্রম্পট নিয়ে কাজ করতে এবং তা পরীক্ষা করতে হতে পারে. ছোট প্রম্পটের অতিরিক্ত সুবিধা হলো আপনার খরচ কমে যায়. সহায়তা প্রয়োজন হলে আমাদের জানান.

ব্যবহারের স্তর

আপনি যদি এই সেরা অনুশীলনগুলো বাস্তবায়ন করে থাকেন, কিন্তু এখনও সীমা-সংক্রান্ত ত্রুটির মুখোমুখি হন, তাহলে আপনার ব্যবহারের স্তর বাড়িয়ে আপনার সীমা বাড়াতে পারেন. আপনার অ্যাকাউন্ট সেটিংসের সীমা বিভাগে আপনি আপনার বর্তমান সীমা, বর্তমান ব্যবহারের স্তর এবং ব্যবহারের স্তর/সীমা কীভাবে বাড়াবেন তা দেখতে পারেন.

আরও পড়ুন

ব্যবহারের স্তর ও সীমা সম্পর্কে আমাদের বিস্তারিত ডকুমেন্টেশন এখানে পর্যালোচনা করুন.