مقدمهای بر محدودیتهای تعداد درخواست
محدودیتهای تعداد درخواست، محدودیتهایی هستند که API ما بر تعداد دفعاتی اعمال میکند که یک کاربر یا کلاینت میتواند در یک بازه زمانی مشخص به خدمات ما دسترسی داشته باشد.
محدودیتهای تعداد درخواست میتوانند کوانتیزه باشند؛ یعنی در بازههای زمانی کوتاهتر اعمال شوند (مثلاً ۶۰٬۰۰۰ درخواست/دقیقه ممکن است بهصورت ۱٬۰۰۰ درخواست/ثانیه اعمال شود). ارسال جهشهای کوتاهمدت از درخواستها یا زمینههایی (اعلانها+max_completion_tokens) که بیش از حد طولانی هستند، حتی وقتی از نظر فنی زیر محدودیت تعداد درخواست در دقیقه هستید، میتواند به خطاهای محدودیت تعداد درخواست منجر شود.
بهترین روشها برای جلوگیری از خطاهای محدودیت تعداد درخواست
سازمان پیشفرض
اگر عضو چند سازمان با طرحهای صورتحساب و سطحهای استفاده متفاوت هستید، مطمئن شوید سازمان پیشفرض شما روی سازمان مناسب تنظیم شده باشد تا کنترل کنید هنگام ارسال درخواست با کلیدهای API شما، کدام سازمان بهطور پیشفرض استفاده میشود.
عقبنشینی نمایی
منطق عقبنشینی نمایی را در کد خود بگنجانید. این کار درخواستهای ناموفق را شناسایی کرده و دوباره امتحان میکند.
محدودیتهای توکن
max_completion_tokens را کاهش دهید تا با اندازه تکمیلهای شما هماهنگ شود. نیازهای استفاده بر اساس این مقدار برآورد میشوند، بنابراین کاهش آن احتمال دریافت غیرمنتظره خطای محدودیت تعداد درخواست را کم میکند. برای مثال، اگر اعلان شما تکمیلهایی در حدود ۴۰۰ توکن ایجاد میکند، مقدار max_tokens باید تقریباً به همان اندازه باشد.
اعلانهای خود را بهینه کنید. میتوانید این کار را با کوتاهتر کردن دستورالعملها، حذف واژههای اضافی و کنار گذاشتن نمونههای اضافی انجام دهید. ممکن است لازم باشد پس از این تغییرات روی اعلان خود کار کنید و آن را آزمایش کنید تا مطمئن شوید هنوز بهخوبی کار میکند. مزیت دیگر اعلان کوتاهتر، کاهش هزینه برای شماست. اگر به کمک نیاز دارید، به ما اطلاع دهید.
سطح استفاده
اگر این بهترین روشها را پیادهسازی کردهاید اما هنوز با خطاهای محدودیت تعداد درخواست روبهرو هستید، میتوانید با افزایش سطح استفادهتان محدودیتهای تعداد درخواست خود را افزایش دهید. میتوانید محدودیتهای تعداد درخواست فعلی، سطح استفاده فعلی، و روش افزایش سطح استفاده/محدودیتهایتان را در بخش Limits تنظیمات حساب خود مشاهده کنید.
مطالعه بیشتر
مستندات جامع ما درباره سطحهای استفاده و محدودیتهای تعداد درخواست را اینجا مرور کنید.