ریٹ لمٹس کا تعارف
ریٹ لمٹس وہ پابندیاں ہیں جو ہماری API کسی صارف یا کلائنٹ کے ایک مخصوص مدت کے اندر ہماری سروسز تک رسائی حاصل کرنے کی تعداد پر عائد کرتی ہے.
ریٹ لمٹس کو چھوٹے وقفوں میں نافذ کیا جا سکتا ہے، یعنی انہیں کم وقت کی مدتوں پر لاگو کیا جاتا ہے، مثلاً 60,000 درخواستیں/منٹ کو 1,000 درخواستیں/سیکنڈ کے طور پر نافذ کیا جا سکتا ہے. درخواستوں یا ایسے سیاق و سباق (پرومپٹس+max_completion_tokens) کے مختصر برسٹ بھیجنا جو بہت لمبے ہوں، ریٹ لمٹ کی خرابیوں کا سبب بن سکتا ہے، چاہے آپ تکنیکی طور پر فی منٹ ریٹ لمٹ سے کم ہوں.
ریٹ لمٹ کی خرابیوں سے بچنے کے بہترین طریقے
ڈیفالٹ تنظیم
اگر آپ مختلف بلنگ پلانز اور استعمال کی سطحوں والی کئی تنظیموں سے وابستہ ہیں، تو یقینی بنائیں کہ آپ کی ڈیفالٹ تنظیم مناسب تنظیم پر سیٹ ہے، تاکہ یہ کنٹرول ہو سکے کہ آپ کی API کیز کے ساتھ درخواستیں کرتے وقت بطور ڈیفالٹ کون سی تنظیم استعمال ہوتی ہے.
ایکسپونینشل بیک آف
اپنے کوڈ میں ایکسپونینشل بیک آف لاجک شامل کریں. یہ ناکام درخواستوں کو پکڑے گا اور دوبارہ کوشش کرے گا.
ٹوکن لمٹس
اپنی تکمیلات کے سائز سے ملانے کے لیے max_completion_tokens کو کم کریں. استعمال کی ضروریات کا اندازہ اسی قدر سے لگایا جاتا ہے، اس لیے اسے کم کرنے سے اس امکان میں کمی آئے گی کہ آپ کو غیر متوقع طور پر ریٹ لمٹ کی خرابی ملے. مثال کے طور پر، اگر آپ کا پرومپٹ تقریباً 400 ٹوکن کی تکمیلات بناتا ہے، تو max_tokens کی قدر بھی تقریباً اسی سائز کی ہونی چاہیے.
اپنے پرومپٹس کو بہتر بنائیں. آپ یہ کام اپنی ہدایات کو مختصر بنا کر، اضافی الفاظ ہٹا کر، اور اضافی مثالیں ختم کر کے کر سکتے ہیں. ان تبدیلیوں کے بعد آپ کو اپنے پرومپٹ پر کام کرنے اور اسے ٹیسٹ کرنے کی ضرورت ہو سکتی ہے تاکہ یقینی بنایا جا سکے کہ یہ اب بھی اچھی طرح کام کرتا ہے. مختصر پرومپٹ کا اضافی فائدہ یہ ہے کہ آپ کی لاگت کم ہو جاتی ہے. اگر آپ کو مدد چاہیے تو ہمیں بتائیں.
استعمال کی سطح
اگر آپ نے یہ بہترین طریقے نافذ کر لیے ہیں لیکن پھر بھی ریٹ لمٹ کی خرابیاں آ رہی ہیں، تو آپ اپنی استعمال کی سطح بڑھا کر اپنی ریٹ لمٹس بڑھا سکتے ہیں. آپ اپنے اکاؤنٹ کی ترتیبات کے لمٹس سیکشن میں اپنی موجودہ ریٹ لمٹس، اپنی موجودہ استعمال کی سطح، اور اپنی استعمال کی سطح/لمٹس بڑھانے کا طریقہ دیکھ سکتے ہیں.
مزید مطالعہ
استعمال کی سطحوں اور ریٹ لمٹس پر ہماری جامع دستاویزات کا یہاں جائزہ لیں.