ریٹ لمٹ کی خرابیاں (’Too Many Requests‘، ’Rate limit reached‘) آپ کی تنظیم کی ریٹ لمٹ تک پہنچنے کی وجہ سے ہوتی ہیں، جو فی منٹ بھیجی جا سکنے والی درخواستوں اور ٹوکنز کی زیادہ سے زیادہ تعداد ہے. اگر حد تک پہنچ جائے، تو تنظیم ریٹ لمٹ ری سیٹ ہونے تک درخواستیں کامیابی سے نہیں بھیج سکتی. خرابی کا پیغام اس طرح نظر آتا ہے:
tokens per min پر organization org-exampleorgid123 میں gpt-3.5-turbo کے لیے ریٹ لمٹ تک پہنچ گئی۔
حد: 10000.000000 / min. موجودہ: 10020.000000 / min. ہم ان خرابیوں کو ایکسپونینشل بیک آف استعمال کرکے سنبھالنے کی سفارش کرتے ہیں. ایکسپونینشل بیک آف کا مطلب ہے کہ جب ریٹ لمٹ کی خرابی آئے تو مختصر وقفہ لیا جائے، پھر ناکام درخواست کو دوبارہ آزمایا جائے. اگر درخواست پھر بھی ناکام رہے، تو وقفے کی مدت بڑھا دی جاتی ہے اور عمل دہرایا جاتا ہے. یہ اس وقت تک جاری رہتا ہے جب تک درخواست کامیاب نہ ہو جائے یا دوبارہ کوششوں کی زیادہ سے زیادہ تعداد تک نہ پہنچ جائے.
چونکہ ناکام درخواستیں آپ کی فی منٹ حد میں شامل ہوتی ہیں، اس لیے مسلسل ایک ہی درخواست دوبارہ بھیجنا کارگر نہیں ہوگا. ریٹ لمٹس مختصر مدتوں پر بھی لاگو ہو سکتی ہیں - مثلاً 60 RPM حد کے لیے فی سیکنڈ 1 درخواست - یعنی کم وقت میں بہت زیادہ درخواستوں کے برسٹ بھی ریٹ لمٹ کی خرابیوں کا سبب بن سکتے ہیں. ایکسپونینشل بیک آف درخواستوں کے درمیان وقفہ رکھ کر ان خرابیوں کی تکرار کم کرنے میں اچھا کام کرتا ہے.
Python میں، ایک ایکسپونینشل بیک آف حل اس طرح نظر آ سکتا ہے:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(براہ کرم نوٹ کریں: بیک آف لائبریری ایک فریق ثالث ٹول ہے. ہم اپنے تمام صارفین کی حوصلہ افزائی کرتے ہیں کہ وہ اپنے پروجیکٹس کے لیے کسی بھی بیرونی کوڈ کی تصدیق کرتے وقت اپنی مناسب جانچ پڑتال کریں.)
اگر ایکسپونینشل بیک آف نافذ کرنے پر بھی یہ خرابی آتی رہے، تو آپ کو اپنے استعمال کا درجہ بڑھانے کی ضرورت پڑ سکتی ہے. آپ اپنے اکاؤنٹ کی ترتیبات کے حدود کے سیکشن میں اپنی موجودہ ریٹ لمٹس دیکھ سکتے ہیں اور یہ بھی جان سکتے ہیں کہ اپنی ریٹ لمٹس بڑھانے کے لیے اپنے اعتماد کا درجہ کیسے بڑھایا جائے.