গুরুত্বপূর্ণ লিংক
সার্ভিস হেলথ ড্যাশবোর্ড (বর্তমানে শুধু Enterprise API গ্রাহকদের জন্য উপলভ্য)
সঠিক ডিফল্ট দিয়ে শুরু করুন
Service Health ড্যাশবোর্ড খুললে, এটি ডিফল্টভাবে দেখায়:
সব প্রকল্প
গত ৩০ দিন
ঘণ্টাভিত্তিক রেজোলিউশন
এই ভিউ শুধু প্রাথমিক ধারণার জন্য উপযোগী. অর্থবহ সমস্যা সমাধানের জন্য সবসময় ফিল্টারিং প্রয়োজন.
তদন্তের আগে ফিল্টার করুন
সঠিক ফিল্টারিং সবচেয়ে গুরুত্বপূর্ণ ধাপ. বেশিরভাগ ভুল ব্যাখ্যা মডেল, টিয়ার বা প্রকল্প মিশিয়ে ফেলার কারণে হয়.
মডেল অনুযায়ী ফিল্টার করুন (একবারে একটি)
সবসময় একটি মাত্র মডেলে ফিল্টার করুন.
কারণ:
কম-ট্রাফিক মডেলের সমস্যা বেশি-ভলিউম ট্রাফিকের আড়ালে থাকতে পারে
উচ্চ-ভলিউম মডেল স্থানীয় সমস্যাকে বৈশ্বিক মনে করাতে পারে
ভিন্ন মডেলের পারফরম্যান্স লক্ষ্য ভিন্ন
দ্রষ্টব্য: একাধিক মডেল নির্বাচন করলে সেগুলো একত্রিত হয়—এগুলোর মধ্যে সুইচ হয় না.
সার্ভিস টিয়ার অনুযায়ী ফিল্টার করুন
আপনি যদি একাধিক টিয়ার (স্ট্যান্ডার্ড, প্রায়োরিটি, স্কেল) ব্যবহার করেন, সবসময় যে টিয়ার তদন্ত করছেন সেটিতে ফিল্টার করুন.
কারণ:
টিয়ারগুলোর পারফরম্যান্স বৈশিষ্ট্য ভিন্ন
প্রায়োরিটি ও স্কেল টিয়ারের নির্ধারিত SLA আছে
টিয়ার মিশিয়ে ফেললে পেইড-টিয়ার পারফরম্যান্স অস্পষ্ট হয়
ল্যাটেন্সি বিশ্লেষণের জন্য এটি বিশেষভাবে গুরুত্বপূর্ণ.
প্রকল্প অনুযায়ী ফিল্টার করুন
ডিফল্টভাবে, Service Health সব প্রকল্প দেখায়.
সমস্যা সমাধানের জন্য, যে প্রকল্প(গুলো)তে সমস্যা দেখা গেছে সেগুলোতে ফিল্টার করুন.
কারণ:
একটি উচ্চ-ভলিউম প্রকল্প মেট্রিকগুলোকে প্রভাবিত করে আধিপত্য করতে পারে.
ছোট প্রভাবিত প্রকল্পগুলো সম্পর্কহীন ট্রাফিকের আড়ালে পড়তে পারে.
শুধু তখনই “সব প্রকল্প” নির্বাচিত রাখুন, যদি মনে করেন সমস্যাটি সত্যিই পুরো প্রতিষ্ঠানে ঘটছে.
ত্রুটি সমস্যা সমাধান
HTTP অনুরোধ ভিউ ব্যবহার করুন
ত্রুটি তদন্ত করতে:
মডেল ও সার্ভিস টিয়ার অনুযায়ী ফিল্টার করুন.
Uptime ট্যাবের বদলে HTTP Requests ট্যাব খুলুন.
এই ভিউ HTTP স্ট্যাটাস কোড অনুযায়ী মোট অনুরোধ ও ত্রুটির সংখ্যা দেখায়. সূক্ষ্ম স্পাইক বা পরিবর্তন শনাক্ত করতে মিনিট-স্তরের রেজোলিউশনে জুম করুন.
সংখ্যা নয়, ত্রুটির হার ব্যাখ্যা করুন
যেকোনো প্রোডাকশন সিস্টেমে কিছু ত্রুটি প্রত্যাশিত. কাঁচা মোট সংখ্যার বদলে ত্রুটির শতাংশে মনোযোগ দিন.
আপনার মোট ভলিউম যত বেশি, ত্রুটির হার অত্যন্ত কম হলেও সম্ভাব্য ত্রুটির সংখ্যা তত বেশি হতে পারে.
Service Health-এ ত্রুটি দেখা না গেলে
আপনি যদি ক্লায়েন্ট-সাইড ত্রুটি দেখেন কিন্তু Service Health-এ সংশ্লিষ্ট ডাটা না থাকে:
অনুরোধগুলো সম্ভবত OpenAI-তে পৌঁছায়নি.
সমস্যাটি সাধারণত আপস্ট্রিমে থাকে (টাইমআউট, প্রক্সি, নেটওয়ার্কিং).
আগ্রাসী ক্লায়েন্ট-সাইড টাইমআউটে এটি সাধারণ.
ল্যাটেন্সি সমস্যা সমাধান
ল্যাটেন্সি বিশ্লেষণ প্রায়োরিটি ও স্কেল টিয়ারেই সবচেয়ে অর্থবহ, কারণ এগুলোর নির্ধারিত SLA আছে. স্ট্যান্ডার্ড টিয়ারে ল্যাটেন্সির পরিবর্তন বেশি দেখা যেতে পারে, এবং এতে গ্যারান্টিযুক্ত ল্যাটেন্সি নেই.
মূল মেট্রিক
প্রতিটি মেট্রিক দেখতে, সংশ্লিষ্ট ট্যাবে ক্লিক করুন:
টোকেন ভেলোসিটি: প্রতি সেকেন্ডে তৈরি হওয়া টোকেন; প্রম্পটের আকারের ওপর নির্ভর করে না.
অনুরোধের সময়: মোট অনুরোধের সময়কাল; আউটপুটের আকার ও রিজনিং দ্বারা প্রবলভাবে প্রভাবিত.
প্রথম টোকেন পর্যন্ত সময় (TTFT): প্রথম টোকেন তৈরি হওয়া পর্যন্ত সময়; আনক্যাশড ইনপুট প্রম্পটের আকার ও রিজনিং দ্বারা প্রবলভাবে প্রভাবিত.
সবসময় P50 / P75 / P95 পারসেন্টাইল পর্যালোচনা করুন. গড় মান বাস্তব ব্যবহারকারীর প্রভাব আড়াল করতে পারে.
৬. ল্যাটেন্সির সঙ্গে টোকেন ব্যবহারের সম্পর্ক নির্ণয়
Service Health দেখায় আচরণ কখন বদলেছে. ব্যবহারের ডাটা কেন তা ব্যাখ্যা করতে সাহায্য করে.
Usage ড্যাশবোর্ডে, Service Health Dashboard-এ আপনার ভিউয়ের সঙ্গে প্রাসঙ্গিক ডাটা দেখছেন তা নিশ্চিত করতে নিচের কাজগুলো করুন:
একই প্রকল্প ও মডেলে ফিল্টার করুন.
প্রযোজ্য হলে, সার্ভিস টিয়ার অনুযায়ী গ্রুপ করুন.
আউটপুট টোকেনে মনোযোগ দিন, যা ল্যাটেন্সিকে সবচেয়ে বেশি প্রভাবিত করে.
আরও গভীর বিশ্লেষণের জন্য, Activity Data এক্সপোর্ট করুন এবং সময়ের সাথে প্রতি অনুরোধে টোকেন পরীক্ষা করুন.
৭. সাপোর্টের সঙ্গে কী শেয়ার করবেন (প্রয়োজন হলে)
সাপোর্টে যোগাযোগ করলে, অন্তর্ভুক্ত করুন:
প্রভাবিত Org ID (গুরুত্বপূর্ণ)
প্রভাবিত এন্ডপয়েন্ট, যেমন Chat Completions বা Responses (গুরুত্বপূর্ণ)
প্রভাবিত মডেল (গুরুত্বপূর্ণ)
এটি স্কেল বা প্রায়োরিটি টিয়ারে কি না (গুরুত্বপূর্ণ)
ল্যাটেন্সি বা ত্রুটির জন্য টাইমজোনসহ সময়সীমা (গুরুত্বপূর্ণ)
প্রাসঙ্গিক x-request-id বা X-Client-Request-Id, যদি উপলভ্য থাকে
আপনি যে অনুরোধগুলো দিচ্ছেন সেগুলোর জন্য টাইমজোনসহ টাইমস্ট্যাম্প, বা অন্তত তারিখ
উপলভ্য থাকলে, আরও অন্তর্ভুক্ত করুন:
অনুরোধগুলোর সঙ্গে সম্পর্কিত Project ID
ডাটা রেসিডেন্সি অনুরোধ প্রভাবিত হয়েছে কি না, এবং কোনগুলো
আপনি যে ট্রেন্ডগুলো দেখছেন তার বিবরণ
সমস্যার ধরনের জন্য, অন্তর্ভুক্ত করুন:
ত্রুটি: ব্যর্থ বা ত্রুটিযুক্ত অনুরোধের আনুমানিক শতাংশ, রেসপন্স কোড, ত্রুটি বার্তা, এবং ত্রুটি রেসপন্স পেতে কত সময় লেগেছে.
ল্যাটেন্সি: কোন পারসেন্টাইল প্রভাবিত (P50 / P90 / P95 / P99), গ্রাহকের বেসলাইনের তুলনায় সেগুলো কত বেশি, এবং পাঠানো ও গ্রহণের টাইমস্ট্যাম্পসহ ধীর অনুরোধের উদাহরণ.
উভয়ই: ত্রুটি বা ল্যাটেন্সি ডাটার স্ক্রিনশট বা টেবিল, এবং ত্রুটির হার বা ল্যাটেন্সি প্রত্যাশার চেয়ে বেশি ছিল কীভাবে নির্ধারণ করেছেন.
সাধারণ সমস্যা সমাধানের পরিস্থিতি
টাইমআউট হচ্ছে কিন্তু Service Health স্বাভাবিক দেখাচ্ছে
সম্ভাব্য কারণ: অনুরোধগুলো OpenAI-তে পৌঁছানোর আগেই টাইমআউট হচ্ছে.
যাচাই করুন:
ক্লায়েন্ট বা প্রক্সির টাইমআউট সেটিংস
লোকাল নেটওয়ার্ক বা লোড ব্যালান্সারের পরিবর্তন
Service Health ড্যাশবোর্ডে 499 ত্রুটির উপস্থিতি (এগুলো আপনার নিজস্ব সিস্টেমে 5xx ত্রুটি হিসেবে দেখা যেতে পারে).
ডিপ্লয়মেন্ট ছাড়াই ল্যাটেন্সি বেড়েছে
সম্ভাব্য কারণ: আউটপুট টোকেনের আকার বা রিজনিং ব্যবহার বেড়েছে এবং/অথবা ট্রাফিক সার্ভিস টিয়ারগুলোর মধ্যে সরে গেছে.
যাচাই করুন:
Usage ড্যাশবোর্ডে প্রতি অনুরোধে গড় আউটপুট টোকেন (ডাটা ডাউনলোড করে আউটপুট টোকেনকে মোট অনুরোধ দিয়ে ভাগ করতে হবে).
Service Health ড্যাশবোর্ডে Request Time এবং TTFT পারসেন্টাইল.
প্রায়োরিটি বা স্কেল টিয়ার ধীর মনে হচ্ছে
সম্ভাব্য কারণ: মেট্রিকগুলো টিয়ার জুড়ে মিশে গেছে, অর্থাৎ স্ট্যান্ডার্ড-টিয়ার ট্রাফিক পেইড-টিয়ার পারফরম্যান্স ঢেকে দিচ্ছে.
যাচাই করুন:
ফিল্টারগুলো একটি টিয়ার ও মডেলে সীমাবদ্ধ আছে.
টিয়ারগুলোর মধ্যে টোকেন ভেলোসিটির তুলনা.
5XX ত্রুটির হঠাৎ বৃদ্ধি
সম্ভাব্য কারণ: অল্প শতাংশ ট্রাফিককে প্রভাবিত করা সাময়িক ব্যর্থতা.
যাচাই করুন:
ত্রুটির হারের শতাংশ
একই সময়ে ট্রাফিকের পরিমাণ বদলেছে কি না
সমস্যা শুধু একটি প্রকল্পকে প্রভাবিত করছে
সম্ভাব্য কারণ: প্রকল্প-নির্দিষ্ট কনফিগারেশন বা ব্যবহারের প্যাটার্ন.
যাচাই করুন:
প্রকল্প-স্তরের ফিল্টারিং
অপ্রভাবিত প্রকল্পগুলোর সঙ্গে তুলনা
চূড়ান্ত সারাংশ
মেট্রিক ব্যাখ্যা করার আগে প্রাসঙ্গিক হলে মডেল, টিয়ার ও প্রকল্প অনুযায়ী ফিল্টার করুন.
ল্যাটেন্সি বিশ্লেষণে গড় নয়, পারসেন্টাইল ব্যবহার করুন.
ছোট ত্রুটির হার প্রত্যাশিত.
ডাটা না থাকা সাধারণত আপস্ট্রিম সমস্যার ইঙ্গিত দেয়.
ব্যবহারের ডাটা ল্যাটেন্সি কেন বদলেছে তা ব্যাখ্যা করতে সাহায্য করে; Service Health দেখায় আচরণ কখন বদলেছে.