從正確的預設值開始
開啟服務健康狀態儀表板時,預設為:
所有專案
最近 30 天
每小時解析度
此檢視僅適合用於初步掌握情況。有意義的疑難排解一律需要篩選。
調查前先進行篩選
正確篩選是最重要的步驟。大多數誤解都來自混合查看不同模型、層級或專案。
依模型篩選(一次一個)
一律篩選至單一模型。
原因:
低流量模型上的問題可能會被較高流量掩蓋
高流量模型可能讓局部問題看起來像全域問題
不同模型有不同的效能目標
注意:選取多個模型會將其彙總,而不是在模型之間切換。
依服務層級篩選
如果您使用多個層級(標準層級、快速模式〔原稱「優先處理」〕、規模層級),請一律篩選出您要調查的層級。
原因:
各層級的效能特性不同
快速模式和規模層級具明確的 SLA
混合不同層級會使付費層級的效能難以判斷
這對延遲分析尤其重要。
對於現有模型,快速模式流量在 Usage 儀表板中仍顯示為 priority。
依專案篩選
服務健康狀態預設會顯示所有專案。
進行疑難排解時,請篩選至觀察到問題的專案。
原因:
單一高流量專案可能主導指標。
受影響的小型專案可能會被不相關流量掩蓋。
只有在您認為問題確實影響整個組織時,才保留選取「所有專案」。
錯誤疑難排解
使用 HTTP Requests 檢視
若要調查錯誤:
依模型與服務層級篩選。
開啟 HTTP Requests 分頁,而不是 Uptime 分頁。
此檢視會依 HTTP 狀態碼顯示請求總數與錯誤數。縮放至分鐘級解析度,以識別細微的尖峰或變化。
解讀錯誤率,而非錯誤數
任何生產系統都會預期出現一些錯誤。請聚焦於錯誤百分比,而非原始總數。
總量越大,即使錯誤率極低,可能發生的錯誤數也越多。
服務健康狀態中缺少錯誤時
如果您看到用戶端錯誤,但服務健康狀態中沒有對應資料:
請求很可能未到達 OpenAI。
問題通常在上游(逾時、代理、網路)。
這在用戶端逾時設定過於激進時很常見。
延遲問題疑難排解
針對具明確 SLA 的快速模式和規模層級進行延遲分析最有意義。標準層級的延遲變化可能較大,且不保證延遲表現。
關鍵指標
若要檢視各項指標,請按一下相關分頁:
Token 速率:每秒產生的 Token 數;不受提示詞大小影響。
請求時間:請求總耗時;深受輸出大小與推理影響。
首個 Token 時間 (TTFT):產生第一個 Token 所需時間;深受未快取的輸入提示詞大小與推理影響。
一律檢視 P50 / P75 / P95 百分位數。平均值可能掩蓋真實使用者受到的影響。
6. 將延遲與 Token 用量相互對照
服務健康狀態會顯示行為變化的時間。用量資料有助於解釋原因。
在用量儀表板中,請執行以下操作,以確保您查看的資料與服務健康狀態儀表板中的檢視相關:
篩選至相同的專案與模型。
如適用,依服務層級分組。
聚焦於輸出 Token,因其對延遲影響最大。
若要進一步分析,請匯出活動資料,並檢視每個請求的 Token 數隨時間的變化。
7. 需要時應向支援團隊提供哪些資訊
聯絡支援團隊時,請提供:
受影響的組織 ID (重要)
受影響的端點,例如 Chat Completions 或 Responses (重要)
受影響的模型 (重要)
問題發生在快速模式還是規模層級 (重要)
發生延遲或錯誤的時間範圍及時區 (重要)
相關的 x-request-id 或 X-Client-Request-Id(如有)
您所提供請求的時間戳記及時區,或至少提供日期
如有,也請提供:
與這些請求相關的專案 ID
資料駐留請求是否受到影響,以及受影響的請求
您觀察到的趨勢說明
請依問題類型提供下列資訊:
錯誤:失敗或發生錯誤的請求約占多少百分比、回應代碼、錯誤訊息,以及收到錯誤回應所需的時間。
延遲:哪些百分位數受到影響(P50/P90/P95/P99)、相較於客戶基準值高出多少,以及包含傳送與接收時間戳記的緩慢請求範例。
兩者皆有:錯誤或延遲資料的螢幕截圖或表格,以及您如何判定錯誤率或延遲高於預期。
常見疑難排解情境
發生逾時但服務健康狀態看起來正常
可能原因:請求在到達 OpenAI 之前已逾時。
檢查:
用戶端或代理逾時設定
本機網路或負載平衡器變更
服務健康狀態儀表板中是否存在 499 錯誤(這些錯誤在您自己的系統中可能顯示為 5xx 錯誤)。
未部署卻發生延遲增加
可能原因:輸出 Token 大小或推理用量增加,及/或流量在服務層級之間轉移。
檢查:
用量儀表板中每個請求的平均輸出 Token 數(需下載資料,並將輸出 Token 數除以請求總數)。
服務健康狀態儀表板中的 Request Time 與 TTFT 百分位數。
快速模式或規模層級看似速度緩慢
可能原因:指標混合了不同層級的資料,導致標準層級流量掩蓋付費層級的效能。
請檢查:
篩選條件僅限單一層級和模型。
比較各層級的 Token 產生速度。
5XX 錯誤激增
可能原因:暫時性故障影響一小部分流量。
檢查:
錯誤率百分比
流量是否同時發生變化
問題只影響一個專案
可能原因:專案特定的設定或使用模式。
檢查:
專案層級篩選
與未受影響專案進行比較
最後重點
解讀指標前,請視需要依模型、層級與專案篩選。
延遲分析請使用百分位數,不要使用平均值。
少量錯誤率屬於預期範圍。
資料遺失通常表示上游問題。
用量資料可協助解釋延遲變化的原因;服務健康狀態則顯示行為變化的時間。
