RFT 計費方式說明

強化微調 (RFT) 可讓你使用強化學習將 OpenAI 推理模型效能最佳化。不同於我們的監督式或偏好微調服務 (根據訓練資料集中的 token 數量計費)，RFT 是根據你的訓練執行花費在核心機器學習工作上的時間來計費。

定價

• 計算：花費在 o4-mini-2025-04-16 核心訓練迴圈的實際時間每小時 100 美元。費用根據秒數按比例計費，並在發票上四捨五入至小數點後兩位 (例如，2.55 小時)。

• 模型評分器使用方式：如果你在訓練期間使用 OpenAI 模型來「評分」輸出，在訓練完成後，這些評分呼叫所消耗的 token 會依照我們的標準 API 費率單獨計費。

我們只對實際更新你模型的訓練工作收費 (我們稱之為「向前擷取進度」)。

我們會收費的項目

我們會對你的訓練人員在積極訓練你的模型時所花費的時間進行計費，具體來說：

• 在微調過程中從你的模型產生樣本 (稱為「rollout」)

• 使用你在工作中定義的一個或多個評分器來評估這些輸出 (了解更多關於評分器)

• 根據評分計算並套用權重更新 (反向傳播)。

• 執行你已設定的任何驗證 (評估) 步驟。

大多數的評分器是「免費」執行的，這表示除了評分器對核心訓練迴圈所貢獻的時間外，我們不會額外收費。模型評分器則為例外，在上述活動中，我們還會統計這些評分器消耗的 token。這些 token 在你的發票上會顯示為單獨的一行項目。模型評分器消耗的 token 會按正常推論費率計費 (OpenAI 定價)。

我們不會收費的項目

我們不會對在以下作業上花費的時間收費：

• 在訓練開始前，驗證或檢查你的資料集。

• 在你的資料集上進行安全檢查。

• 排隊等待計算資源。

• 下載模型權重或資料集。

• 將你的資料集準備 (呈現) 成我們的訓練格式。

• 對你的微調模型進行訓練後的安全評估。

如果因為我們的錯誤 (例如，工作員卡頓並必須回到上一個檢查點) 導致失去訓練工作，則不會向你收取失去的計算時間或評分器 token 的費用。詳情請參閱下一節。

向前擷取進度和計費事件

訓練是由許多對你模型進行的小型更新所組成。我們會追蹤這些更新中有多少個成功完成。費用是根據計算時間及與這些成功更新相關聯的評分器 token 計算的。

當以下其中一個「計費事件」發生時，我們會收取費用：

• 訓練順利完成。

• 你暫停訓練。

• 你取消訓練。

• 訓練失敗。

每次收費會涵蓋自上次收費後所完成的增量工作。例如：

• 如果你暫停運行，我們會儲存一個檢查點，並收取自上次收費後的計算時間和已使用的評分器 token 費用。

• 當你恢復運行時，訓練會從該檢查點繼續。下一個收費 (完成、再次暫停、取消或失敗) 將僅涵蓋恢復後的額外工作。

• 如果你取消運行，我們會對取消前已進行的工作收費。

• 如果訓練失敗，且失去自上次收費起後的工作，則不會針對失去的部分向你收費。

這種「向前擷取進度」方法確保你只需為保留在你模型中的工作或你刻意放棄的工作付費。

檢視工作進度

RFT 作業有一個名為 usage_metrics 的欄位，記錄了該作業到目前步驟為止的總使用量。這包括訓練所花費的時間，以及該作業中所有模型評分器使用的所有 token。此欄位可以透過 API (GET /v1/fine_tuning/jobs/{job_id}) 檢查，或透過微調儀表板檢查。

影響訓練時間的因素

因為計費是以時間計的，所以你的設定選擇會直接影響成本。關鍵因素包括：

• 問題難度：如果你的資料集包含困難的問題，模型可能會花費更多時間推理每個問題，這會增加產生每個樣本所需的時間。

• 計算強度：compute_multiplier 超參數會控制你在每個訓練步驟執行的計算量。更高的數值會促使模型對每個資料點進行更詳細的推理，這會導致每個步驟的執行速度變慢。

• 驗證設定：

  • 越大的驗證集會增加評估所需的時間。

  • 增加 eval_samples (針對每個驗證範例評分的模型輸出數量) 會增加驗證時間。

  • 更頻繁地執行驗證 (降低 eval_interval) 會增加花費在驗證上的時間比例。

• 評分器效能：

  • 較大或能力較強的模型評分器比較小型評分器需要更長時間來傳回評分。例如，使用推理模型進行評分花費的時間可能比使用非推理模型多出十倍。

  • 複雜的 Python 評分函式比簡單的函式需要更長的執行時間。

這些設定讓你可以在成本、速度和模型品質之間權衡取捨。例如，頻繁的驗證可以及早發現問題，但會增加成本。使用更先進的模型評分可以大幅提高評分準確性，但會減緩每個評分步驟，並增加工作的成本。

管理成本

若要控制你的支出：

• 從較短的運行開始，了解你的設定如何影響時間。

• 使用數量合理的驗證範例和 eval_samples。避免超過所需的頻繁驗證。

• 選擇符合你品質需求的最小評分器模型。

• 保持自訂 Python 評分器的高效率。

• 調整 compute_multiplier 以平衡收斂速度和成本。

• 在儀表板或透過 API 監控你的運行。你可以隨時暫停或取消。

範例

成功訓練運行

在這種情況下，總實際時間是 6 小時，但只有 4 小時是可計費的。費用會是 4 小時 × 100 美元/小時 = 400 美元。

失敗的工作範例

在此範例中，該運行訓練了 2 小時，寫入檢查點後再訓練 1 小時，但隨後失敗。只有在檢查點之前的 2 小時訓練是可計費的。

即使總共花費 3 小時進行訓練，在可使用的檢查點中只「擷取」了 2 小時並計費。由於故障而失去的訓練工時不在你的責任範圍內。費用會是 2 小時 × 100 美元/小時 = 200 美元。

常見問題

什麼時候會對我計費？

當你的運行完成、暫停、取消或失敗時，我們便會計費。每張帳單皆涵蓋自上一張帳單後完成的工作。

如果運行失敗，我需要付費嗎？

如果因為我們的錯誤導致運行失敗，且失去任何最近的訓練工作，則不會向你收取失去部分的費用。如果是你取消運行，則會向你收取截至取消前的工作費用。

評分器模型的 token 如何計費？

我們會計算你所設定任何模型評分器使用的 token。訓練完成後，我們會以標準的每個 token 費率進行計費。

我可以暫停並恢復運行嗎？

可以。當你暫停時，我們會儲存一個檢查點，並對到目前為止進行的工作收費。當你恢復時，只會向你收取恢復後所進行額外工作的費用。

如果你對強化微調計費有其他問題，請聯絡我們的支援團隊。