Cách tính phí cho RFT

Tinh chỉnh bằng học tăng cường (RFT) cho phép bạn tối ưu hóa hiệu suất của các mô hình suy luận của OpenAI thông qua học tăng cường. Không giống các dịch vụ tinh chỉnh có giám sát hoặc tinh chỉnh theo ưu tiên của chúng tôi, vốn được tính phí theo số token trong tập dữ liệu huấn luyện, RFT được tính phí dựa trên thời gian lượt chạy huấn luyện của bạn dành cho phần công việc học máy cốt lõi.

Giá

• Tính toán: 100 USD cho mỗi giờ thực tế chạy vòng lặp huấn luyện cốt lõi đối với o4-mini-2025-04-16. Phí được tính theo tỷ lệ đến từng giây và làm tròn đến hai chữ số thập phân trên hóa đơn (ví dụ: 2,55 giờ).

• Mức sử dụng mô hình chấm điểm: Nếu bạn dùng mô hình OpenAI để "chấm điểm" đầu ra trong quá trình huấn luyện, lượng token tiêu thụ bởi các lệnh gọi chấm điểm đó sẽ được tính riêng theo mức giá API tiêu chuẩn của chúng tôi sau khi huấn luyện hoàn tất.

Chúng tôi chỉ tính phí cho phần huấn luyện thực sự cập nhật mô hình của bạn (mà chúng tôi gọi là "tiến độ thực tế được ghi nhận").

Chúng tôi tính phí cho những gì

Chúng tôi tính phí cho thời gian worker huấn luyện của bạn dành để chủ động huấn luyện mô hình của bạn, cụ thể là:

• Tạo mẫu từ mô hình của bạn trong quá trình tinh chỉnh (được gọi là “rollouts”)

• Đánh giá các đầu ra đó bằng một hoặc nhiều bộ chấm điểm mà bạn đã xác định trong tác vụ (tìm hiểu thêm về bộ chấm điểm)

• Tính toán và áp dụng các cập nhật trọng số dựa trên điểm số (lan truyền ngược).

• Chạy mọi bước xác thực (đánh giá) mà bạn đã cấu hình.

Hầu hết bộ chấm điểm đều “miễn phí” khi chạy, nghĩa là chúng tôi không tính thêm phí cho việc sử dụng chúng ngoài lượng thời gian mà chúng đóng góp vào vòng lặp huấn luyện cốt lõi. Ngoại lệ là các bộ chấm điểm mô hình; với chúng, chúng tôi cũng cộng dồn số token mà các bộ chấm điểm đó tiêu thụ trong các hoạt động nêu trên. Các token này xuất hiện dưới dạng một mục riêng trên hóa đơn của bạn. Token do bộ chấm điểm mô hình tiêu thụ được tính phí theo mức suy luận thông thường (bảng giá OpenAI).

Những gì chúng tôi KHÔNG tính phí

Chúng tôi không tính phí cho thời gian dùng để:

• Xác thực hoặc kiểm tra tập dữ liệu của bạn trước khi bắt đầu huấn luyện.

• Kiểm tra an toàn trên tập dữ liệu của bạn.

• Chờ trong hàng đợi để có tài nguyên tính toán.

• Tải xuống trọng số mô hình hoặc tập dữ liệu.

• Chuẩn bị (render) tập dữ liệu của bạn sang định dạng huấn luyện của chúng tôi.

• Đánh giá an toàn sau huấn luyện cho mô hình đã fine-tuning của bạn.

Nếu công việc huấn luyện bị mất do lỗi từ phía chúng tôi (ví dụ: nếu một worker gặp sự cố và phải quay lui về checkpoint trước đó), bạn sẽ không bị tính phí cho thời gian tính toán hoặc token của bộ chấm điểm đã bị mất. Thêm chi tiết về điều này trong phần tiếp theo.

Tiến độ tiến lên được ghi nhận và các sự kiện tính phí

Huấn luyện bao gồm nhiều cập nhật nhỏ cho mô hình của bạn. Chúng tôi theo dõi xem có bao nhiêu cập nhật trong số đó hoàn tất thành công. Phí được tính dựa trên thời gian tính toán và token của bộ chấm điểm gắn với các cập nhật thành công này.

Chúng tôi phát sinh một khoản phí khi một trong các "sự kiện tính phí" sau xảy ra:

• Huấn luyện hoàn tất thành công.

• Bạn tạm dừng huấn luyện.

• Bạn hủy huấn luyện.

• Huấn luyện thất bại.

Mỗi khoản phí bao gồm phần công việc tăng thêm đã thực hiện kể từ lần tính phí gần nhất. Ví dụ:

• Nếu bạn tạm dừng một lượt chạy, chúng tôi lưu một checkpoint và tính phí thời gian tính toán cùng token của bộ chấm điểm đã dùng kể từ lần tính phí gần nhất.

• Khi bạn tiếp tục, quá trình huấn luyện sẽ tiếp diễn từ checkpoint. Khoản phí tiếp theo (khi hoàn tất, tạm dừng lần nữa, hủy hoặc thất bại) sẽ chỉ bao gồm phần công việc bổ sung được thực hiện sau khi tiếp tục.

• Nếu bạn hủy một lượt chạy, chúng tôi tính phí phần công việc đã thực hiện đến thời điểm hủy.

• Nếu quá trình huấn luyện thất bại và phần công việc kể từ lần tính phí gần nhất bị mất, bạn sẽ không bị tính phí cho phần bị mất đó.

Cách tiếp cận "tiến độ tiến lên được ghi nhận" này đảm bảo bạn chỉ trả tiền cho công việc được giữ lại trong mô hình của mình hoặc công việc mà bạn chủ động từ bỏ.

Xem tiến độ tác vụ

Các tác vụ RFT có một trường tên là usage_metrics, ghi lại tổng mức sử dụng của tác vụ tính đến bước hiện tại. Số liệu này bao gồm thời gian huấn luyện và tất cả token mà mọi mô hình chấm điểm trong tác vụ đã sử dụng. Bạn có thể kiểm tra trường này qua API (GET /v1/fine_tuning/jobs/{job_id}) hoặc qua bảng điều khiển tinh chỉnh.

Các yếu tố ảnh hưởng đến thời gian huấn luyện

Vì phí được tính theo thời gian nên các lựa chọn cấu hình của bạn ảnh hưởng trực tiếp đến chi phí. Các yếu tố chính bao gồm:

• Độ khó của bài toán: nếu tập dữ liệu gồm các bài toán khó, mô hình có thể sẽ dành nhiều thời gian hơn để suy luận cho từng bài toán, khiến thời gian tạo mỗi mẫu tăng lên.

• Cường độ tính toán: Siêu tham số compute_multiplier kiểm soát lượng tính toán được thực hiện trong mỗi bước huấn luyện. Giá trị càng cao càng khuyến khích mô hình suy luận chi tiết hơn cho từng điểm dữ liệu, khiến mỗi bước chạy chậm hơn.

• Cài đặt xác thực:

• Hiệu suất của bộ chấm điểm:

• Các mô hình chấm điểm lớn hơn hoặc mạnh hơn mất nhiều thời gian trả về kết quả chấm điểm hơn các mô hình nhỏ. Ví dụ: việc chấm điểm bằng mô hình suy luận có thể lâu gấp 10 lần so với dùng mô hình không chuyên về suy luận.

• Các hàm chấm điểm Python phức tạp mất nhiều thời gian chạy hơn các hàm đơn giản.

Những cài đặt này cho phép bạn cân đối giữa chi phí, tốc độ và chất lượng mô hình. Ví dụ: xác thực thường xuyên có thể phát hiện vấn đề sớm hơn nhưng làm tăng chi phí. Dùng mô hình tiên tiến hơn để chấm điểm có thể cải thiện đáng kể độ chính xác, nhưng sẽ làm chậm từng bước chấm điểm và tăng chi phí tác vụ.

Quản lý chi phí

Để kiểm soát chi tiêu:

• Hãy bắt đầu bằng các lượt chạy ngắn hơn để hiểu cấu hình ảnh hưởng thế nào đến thời gian.

• Sử dụng số lượng hợp lý các ví dụ xác thực và eval_samples. Tránh xác thực thường xuyên hơn mức cần thiết.

• Chọn mô hình chấm điểm nhỏ nhất đáp ứng được yêu cầu về chất lượng.

• Đảm bảo các bộ chấm điểm Python tùy chỉnh hoạt động hiệu quả.

• Điều chỉnh compute_multiplier để cân bằng tốc độ hội tụ và chi phí.

• Theo dõi lượt chạy trên bảng điều khiển hoặc qua API. Bạn có thể tạm dừng hoặc hủy bất cứ lúc nào.

Ví dụ

Lượt huấn luyện thành công

Trong trường hợp này, tổng thời gian thực tế là 6 giờ, nhưng chỉ 4 giờ được tính phí. Chi phí sẽ là 4 giờ × $100/giờ = $400.

Ví dụ về tác vụ thất bại

Trong ví dụ này, lượt chạy huấn luyện trong 2 giờ, ghi một checkpoint, huấn luyện thêm 1 giờ, nhưng sau đó thất bại. Chỉ 2 giờ huấn luyện đến checkpoint mới được tính phí.

Mặc dù tổng cộng đã dành 3 giờ để huấn luyện, chỉ 2 giờ được "ghi nhận" trong một checkpoint có thể sử dụng và được tính phí. Bạn không phải chịu trách nhiệm cho một giờ huấn luyện bị mất do lỗi. Chi phí sẽ là 2 giờ × $100/giờ = $200.

Câu hỏi thường gặp

Khi nào tôi bị tính phí?

Chúng tôi tính phí khi lượt chạy hoàn tất, bị tạm dừng, bị hủy hoặc gặp lỗi. Mỗi hóa đơn bao gồm phần công việc đã thực hiện kể từ hóa đơn trước.

Tôi có phải trả phí nếu một lượt chạy thất bại không?

Nếu lượt chạy thất bại do lỗi của chúng tôi và có phần huấn luyện gần đây bị mất, bạn sẽ không bị tính phí cho phần bị mất đó. Nếu bạn hủy một lượt chạy, bạn sẽ bị tính phí cho phần công việc đã thực hiện đến thời điểm hủy.

Token của mô hình chấm điểm được tính phí như thế nào?

Chúng tôi đếm số token được sử dụng bởi bất kỳ bộ chấm điểm mô hình nào mà bạn cấu hình. Sau khi huấn luyện hoàn tất, chúng tôi tính phí các token đó theo mức giá tiêu chuẩn trên mỗi token.

Tôi có thể tạm dừng và tiếp tục một lượt chạy không?

Có. Khi bạn tạm dừng, chúng tôi lưu một checkpoint và tính phí cho phần công việc đã thực hiện đến thời điểm đó. Khi bạn tiếp tục, bạn sẽ chỉ bị tính phí cho phần công việc bổ sung được thực hiện sau khi tiếp tục.

Nếu bạn có câu hỏi khác về thanh toán cho Reinforcement Fine‑Tuning, hãy liên hệ với đội ngũ hỗ trợ của chúng tôi.