RFT’de faturalandırma nasıl işler?

Reinforcement Fine‑Tuning (RFT), OpenAI’ın akıl yürütme modellerinin performansını pekiştirmeli öğrenme kullanarak optimize etmenizi sağlar. Eğitim veri kümesindeki token sayısına göre faturalandırılan gözetimli veya tercih tabanlı ince ayar tekliflerimizden farklı olarak RFT, eğitim çalışmanızın temel makine öğrenimi işini gerçekleştirmek için harcadığı süreye göre faturalandırılır.

Fiyatlandırma

• Hesaplama: o4-mini-2025-04-16 için temel eğitim döngüsünde geçirilen duvar saati süresinin saati $100. Ücretler saniye bazında orantılanır ve faturada iki ondalık basamağa yuvarlanır (ör. 2,55 saat).

• Model değerlendirici kullanımı: Eğitim sırasında çıktıları "puanlamak" için bir OpenAI modeli kullanırsanız, bu puanlama çağrılarında tüketilen token'lar eğitim tamamlandıktan sonra standart API ücretlerimiz üzerinden ayrı olarak faturalandırılır.

Yalnızca modelinizi gerçekten güncelleyen eğitim çalışması için ücret alırız (buna "kaydedilmiş ileri ilerleme" diyoruz).

Neler için faturalandırma yapıyoruz

Modelinizi eğiten worker'ın aktif olarak eğitim yaptığı süre için faturalandırırız; özellikle:

• İnce ayar süreci sırasında modelinizden örnekler üretmek ("rollout" olarak bilinir)

• Bu çıktıları, iş üzerinde tanımladığınız bir veya daha fazla değerlendiriciyle değerlendirmek (değerlendiriciler hakkında daha fazla bilgi edinin)

• Puanlara göre ağırlık güncellemelerini hesaplamak ve uygulamak (geri yayılım).

• Yapılandırdığınız herhangi bir doğrulama (değerlendirme) adımını çalıştırmak.

Çoğu değerlendiriciyi çalıştırmak “ücretsizdir”; yani temel eğitim döngüsüne katkıda bulundukları süre dışında kullanımları için ekstra ücret almayız. Bunun istisnası model değerlendiricileridir; bu durumda yukarıdaki faaliyetler sırasında bu değerlendiricilerin tükettiği token'ları da sayarız. Bu token'lar faturanızda ayrı bir kalem olarak görünür. Model değerlendiricilerinin tükettiği token'lar normal çıkarım ücretleri üzerinden faturalandırılır (OpenAI fiyatlandırması).

Neler için faturalandırma yapmıyoruz

Şu süreler için ücret almıyoruz:

• Eğitim başlamadan önce veri kümenizi doğrulamak veya incelemek.

• Veri kümeniz üzerindeki güvenlik kontrolleri.

• Hesaplama kaynakları için kuyrukta beklemek.

• Model ağırlıklarını veya veri kümelerini indirmek.

• Veri kümenizi eğitim formatımıza hazırlamak (render etmek).

• İnce ayarı yapılmış modelinizin eğitim sonrası güvenlik değerlendirmeleri.

Eğitim çalışması bizim tarafımızdaki bir hata nedeniyle kaybolursa (örneğin, bir worker çökerse ve önceki bir checkpoint'e geri dönmek zorunda kalırsa), kaybolan hesaplama süresi veya değerlendirici token'ları için ücret alınmaz. Bununla ilgili daha fazla ayrıntı bir sonraki bölümde yer alıyor.

Kaydedilmiş ileri ilerleme ve faturalandırma olayları

Eğitim, modelinize yapılan birçok küçük güncellemeden oluşur. Bu güncellemelerin kaç tanesinin başarıyla tamamlandığını takip ederiz. Ücretler, bu başarılı güncellemelerle ilişkili hesaplama süresi ve değerlendirici token'larına dayanır.

Aşağıdaki "faturalandırma olaylarından" biri gerçekleştiğinde ücret tahsil ederiz:

• Eğitim başarıyla tamamlanır.

• Eğitimi duraklatırsınız.

• Eğitimi iptal edersiniz.

• Eğitim başarısız olur.

Her ücretlendirme, son ücretlendirmeden beri yapılan ek çalışmayı kapsar. Örneğin:

• Bir çalışmayı duraklatırsanız, bir checkpoint kaydeder ve son ücretlendirmeden beri kullanılan hesaplama süresi ile değerlendirici token'ları için sizden ücret alırız.

• Devam ettirdiğinizde eğitim checkpoint'ten sürer. Bir sonraki ücretlendirme (tamamlanma, başka bir duraklatma, iptal veya başarısızlık durumunda) yalnızca yeniden başlatmadan sonra yapılan ek çalışmayı kapsar.

• Bir çalışmayı iptal ederseniz, iptale kadar yapılan çalışma için sizden ücret alırız.

• Eğitim başarısız olur ve son ücretlendirmeden beri yapılan çalışma kaybolursa, kaybolan kısım için sizden ücret alınmaz.

Bu "kaydedilmiş ileri ilerleme" yaklaşımı, yalnızca modelinizde korunan veya bilerek vazgeçtiğiniz çalışma için ödeme yapmanızı sağlar.

İş ilerlemesini görüntüleme

RFT işlerinde, işin mevcut adıma kadar olan toplam kullanımını belgeleyen usage_metrics adlı bir alan bulunur. Buna eğitimde harcanan süre ve işteki tüm model değerlendiricilerinde kullanılan tüm token'lar dahildir. Bu alan API üzerinden (GET /v1/fine_tuning/jobs/{job_id}) veya ince ayar panosu üzerinden incelenebilir.

Eğitim süresini etkileyen faktörler

Faturalandırma süre tabanlı olduğundan, yapılandırma seçimleriniz maliyeti doğrudan etkiler. Başlıca faktörler şunlardır:

• Problemin zorluğu: veri kümeniz zor problemlerden oluşuyorsa model muhtemelen her problem üzerinde daha fazla akıl yürütecek, bu da her örneğin üretilmesi için gereken süreyi artıracaktır.

• Hesaplama yoğunluğu: compute_multiplier hiperparametresi, her eğitim adımı başına ne kadar hesaplama yapacağınızı kontrol eder. Daha yüksek değerler modeli her veri noktası üzerinde daha ayrıntılı akıl yürütmeye teşvik eder, bu da her adımın daha yavaş çalışmasına neden olur.

• Doğrulama ayarları:

  • Daha büyük bir doğrulama kümesi, değerlendirmeye harcanan süreyi artırır.

  • eval_samples değerini artırmak (her doğrulama örneği başına puanlanan model çıktısı sayısı) doğrulama süresini artırır.

  • Doğrulamayı daha sık çalıştırmak (daha düşük eval_interval) doğrulamaya harcanan zaman oranını artırır.

• Değerlendirici performansı:

  • Daha büyük veya daha yetenekli model değerlendiricileri, daha küçük olanlara göre not döndürmek için daha uzun sürer. Örneğin, bir akıl yürütme modeliyle değerlendirme yapmak, akıl yürütme yapmayan bir modelle değerlendirme yapmaktan 10 kat daha uzun sürebilir.

  • Karmaşık Python değerlendirme işlevleri, basit olanlara göre daha uzun sürer.

Bu ayarlar, maliyet, hız ve model kalitesi arasında denge kurmanızı sağlar. Örneğin, sık doğrulama sorunları daha erken yakalayabilir ancak maliyeti artırır. Daha gelişmiş bir modelle değerlendirme yapmak, değerlendirme doğruluğunu ciddi ölçüde artırabilir; ancak her değerlendirme adımını yavaşlatır ve işleri daha pahalı hale getirir.

Maliyeti yönetme

Harcamalarınızı kontrol etmek için:

• Yapılandırmanızın süreyi nasıl etkilediğini anlamak için daha kısa çalışmalarla başlayın.

• Makul sayıda doğrulama örneği ve eval_samples kullanın. İhtiyacınız olandan daha sık doğrulama yapmaktan kaçının.

• Kalite gereksinimlerinizi karşılayan en küçük değerlendirici modeli seçin.

• Özel Python değerlendiricilerini verimli tutun.

• Yakınsama hızı ile maliyet arasında denge kurmak için compute_multiplier değerini ayarlayın.

• Çalışmanızı panodan veya API üzerinden izleyin. İstediğiniz zaman duraklatabilir veya iptal edebilirsiniz.

Örnekler

Başarılı eğitim çalışması

Bu durumda toplam geçen süre 6 saattir, ancak yalnızca 4 saat faturalandırılabilir. Maliyet 4 saat × $100/saat = $400 olur.

Başarısız iş örneği

Bu örnekte çalışma 2 saat eğitilir, bir checkpoint yazar, 1 saat daha eğitilir, ancak sonra başarısız olur. Yalnızca checkpoint'e kadarki 2 saatlik eğitim faturalandırılabilir.

Toplamda 3 saat eğitim yapılmış olsa da yalnızca kullanılabilir bir checkpoint'te "kaydedilen" 2 saat faturalandırılır. Başarısızlık nedeniyle kaybedilen 1 saatlik eğitim çalışması sizin sorumluluğunuzda değildir. Maliyet 2 saat × $100/saat = $200 olur.

Sık sorulan sorular

Ne zaman ücretlendirilirim?

Çalışmanız tamamlandığında, duraklatıldığında, iptal edildiğinde veya başarısız olduğunda faturalandırırız. Her fatura, bir önceki faturadan beri yapılan çalışmayı kapsar.

Bir çalışma başarısız olursa ücret öder miyim?

Bir çalışma bizim hatamız nedeniyle başarısız olursa ve yakın zamandaki eğitim çalışmasının bir kısmı kaybolursa, kaybolan kısım için ücret alınmaz. Bir çalışmayı iptal ederseniz, iptale kadar yapılan çalışma için ücretlendirilirsiniz.

Değerlendirici model token'ları nasıl faturalandırılır?

Yapılandırdığınız tüm model değerlendiricilerinin kullandığı token'ları sayarız. Eğitim bittikten sonra bu token'ları standart token başına ücretlerimiz üzerinden faturalandırırız.

Bir çalışmayı duraklatıp devam ettirebilir miyim?

Evet. Duraklattığınızda bir checkpoint kaydeder ve o ana kadar yapılan çalışma için ücret alırız. Devam ettirdiğinizde yalnızca devam ettirildikten sonra yapılan ek çalışma için ücretlendirilirsiniz.

Reinforcement Fine‑Tuning faturalandırması hakkında başka sorularınız varsa destek ekibimizle iletişime geçin.