RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar) için faturalandırma nasıl işler?

RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar), pekiştirmeli öğrenme kullanarak OpenAI’ın akıl yürütme modellerinin performansını optimize etmenizi sağlar. Eğitim veri kümesindeki token sayısına göre faturalandırılan gözetimli ince ayar veya tercih ince ayarı tekliflerimizin aksine RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar), eğitim çalıştırmanızın temel makine öğrenimi işini gerçekleştirmek için harcadığı süreye göre faturalandırılır.

Fiyatlandırma

• Hesaplama: o4-mini-2025-04-16 için temel eğitim döngüsünde geçirilen duvar saati süresinin saati $100. Ücretler saniye bazında orantılanır ve faturada iki ondalık basamağa yuvarlanır (ör. 2,55 saat).

• Model değerlendirici kullanımı: Eğitim sırasında çıktıları "puanlamak" için bir OpenAI modeli kullanırsanız, bu puanlama çağrılarında tüketilen token'lar eğitim tamamlandıktan sonra standart API ücretlerimiz üzerinden ayrı olarak faturalandırılır.

Yalnızca modelinizi gerçekten güncelleyen eğitim çalışması için ücret alırız (buna "kaydedilmiş ileri ilerleme" diyoruz).

Neleri faturalandırırız

Eğitim çalışanınızın modelinizi aktif olarak eğitmek için harcadığı süreyi faturalandırırız; özellikle:

• İnce ayar süreci sırasında modelinizden örnekler oluşturma (“rollout’lar” olarak bilinir)

• Bu çıktıları işte tanımladığınız bir veya daha fazla derecelendiriciyle değerlendirme (derecelendiriciler hakkında daha fazla bilgi edinin)

• Notlara göre ağırlık güncellemelerini hesaplama ve uygulama (geri yayılım).

• Yapılandırdığınız doğrulama (değerlendirme) adımlarını çalıştırma.

Çoğu derecelendiriciyi çalıştırmak “ücretsizdir”; yani temel eğitim döngüsüne katkıda bulundukları süre dışında kullanımları için ek ücret almayız. Bunun istisnası model derecelendiricileridir; bu derecelendiricilerin yukarıdaki etkinlikler sırasında tükettiği tokenları da toplarız. Bu tokenlar faturanızda ayrı bir kalem olarak görünür. Model derecelendiricileri tarafından tüketilen tokenlar normal çıkarım ücretleriyle faturalandırılır (OpenAI fiyatlandırması).

Neler için faturalandırma yapmıyoruz

Şu süreler için ücret almıyoruz:

• Eğitim başlamadan önce veri kümenizi doğrulamak veya incelemek.

• Veri kümeniz üzerindeki güvenlik kontrolleri.

• Hesaplama kaynakları için kuyrukta beklemek.

• Model ağırlıklarını veya veri kümelerini indirmek.

• Veri kümenizi eğitim formatımıza hazırlamak (render etmek).

• İnce ayarı yapılmış modelinizin eğitim sonrası güvenlik değerlendirmeleri.

Eğitim çalışması bizim tarafımızdaki bir hata nedeniyle kaybolursa (örneğin, bir worker çökerse ve önceki bir checkpoint'e geri dönmek zorunda kalırsa), kaybolan hesaplama süresi veya değerlendirici token'ları için ücret alınmaz. Bununla ilgili daha fazla ayrıntı bir sonraki bölümde yer alıyor.

Kaydedilmiş ileri ilerleme ve faturalandırma olayları

Eğitim, modelinize yapılan birçok küçük güncellemeden oluşur. Bu güncellemelerin kaç tanesinin başarıyla tamamlandığını takip ederiz. Ücretler, bu başarılı güncellemelerle ilişkili hesaplama süresi ve değerlendirici token'larına dayanır.

Aşağıdaki "faturalandırma olaylarından" biri gerçekleştiğinde ücret tahsil ederiz:

• Eğitim başarıyla tamamlanır.

• Eğitimi duraklatırsınız.

• Eğitimi iptal edersiniz.

• Eğitim başarısız olur.

Her ücretlendirme, son ücretlendirmeden beri yapılan ek çalışmayı kapsar. Örneğin:

• Bir çalışmayı duraklatırsanız, bir checkpoint kaydeder ve son ücretlendirmeden beri kullanılan hesaplama süresi ile değerlendirici token'ları için sizden ücret alırız.

• Devam ettirdiğinizde eğitim checkpoint'ten sürer. Bir sonraki ücretlendirme (tamamlanma, başka bir duraklatma, iptal veya başarısızlık durumunda) yalnızca yeniden başlatmadan sonra yapılan ek çalışmayı kapsar.

• Bir çalışmayı iptal ederseniz, iptale kadar yapılan çalışma için sizden ücret alırız.

• Eğitim başarısız olur ve son ücretlendirmeden beri yapılan çalışma kaybolursa, kaybolan kısım için sizden ücret alınmaz.

Bu "kaydedilmiş ileri ilerleme" yaklaşımı, yalnızca modelinizde korunan veya bilerek vazgeçtiğiniz çalışma için ödeme yapmanızı sağlar.

İş ilerlemesini görüntüleme

RFT işlerinde, geçerli adıma kadar işin toplam kullanımını belgeleyen usage_metrics adlı bir alan bulunur. Buna eğitimde harcanan süre ve işteki tüm model derecelendiriciler genelinde kullanılan tüm tokenlar dahildir. Bu alan API (GET /v1/fine_tuning/jobs/{job_id}) üzerinden veya ince ayar panosu aracılığıyla incelenebilir.

Eğitim süresini etkileyen faktörler

Faturalandırma süre tabanlı olduğundan, yapılandırma seçimleriniz maliyeti doğrudan etkiler. Başlıca faktörler şunlardır:

• Problemin zorluğu: veri kümeniz zor problemlerden oluşuyorsa model muhtemelen her problem üzerinde daha fazla akıl yürütecek, bu da her örneğin üretilmesi için gereken süreyi artıracaktır.

• Hesaplama yoğunluğu: compute_multiplier hiperparametresi, her eğitim adımı başına ne kadar hesaplama yapacağınızı kontrol eder. Daha yüksek değerler modeli her veri noktası üzerinde daha ayrıntılı akıl yürütmeye teşvik eder, bu da her adımın daha yavaş çalışmasına neden olur.

• Doğrulama ayarları:

  • Daha büyük bir doğrulama kümesi, değerlendirmeye harcanan süreyi artırır.

  • eval_samples değerini artırmak (her doğrulama örneği başına puanlanan model çıktısı sayısı) doğrulama süresini artırır.

  • Doğrulamayı daha sık çalıştırmak (daha düşük eval_interval) doğrulamaya harcanan zaman oranını artırır.

• Değerlendirici performansı:

  • Daha büyük veya daha yetenekli model değerlendiricileri, daha küçük olanlara göre not döndürmek için daha uzun sürer. Örneğin, bir akıl yürütme modeliyle değerlendirme yapmak, akıl yürütme yapmayan bir modelle değerlendirme yapmaktan 10 kat daha uzun sürebilir.

  • Karmaşık Python değerlendirme işlevleri, basit olanlara göre daha uzun sürer.

Bu ayarlar, maliyet, hız ve model kalitesi arasında denge kurmanızı sağlar. Örneğin, sık doğrulama sorunları daha erken yakalayabilir ancak maliyeti artırır. Daha gelişmiş bir modelle değerlendirme yapmak, değerlendirme doğruluğunu ciddi ölçüde artırabilir; ancak her değerlendirme adımını yavaşlatır ve işleri daha pahalı hale getirir.

Maliyeti yönetme

Harcamalarınızı kontrol etmek için:

• Yapılandırmanızın süreyi nasıl etkilediğini anlamak için daha kısa çalışmalarla başlayın.

• Makul sayıda doğrulama örneği ve eval_samples kullanın. İhtiyacınız olandan daha sık doğrulama yapmaktan kaçının.

• Kalite gereksinimlerinizi karşılayan en küçük değerlendirici modeli seçin.

• Özel Python değerlendiricilerini verimli tutun.

• Yakınsama hızı ile maliyet arasında denge kurmak için compute_multiplier değerini ayarlayın.

• Çalışmanızı panodan veya API üzerinden izleyin. İstediğiniz zaman duraklatabilir veya iptal edebilirsiniz.

Örnekler

Başarılı eğitim çalıştırması

Bu durumda toplam gerçek süre 6 saattir, ancak yalnızca 4 saat faturalandırılabilir. Maliyet 4 saat × $100/saat = $400 olur.

Başarısız iş örneği

Bu örnekte çalıştırma 2 saat eğitim yapar, bir denetim noktası yazar, 1 saat daha eğitim yapar, ancak sonra başarısız olur. Yalnızca denetim noktasına kadar olan 2 saatlik eğitim faturalandırılabilir.

Toplamda 3 saat eğitim harcanmış olsa da yalnızca 2 saat kullanılabilir bir denetim noktasında “yakalanır” ve faturalandırılır. Hata nedeniyle kaybedilen bir saatlik eğitim çalışması sizin sorumluluğunuzda değildir. Maliyet 2 saat × $100/saat = $200 olur.

Sık sorulan sorular

Ne zaman ücretlendirilirim?

Çalıştırmanız tamamlandığında, duraklatıldığında, iptal edildiğinde veya başarısız olduğunda faturalandırırız. Her fatura, önceki faturadan bu yana yapılan çalışmayı kapsar.

Bir çalıştırma başarısız olursa ödeme yapar mıyım?

Bir çalıştırma bizim hatamız nedeniyle başarısız olursa ve yakın zamandaki eğitim çalışmasının bir kısmı kaybolursa, kaybolan bölüm için ücretlendirilmezsiniz. Bir çalıştırmayı iptal ederseniz, iptale kadar yapılan çalışma için ücretlendirilirsiniz.

Derecelendirici model tokenları nasıl faturalandırılır?

Yapılandırdığınız model derecelendiricilerinin kullandığı tokenları sayarız. Eğitim tamamlandıktan sonra bu tokenları standart token başına ücretlerimizle faturalandırırız.

Bir çalıştırmayı duraklatıp sürdürebilir miyim?

Evet. Duraklattığınızda bir denetim noktası kaydeder ve o ana kadar yapılan çalışmayı ücretlendiririz. Sürdürdüğünüzde yalnızca sürdürmeden sonra yapılan ek çalışma için ücretlendirilirsiniz.

Pekiştirmeli Öğrenmeye Dayalı İnce Ayar faturalandırması hakkında başka sorularınız varsa destek ekibimizle iletişime geçin.