RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar) için faturalandırma nasıl işler?
RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar), pekiştirmeli öğrenme kullanarak OpenAI’ın akıl yürütme modellerinin performansını optimize etmenizi sağlar. Eğitim veri kümesindeki token sayısına göre faturalandırılan gözetimli ince ayar veya tercih ince ayarı tekliflerimizin aksine RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar), eğitim çalıştırmanızın temel makine öğrenimi işini gerçekleştirmek için harcadığı süreye göre faturalandırılır.
Bu kılavuz, faturalandırılabilir eğitim süresine nelerin dahil olduğunu, duraklatma ve iptalleri nasıl ele aldığımızı ve yapılandırma seçimlerinizin maliyeti nasıl etkileyebileceğini açıklar.
Fiyatlandırma
Hesaplama: o4-mini-2025-04-16 için temel eğitim döngüsünde harcanan gerçek sürenin saati 100 ABD dolarıdır. Ücretler saniye bazında orantılı olarak hesaplanır ve faturada iki ondalık basamağa yuvarlanır (ör. 2,55 saat).
Model değerlendirici kullanımı: Eğitim sırasında çıktıları "değerlendirmek" için bir OpenAI modeli kullanırsanız bu değerlendirme çağrılarında tüketilen tokenler, eğitim tamamlandıktan sonra standart API tarifelerimiz üzerinden ayrıca faturalandırılır.
Yalnızca modelinizi gerçekten güncelleyen eğitim çalışmaları (biz buna "kayda alınan ilerleme" diyoruz) için ücret alırız.
Neleri faturalandırırız
Eğitim çalışanınızın modelinizi aktif olarak eğitmek için harcadığı süreyi faturalandırırız; özellikle:
İnce ayar süreci sırasında modelinizden örnekler oluşturma (“rollout’lar” olarak bilinir)
Bu çıktıları işte tanımladığınız bir veya daha fazla derecelendiriciyle değerlendirme (derecelendiriciler hakkında daha fazla bilgi edinin)
Notlara göre ağırlık güncellemelerini hesaplama ve uygulama (geri yayılım).
Yapılandırdığınız doğrulama (değerlendirme) adımlarını çalıştırma.
Çoğu derecelendiriciyi çalıştırmak “ücretsizdir”; yani temel eğitim döngüsüne katkıda bulundukları süre dışında kullanımları için ek ücret almayız. Bunun istisnası model derecelendiricileridir; bu derecelendiricilerin yukarıdaki etkinlikler sırasında tükettiği tokenları da toplarız. Bu tokenlar faturanızda ayrı bir kalem olarak görünür. Model derecelendiricileri tarafından tüketilen tokenlar normal çıkarım ücretleriyle faturalandırılır (OpenAI fiyatlandırması).
Neler için faturalandırma yapmıyoruz
Şu süreler için ücret almıyoruz:
Eğitim başlamadan önce veri kümenizi doğrulamak veya incelemek.
Veri kümeniz üzerindeki güvenlik kontrolleri.
Hesaplama kaynakları için kuyrukta beklemek.
Model ağırlıklarını veya veri kümelerini indirmek.
Veri kümenizi eğitim formatımıza hazırlamak (render etmek).
İnce ayarı yapılmış modelinizin eğitim sonrası güvenlik değerlendirmeleri.
Eğitim çalışması bizim tarafımızdaki bir hata nedeniyle kaybolursa (örneğin, bir worker çökerse ve önceki bir checkpoint'e geri dönmek zorunda kalırsa), kaybolan hesaplama süresi veya değerlendirici token'ları için ücret alınmaz. Bununla ilgili daha fazla ayrıntı bir sonraki bölümde yer alıyor.
Kaydedilmiş ileri ilerleme ve faturalandırma olayları
Eğitim, modelinize yapılan birçok küçük güncellemeden oluşur. Bu güncellemelerin kaç tanesinin başarıyla tamamlandığını takip ederiz. Ücretler, bu başarılı güncellemelerle ilişkili hesaplama süresi ve değerlendirici token'larına dayanır.
Aşağıdaki "faturalandırma olaylarından" biri gerçekleştiğinde ücret tahsil ederiz:
Eğitim başarıyla tamamlanır.
Eğitimi duraklatırsınız.
Eğitimi iptal edersiniz.
Eğitim başarısız olur.
Her ücretlendirme, son ücretlendirmeden beri yapılan ek çalışmayı kapsar. Örneğin:
Bir çalışmayı duraklatırsanız, bir checkpoint kaydeder ve son ücretlendirmeden beri kullanılan hesaplama süresi ile değerlendirici token'ları için sizden ücret alırız.
Devam ettirdiğinizde eğitim checkpoint'ten sürer. Bir sonraki ücretlendirme (tamamlanma, başka bir duraklatma, iptal veya başarısızlık durumunda) yalnızca yeniden başlatmadan sonra yapılan ek çalışmayı kapsar.
Bir çalışmayı iptal ederseniz, iptale kadar yapılan çalışma için sizden ücret alırız.
Eğitim başarısız olur ve son ücretlendirmeden beri yapılan çalışma kaybolursa, kaybolan kısım için sizden ücret alınmaz.
Bu "kaydedilmiş ileri ilerleme" yaklaşımı, yalnızca modelinizde korunan veya bilerek vazgeçtiğiniz çalışma için ödeme yapmanızı sağlar.
İşin ilerleme durumunu görüntüleme
RFT (Pekiştirmeli Öğrenmeye Dayalı İnce Ayar) işlerinde, işin mevcut adıma kadar olan toplam kullanımını belgeleyen usage_metrics adlı bir alan bulunur. Buna eğitim için harcanan süre ve işteki tüm model değerlendiricilerinin kullandığı tüm tokenler dahildir. Bu alan, API (GET /v1/fine_tuning/jobs/{job_id}) veya ince ayar panosu üzerinden incelenebilir.
Eğitim süresini etkileyen faktörler
Faturalandırma süreye dayalı olduğundan, yapılandırma tercihleriniz maliyeti doğrudan etkiler. Başlıca faktörler şunlardır:
Problemin zorluğu: Veri kümeniz zor problemlerden oluşuyorsa modelin her problem üzerinde akıl yürütmesi muhtemelen daha uzun sürer; bu da her örneğin oluşturulma süresini artırır.
Hesaplama yoğunluğu: compute_multiplier hiperparametresi, her eğitim adımında ne kadar hesaplama yapılacağını belirler. Daha yüksek değerler, modelin her veri noktası üzerinde daha ayrıntılı akıl yürütmesini teşvik eder ve her adımın daha yavaş çalışmasına neden olur.
Doğrulama ayarları:
Değerlendirici performansı:
Daha büyük veya daha yetenekli değerlendirici modellerin puan döndürmesi, daha küçük modellere kıyasla daha uzun sürer. Örneğin, bir akıl yürütme modeliyle değerlendirme yapmak, akıl yürütmeyen bir modelle değerlendirmeye göre 10 kat daha uzun sürebilir.
Karmaşık Python değerlendirme işlevlerinin çalışması basit işlevlere göre daha uzun sürer.
Bu ayarlar maliyet, hız ve model kalitesi arasında denge kurmanızı sağlar. Örneğin, sık doğrulama sorunları daha erken tespit edebilir ancak maliyeti artırır. Daha gelişmiş bir modelle değerlendirme yapmak doğruluğu önemli ölçüde artırabilir ancak her değerlendirme adımını yavaşlatır ve işleri daha pahalı hâle getirir.
Maliyet yönetimi
Harcamalarınızı kontrol etmek için:
Yapılandırmanızın süreyi nasıl etkilediğini anlamak için daha kısa çalışmalarla başlayın.
Makul sayıda doğrulama örneği ve eval_samples kullanın. Gerekenden daha sık doğrulama yapmaktan kaçının.
Kalite gereksinimlerinizi karşılayan en küçük değerlendirici modeli seçin.
Özel Python değerlendiricilerini verimli tutun.
Yakınsama hızı ile maliyeti dengelemek için compute_multiplier değerini ayarlayın.
Çalışmanızı panodan veya API üzerinden izleyin. İstediğiniz zaman duraklatabilir veya iptal edebilirsiniz.
Örnekler
Başarılı eğitim çalıştırması
| Eğitim Süresi | Faturalandırılan Süre | Durum | Açıklama |
|---|---|---|---|
| 00:00 | 00:00 | – | Kullanıcı API üzerinden RFT işi oluşturur |
| 00:10 | 00:00 | VALIDATING_FILES | Veri kümesini doğrulamak için 10 dakika harcandı |
| 00:30 | 00:00 | VALIDATING_FILES | Veri kümesi güvenlik kontrolleri 20 dakika sürdü |
| 01:00 | 00:00 | QUEUED | Uygun bir çalışan için 30 dakika beklendi |
| 01:30 | 00:00 | RUNNING | Eğitimi hazırlamak 30 dakika sürdü (ağırlıkları indirme, ön işleme vb.) |
| 05:30 | 04:00 | RUNNING | Eğitim için 4 saat harcandı |
| 06:00 | 04:00 | RUNNING | Ortaya çıkan modelin güvenlik değerlendirmeleri 30 dakika sürdü |
| 06:00 | 04:00 | SUCCEEDED | Eğitim tamamlanır |
Bu durumda toplam gerçek süre 6 saattir, ancak yalnızca 4 saat faturalandırılabilir. Maliyet 4 saat × $100/saat = $400 olur.
Başarısız iş örneği
Bu örnekte çalıştırma 2 saat eğitim yapar, bir denetim noktası yazar, 1 saat daha eğitim yapar, ancak sonra başarısız olur. Yalnızca denetim noktasına kadar olan 2 saatlik eğitim faturalandırılabilir.
| Eğitim Süresi | Faturalandırılan Süre | Durum | Açıklama |
|---|---|---|---|
| 00:00 | 00:00 | – | Kullanıcı API üzerinden RFT işi oluşturur |
| 00:10 | 00:00 | VALIDATING_FILES | Veri kümesini doğrulamak için 10 dakika harcandı |
| 00:30 | 00:00 | VALIDATING_FILES | Veri kümesi güvenlik kontrolleri 20 dakika sürdü |
| 01:00 | 00:00 | QUEUED | Uygun bir çalışan için 30 dakika beklendi |
| 01:30 | 00:00 | RUNNING | Eğitimi hazırlamak 30 dakika sürdü (ağırlıkları indirme, ön işleme vb.) |
| 03:30 | 02:00 | RUNNING | Eğitim için 2 saat harcandı |
| 03:30 | 02:00 | RUNNING | 5. adımda denetim noktası oluşturuldu |
| 04:30 | 02:00 | RUNNING | Eğitim 8. adımda iç hata nedeniyle başarısız olur (1 saat daha sonra) |
| 04:30 | 02:00 | RUNNING | Denetim noktasını değerlendirmek ve doğrulamak 30 dakika sürdü |
| 04:30 | 02:00 | SUCCEEDED | İş tamamlanır (en son denetim noktasıyla) |
Toplamda 3 saat eğitim harcanmış olsa da yalnızca 2 saat kullanılabilir bir denetim noktasında “yakalanır” ve faturalandırılır. Hata nedeniyle kaybedilen bir saatlik eğitim çalışması sizin sorumluluğunuzda değildir. Maliyet 2 saat × $100/saat = $200 olur.
Sık sorulan sorular
Ne zaman ücretlendirilirim?
Çalışmanız tamamlandığında, duraklatıldığında, iptal edildiğinde veya başarısız olduğunda faturalandırma yaparız. Her fatura, önceki faturadan bu yana yapılan çalışmaları kapsar.
Bir çalıştırma başarısız olursa ödeme yapar mıyım?
Bir çalıştırma bizim hatamız nedeniyle başarısız olursa ve yakın zamandaki eğitim çalışmasının bir kısmı kaybolursa, kaybolan bölüm için ücretlendirilmezsiniz. Bir çalıştırmayı iptal ederseniz, iptale kadar yapılan çalışma için ücretlendirilirsiniz.
Derecelendirici model tokenları nasıl faturalandırılır?
Yapılandırdığınız model derecelendiricilerinin kullandığı tokenları sayarız. Eğitim tamamlandıktan sonra bu tokenları standart token başına ücretlerimizle faturalandırırız.
Bir çalıştırmayı duraklatıp sürdürebilir miyim?
Evet. Duraklattığınızda bir denetim noktası kaydeder ve o ana kadar yapılan çalışmayı ücretlendiririz. Sürdürdüğünüzde yalnızca sürdürmeden sonra yapılan ek çalışma için ücretlendirilirsiniz.
Pekiştirmeli Öğrenmeye Dayalı İnce Ayar faturalandırması hakkında başka sorularınız varsa destek ekibimizle iletişime geçin.