איך עובד החיוב על RFT

כוונון עדין באמצעות למידת חיזוק (RFT) מאפשר לשפר את הביצועים של מודלי reasoning של OpenAI באמצעות למידת חיזוק. בניגוד לשירותי הכוונון העדין המפוקח או מבוסס ההעדפות שלנו, שהחיוב עליהם נקבע לפי מספר הטוקנים במערך נתוני האימון, החיוב על RFT מבוסס על הזמן שמוקדש לפעולות הליבה של למידת המכונה במהלך ריצת האימון.

תמחור

• חישוב: $100 לכל שעת זמן בפועל בלולאת האימון המרכזית של o4-mini-2025-04-16. החיובים מחושבים באופן יחסי לפי שניות, ומעוגלים לשתי ספרות אחרי הנקודה בחשבונית (למשל, 2.55 שעות).

• שימוש במדרגים מבוססי מודל: אם אתם משתמשים במודל של OpenAI כדי "לתת ציונים" לפלטים במהלך האימון, הטוקנים שנצרכים בקריאות האלה מחויבים בנפרד לפי תעריפי ה-API הרגילים שלנו לאחר סיום האימון.

אנו מחייבים רק על עבודת אימון שמעדכנת בפועל את המודל שלכם (מה שאנו מכנים "התקדמות שנשמרה").

על מה אנו מחייבים

אנו מחייבים על הזמן שבו תהליך האימון מאמן את המודל שלכם באופן פעיל, ובפרט על:

• יצירת דגימות מהמודל שלכם במהלך הכוונון העדין (פעולה המכונה "פריסות")

• הערכת הפלטים האלה באמצעות מדרג אחד או יותר שהגדרתם במשימה (מידע נוסף על מדרגים)

• חישוב והחלה של עדכוני משקולות על סמך הציונים (הפצה לאחור).

• הרצת כל שלבי האימות (ההערכה) שהגדרתם.

רוב המדרגים פועלים "בחינם", כלומר איננו גובים תשלום נוסף על השימוש בהם, מעבר לזמן שהם מוסיפים ללולאת האימון המרכזית. החריג לכך הוא מדרגים מבוססי מודל, שעבורם אנו סופרים גם את הטוקנים שהם צורכים במהלך הפעולות שצוינו לעיל. הטוקנים האלה מופיעים כשורה נפרדת בחשבונית שלכם. טוקנים שצורכים מדרגים מבוססי מודל מחויבים בתעריפי ההסקה הרגילים (התמחור של OpenAI).

על מה איננו מחייבים

איננו מחייבים על זמן שמוקדש לפעולות הבאות:

• אימות או בדיקה של מערך הנתונים שלכם לפני תחילת האימון.

• בדיקות בטיחות של מערך הנתונים שלכם.

• המתנה בתור למשאבי חישוב.

• הורדת משקולות המודל או מערכי נתונים.

• הכנה (המרה) של מערך הנתונים שלכם לפורמט האימון שלנו.

• הערכות בטיחות של המודל המכוונן שלכם לאחר האימון.

אם עבודת אימון אובדת עקב שגיאה בצד שלנו (למשל, אם תהליך ביצוע קורס וצריך לחזור לנקודת ביקורת קודמת), לא תחויבו על זמן החישוב או על הטוקנים של המדרגים שהושקעו בעבודה שאבדה. פרטים נוספים על כך בסעיף הבא.

התקדמות שנשמרה ואירועי חיוב

האימון מורכב מעדכונים קטנים רבים למודל שלכם. אנו עוקבים אחר מספר העדכונים האלה שמסתיימים בהצלחה. החיובים מבוססים על זמן החישוב ועל הטוקנים של המדרגים ששימשו לעדכונים שהסתיימו בהצלחה.

אנו מחייבים כאשר מתרחש אחד מ"אירועי החיוב" הבאים:

• האימון מסתיים בהצלחה.

• אתם משהים את האימון.

• אתם מבטלים את האימון.

• האימון נכשל.

כל חיוב מכסה את העבודה הנוספת שבוצעה מאז החיוב האחרון. לדוגמה:

• אם תשהו ריצה, נשמור נקודת ביקורת ונחייב אתכם על זמן החישוב ועל הטוקנים ששימשו את המדרגים מאז החיוב האחרון.

• כשתחדשו את הריצה, האימון ימשיך מנקודת הביקורת. החיוב הבא (בסיום, בהשהיה נוספת, בביטול או בכשל) יכסה רק את העבודה הנוספת שבוצעה לאחר חידוש הריצה.

• אם תבטלו ריצה, נחייב אתכם על העבודה שבוצעה עד לביטול.

• אם האימון נכשל ועבודה שבוצעה מאז החיוב האחרון אובדת, לא תחויבו על החלק שאבד.

הגישה הזו של "התקדמות שנשמרה" מבטיחה שתשלמו רק על עבודה שנשמרת במודל שלכם או שאתם מוותרים עליה במכוון.

צפייה בהתקדמות המשימה

במשימות RFT יש שדה בשם usage_metrics, שמתעד את השימוש המצטבר במשימה עד לשלב הנוכחי. הנתונים כוללים את הזמן שהוקדש לאימון ואת כל הטוקנים ששימשו את כלל המדרגים מבוססי המודל במשימה. אפשר לבדוק את השדה דרך ה-API ‏(GET /v1/fine_tuning/jobs/{job_id}) או דרך לוח הבקרה של הכוונון העדין.

גורמים המשפיעים על זמן האימון

מכיוון שהחיוב מבוסס על זמן, בחירות התצורה שלכם משפיעות ישירות על העלות. הגורמים העיקריים כוללים:

• רמת הקושי של הבעיות: אם מערך הנתונים שלכם מורכב מבעיות קשות, סביר שהמודל יקדיש יותר זמן לניתוח כל בעיה, מה שיאריך את הזמן הנדרש להפקת כל דגימה.

• עצימות החישוב: היפר-הפרמטר compute_multiplier קובע את היקף החישוב בכל צעד אימון. ערכים גבוהים יותר מעודדים את המודל להרחיב את הניתוח של כל נקודת נתונים, ולכן כל צעד נמשך זמן רב יותר.

• הגדרות אימות:

• ביצועי המדרגים:

• למדרגים המבוססים על מודלים גדולים יותר או בעלי יכולות גבוהות יותר נדרש זמן רב יותר להחזיר ציון מאשר למדרגים המבוססים על מודלים קטנים יותר. לדוגמה, מתן ציון באמצעות מודל reasoning עשוי להימשך פי 10 יותר זמן מאשר באמצעות מודל ללא יכולות reasoning.

• הרצת פונקציות מורכבות למתן ציונים ב-Python אורכת יותר זמן מהרצת פונקציות פשוטות.

ההגדרות האלה מאפשרות לאזן בין עלות, מהירות ואיכות המודל. לדוגמה, אימות תכוף יכול לזהות בעיות מוקדם יותר, אך מגדיל את העלות. מתן ציונים באמצעות מודל מתקדם יותר יכול לשפר מאוד את דיוק הציונים, אך יאט כל שלב של מתן ציונים וייקר את המשימות.

ניהול העלויות

כדי לשלוט בהוצאות:

• התחילו בריצות קצרות יותר כדי להבין איך התצורה שלכם משפיעה על משך האימון.

• השתמשו במספר סביר של דוגמאות אימות ובערך סביר עבור eval_samples. הימנעו מאימות בתדירות גבוהה מהנדרש.

• בחרו במודל הקטן ביותר למתן ציונים שעומד בדרישות האיכות שלכם.

• הקפידו שמדרגים מותאמים אישית ב-Python יפעלו ביעילות.

• התאימו את compute_multiplier כדי לאזן בין מהירות ההתכנסות לעלות.

• עקבו אחר הריצה בלוח הבקרה או דרך ה-API. אפשר להשהות או לבטל בכל עת.

דוגמאות

ריצת אימון שהסתיימה בהצלחה

במקרה הזה, הזמן הכולל שחלף הוא 6 שעות, אך רק 4 שעות מחויבות בתשלום. העלות תהיה 4 שעות × $100 לשעה = $400.

דוגמה למשימה שנכשלה

בדוגמה הזו, הריצה כוללת שעתיים של אימון, שמירת נקודת ביקורת ושעת אימון נוספת, אך אז היא נכשלת. רק שעתיים של אימון עד לנקודת הביקורת מחויבות בתשלום.

אף שבסך הכול הוקדשו לאימון 3 שעות, רק שעתיים "נשמרו" בנקודת ביקורת שמישה, ורק עליהן מחייבים. אינכם נושאים בעלות של שעת האימון שאבדה עקב הכשל. העלות תהיה 2 שעות × $100 לשעה = $200.

שאלות נפוצות

מתי מתבצע החיוב?

אנו מחייבים כאשר הריצה מסתיימת, מושהית, מבוטלת או נכשלת. כל חיוב מכסה את העבודה שבוצעה מאז החיוב הקודם.

האם משלמים אם הריצה נכשלת?

אם ריצה נכשלת עקב שגיאה שלנו ועבודת אימון שבוצעה לאחרונה אובדת, לא תחויבו על החלק שאבד. אם תבטלו ריצה, תחויבו על העבודה שבוצעה עד לביטול.

איך מחויבים טוקנים של מודלים המשמשים למתן ציונים?

אנו סופרים את הטוקנים שמשמשים את כל המדרגים מבוססי המודל שאתם מגדירים. לאחר סיום האימון, אנו מחייבים על הטוקנים האלה לפי התעריפים הרגילים שלנו לטוקן.

האם אפשר להשהות ריצה ולחדש אותה?

כן. כשאתם משהים את הריצה, אנו שומרים נקודת ביקורת ומחייבים על העבודה שבוצעה עד אז. כשתחדשו את הריצה, תחויבו רק על העבודה הנוספת שתבוצע לאחר החידוש.

אם יש לכם שאלות נוספות על החיוב עבור כוונון עדין באמצעות למידת חיזוק, פנו לצוות התמיכה שלנו.