Πώς λειτουργεί η χρέωση για το RFT

Η λεπτομερής ρύθμιση με ενισχυτική μάθηση (RFT) σάς επιτρέπει να βελτιστοποιείτε την απόδοση των μοντέλων συλλογιστικής της OpenAI με χρήση ενισχυτικής μάθησης. Σε αντίθεση με τις λύσεις μας για εποπτευόμενη λεπτομερή ρύθμιση ή λεπτομερή ρύθμιση βάσει προτιμήσεων, που χρεώνονται με βάση τον αριθμό των token στο σύνολο δεδομένων εκπαίδευσης, το RFT χρεώνεται με βάση τον χρόνο που η εκτέλεση εκπαίδευσης αφιερώνει στην κύρια εργασία μηχανικής μάθησης.

Τιμολόγηση

• Υπολογιστική ισχύς: 100 $ ανά ώρα πραγματικού χρόνου που αφιερώνεται στον βασικό βρόχο εκπαίδευσης για το o4-mini-2025-04-16. Οι χρεώσεις υπολογίζονται αναλογικά ανά δευτερόλεπτο και στρογγυλοποιούνται σε δύο δεκαδικά ψηφία στο τιμολόγιο (π.χ. 2,55 ώρες).

• Χρήση μοντέλου βαθμολόγησης: Αν χρησιμοποιείτε ένα μοντέλο της OpenAI για να «βαθμολογείτε» αποτελέσματα κατά την εκπαίδευση, τα token που καταναλώνονται από αυτές τις κλήσεις βαθμολόγησης χρεώνονται ξεχωριστά με τις τυπικές χρεώσεις API μετά την ολοκλήρωση της εκπαίδευσης.

Χρεώνουμε μόνο την εργασία εκπαίδευσης που ενημερώνει πραγματικά το μοντέλο σας (αυτό που αποκαλούμε «καταγεγραμμένη πρόοδο προς τα εμπρός»).

Τι χρεώνουμε

Χρεώνουμε τον χρόνο που ο worker εκπαίδευσής σας δαπανά ενεργά για την εκπαίδευση του μοντέλου σας, συγκεκριμένα:

• Δημιουργία δειγμάτων από το μοντέλο σας κατά τη διαδικασία λεπτομερούς ρύθμισης (γνωστών ως «rollouts»)

• Αξιολόγηση αυτών των εξόδων με έναν ή περισσότερους βαθμολογητές που έχετε ορίσει στην εργασία (μάθετε περισσότερα για τους βαθμολογητές)

• Υπολογισμός και εφαρμογή ενημερώσεων βαρών με βάση τους βαθμούς (backpropagation).

• Εκτέλεση τυχόν βημάτων επικύρωσης (αξιολόγησης) που έχετε διαμορφώσει.

Οι περισσότεροι βαθμολογητές εκτελούνται «δωρεάν», που σημαίνει ότι δεν χρεώνουμε επιπλέον για τη χρήση τους πέρα από τον χρόνο που συνεισφέρουν στον βασικό βρόχο εκπαίδευσης. Η εξαίρεση σε αυτό αφορά τους βαθμολογητές μοντέλου, όπου καταμετρούμε επίσης τα token που καταναλώνουν αυτοί οι βαθμολογητές κατά τις παραπάνω δραστηριότητες. Αυτά τα token εμφανίζονται ως ξεχωριστή γραμμή στο τιμολόγιό σας. Τα token που καταναλώνονται από βαθμολογητές μοντέλου χρεώνονται με τις κανονικές τιμές inference (τιμολόγηση OpenAI).

Τι ΔΕΝ χρεώνουμε

Δεν χρεώνουμε για χρόνο που δαπανάται σε:

• Επικύρωση ή έλεγχο του συνόλου δεδομένων σας πριν ξεκινήσει η εκπαίδευση.

• Ελέγχους ασφάλειας στο σύνολο δεδομένων σας.

• Αναμονή σε ουρά για υπολογιστικούς πόρους.

• Λήψη βαρών μοντέλου ή συνόλων δεδομένων.

• Προετοιμασία (rendering) του συνόλου δεδομένων σας στη μορφή εκπαίδευσής μας.

• Αξιολογήσεις ασφάλειας μετά την εκπαίδευση του fine-tuned μοντέλου σας.

Αν η εργασία εκπαίδευσης χαθεί λόγω σφάλματος από τη δική μας πλευρά (για παράδειγμα, αν ένας worker καταρρεύσει και πρέπει να επιστρέψει σε προηγούμενο checkpoint), δεν χρεώνεστε για τον χαμένο χρόνο υπολογισμού ή τα token αξιολογητή. Περισσότερες λεπτομέρειες γι’ αυτό στην επόμενη ενότητα.

Captured forward progress και συμβάντα χρέωσης

Η εκπαίδευση αποτελείται από πολλές μικρές ενημερώσεις του μοντέλου σας. Παρακολουθούμε πόσες από αυτές τις ενημερώσεις ολοκληρώνονται επιτυχώς. Οι χρεώσεις βασίζονται στον χρόνο υπολογισμού και στα token αξιολογητή που σχετίζονται με αυτές τις επιτυχημένες ενημερώσεις.

Εκδίδουμε χρέωση όταν συμβεί ένα από τα ακόλουθα «συμβάντα χρέωσης»:

• Η εκπαίδευση ολοκληρώνεται επιτυχώς.

• Θέτετε την εκπαίδευση σε παύση.

• Ακυρώνετε την εκπαίδευση.

• Η εκπαίδευση αποτυγχάνει.

Κάθε χρέωση καλύπτει την επιπρόσθετη εργασία που έγινε από την τελευταία χρέωση. Για παράδειγμα:

• Αν θέσετε μια εκτέλεση σε παύση, αποθηκεύουμε ένα checkpoint και σας χρεώνουμε για τον χρόνο υπολογισμού και τα token αξιολογητή που χρησιμοποιήθηκαν από την τελευταία χρέωση.

• Όταν συνεχίσετε, η εκπαίδευση συνεχίζεται από το checkpoint. Η επόμενη χρέωση (κατά την ολοκλήρωση, σε άλλη παύση, ακύρωση ή αποτυχία) θα καλύπτει μόνο την πρόσθετη εργασία που έγινε μετά τη συνέχιση.

• Αν ακυρώσετε μια εκτέλεση, σας χρεώνουμε για την εργασία που έγινε έως την ακύρωση.

• Αν η εκπαίδευση αποτύχει και η εργασία από την τελευταία χρέωση χαθεί, δεν χρεώνεστε για το χαμένο μέρος.

Αυτή η προσέγγιση «captured forward progress» διασφαλίζει ότι πληρώνετε μόνο για εργασία που διατηρείται στο μοντέλο σας ή που εγκαταλείπετε σκόπιμα.

Προβολή της προόδου μιας εργασίας

Οι εργασίες RFT διαθέτουν ένα πεδίο που ονομάζεται usage_metrics και καταγράφει τη συνολική χρήση της εργασίας έως και το τρέχον βήμα. Σε αυτήν περιλαμβάνονται ο χρόνος εκπαίδευσης και όλα τα token που χρησιμοποιήθηκαν από όλα τα μοντέλα βαθμολόγησης της εργασίας. Μπορείτε να εξετάσετε αυτό το πεδίο μέσω του API (GET /v1/fine_tuning/jobs/{job_id}) ή του πίνακα ελέγχου λεπτομερούς ρύθμισης.

Παράγοντες που επηρεάζουν τον χρόνο εκπαίδευσης

Επειδή η χρέωση βασίζεται στον χρόνο, οι επιλογές διαμόρφωσής σας επηρεάζουν άμεσα το κόστος. Οι βασικοί παράγοντες περιλαμβάνουν τα εξής:

• Δυσκολία προβλημάτων: αν το σύνολο δεδομένων σας περιλαμβάνει δύσκολα προβλήματα, το μοντέλο πιθανότατα θα αφιερώνει περισσότερο χρόνο στη συλλογιστική για κάθε πρόβλημα, αυξάνοντας τον χρόνο που απαιτείται για την παραγωγή κάθε δείγματος.

• Υπολογιστική ένταση: Η υπερπαράμετρος compute_multiplier ελέγχει πόση υπολογιστική ισχύ χρησιμοποιείται σε κάθε βήμα εκπαίδευσης. Οι υψηλότερες τιμές ενθαρρύνουν το μοντέλο να αναλύει εκτενέστερα κάθε σημείο δεδομένων, με αποτέλεσμα κάθε βήμα να εκτελείται πιο αργά.

• Ρυθμίσεις επικύρωσης:

• Απόδοση βαθμολογητή:

• Τα μεγαλύτερα ή πιο ικανά μοντέλα βαθμολόγησης χρειάζονται περισσότερο χρόνο για να επιστρέψουν βαθμολογία από ό,τι τα μικρότερα. Για παράδειγμα, η βαθμολόγηση με ένα μοντέλο συλλογιστικής μπορεί να διαρκέσει 10 φορές περισσότερο από τη βαθμολόγηση με ένα μοντέλο χωρίς δυνατότητα συλλογιστικής.

• Οι σύνθετες συναρτήσεις βαθμολόγησης Python χρειάζονται περισσότερο χρόνο εκτέλεσης από τις απλές.

Αυτές οι ρυθμίσεις σάς επιτρέπουν να εξισορροπείτε το κόστος, την ταχύτητα και την ποιότητα του μοντέλου. Για παράδειγμα, η συχνή επικύρωση μπορεί να εντοπίσει προβλήματα νωρίτερα, αλλά αυξάνει το κόστος. Η χρήση ενός πιο προηγμένου μοντέλου για τη βαθμολόγηση μπορεί να βελτιώσει δραστικά την ακρίβειά της, αλλά επιβραδύνει κάθε βήμα βαθμολόγησης και αυξάνει το κόστος των εργασιών.

Διαχείριση κόστους

Για να ελέγχετε τις δαπάνες σας:

• Ξεκινήστε με συντομότερες εκτελέσεις, ώστε να κατανοήσετε πώς η διαμόρφωσή σας επηρεάζει τον χρόνο.

• Χρησιμοποιήστε έναν εύλογο αριθμό παραδειγμάτων επικύρωσης και eval_samples. Μην πραγματοποιείτε επικύρωση συχνότερα από όσο χρειάζεται.

• Επιλέξτε το μικρότερο μοντέλο βαθμολόγησης που καλύπτει τις απαιτήσεις ποιότητάς σας.

• Διατηρείτε αποδοτικούς τους προσαρμοσμένους βαθμολογητές Python.

• Προσαρμόστε το compute_multiplier για να εξισορροπήσετε την ταχύτητα σύγκλισης και το κόστος.

• Παρακολουθείτε την εκτέλεσή σας στον πίνακα ελέγχου ή μέσω του API. Μπορείτε να τη θέσετε σε παύση ή να την ακυρώσετε ανά πάσα στιγμή.

Παραδείγματα

Επιτυχής εκτέλεση εκπαίδευσης

Σε αυτήν την περίπτωση, ο συνολικός πραγματικός χρόνος είναι 6 ώρες, αλλά μόνο 4 ώρες είναι χρεώσιμες. Το κόστος θα ήταν 4 ώρες × $100/ώρα = $400.

Παράδειγμα αποτυχημένης εργασίας

Σε αυτό το παράδειγμα, η εκτέλεση εκπαιδεύεται για 2 ώρες, γράφει ένα checkpoint, εκπαιδεύεται για 1 ακόμη ώρα, αλλά στη συνέχεια αποτυγχάνει. Μόνο οι 2 ώρες εκπαίδευσης έως το checkpoint είναι χρεώσιμες.

Παρόλο που δαπανήθηκαν συνολικά 3 ώρες για εκπαίδευση, μόνο 2 ώρες «καταγράφονται» σε ένα χρησιμοποιήσιμο checkpoint και χρεώνονται. Η ώρα εργασίας εκπαίδευσης που χάθηκε λόγω της αποτυχίας δεν είναι δική σας ευθύνη. Το κόστος θα ήταν 2 ώρες × $100/ώρα = $200.

Συχνές ερωτήσεις

Πότε χρεώνομαι;

Η χρέωση πραγματοποιείται όταν ολοκληρωθεί, τεθεί σε παύση, ακυρωθεί ή αποτύχει η εκτέλεσή σας. Κάθε χρέωση καλύπτει την εργασία που πραγματοποιήθηκε μετά την προηγούμενη χρέωση.

Πληρώνω αν μια εκτέλεση αποτύχει;

Αν μια εκτέλεση αποτύχει λόγω δικού μας σφάλματος και χαθεί πρόσφατη εργασία εκπαίδευσης, δεν χρεώνεστε για το χαμένο τμήμα. Αν ακυρώσετε μια εκτέλεση, χρεώνεστε για την εργασία έως την ακύρωση.

Πώς χρεώνονται τα token μοντέλου βαθμολογητή;

Μετράμε τα token που χρησιμοποιούνται από τυχόν βαθμολογητές μοντέλου που διαμορφώνετε. Αφού ολοκληρωθεί η εκπαίδευση, χρεώνουμε αυτά τα token με τις τυπικές μας τιμές ανά token.

Μπορώ να θέσω σε παύση και να συνεχίσω μια εκτέλεση;

Ναι. Όταν κάνετε παύση, αποθηκεύουμε ένα checkpoint και χρεώνουμε την εργασία που έχει γίνει μέχρι τότε. Όταν συνεχίσετε, θα χρεωθείτε μόνο για την πρόσθετη εργασία που γίνεται μετά τη συνέχιση.

Αν έχετε άλλες ερωτήσεις σχετικά με τη χρέωση του Reinforcement Fine‑Tuning, επικοινωνήστε με την ομάδα υποστήριξής μας.