Επισκόπηση
Τα token είναι οι μονάδες που χρησιμοποιούν τα μοντέλα της OpenAI για την επεξεργασία κειμένου. Ένα token μπορεί να αναπαριστά έναν χαρακτήρα, μέρος μιας λέξης, μια ολόκληρη λέξη ή ένα σημείο στίξης. Τα κενά επηρεάζουν επίσης τον τρόπο με τον οποίο το κείμενο διαιρείται σε token.
Η καταμέτρηση token δεν είναι ίδια με την καταμέτρηση λέξεων. Το ίδιο κείμενο μπορεί να δώσει διαφορετικό πλήθος token ανάλογα με το μοντέλο, την κωδικοποίησή του και τη γλώσσα.
Κατανοήστε πώς το κείμενο μετατρέπεται σε token
Όταν στέλνετε κείμενο σε ένα μοντέλο:
Το κείμενο διαιρείται σε token.
Το μοντέλο επεξεργάζεται αυτά τα token.
Το μοντέλο δημιουργεί token εξόδου. Αυτά μπορεί να περιλαμβάνουν το κείμενο που λαμβάνετε και, για τα μοντέλα συλλογιστικής, εσωτερικά token συλλογιστικής που δεν εμφανίζονται ως κείμενο απάντησης.
Χρησιμοποιήστε πρόχειρες εκτιμήσεις για αγγλικό κείμενο
Αυτές οι εκτιμήσεις μπορούν να σας βοηθήσουν να υπολογίσετε το μέγεθος ενός αγγλικού κειμένου:
1 token αντιστοιχεί περίπου σε 4 χαρακτήρες.
1 token αντιστοιχεί περίπου στα τρία τέταρτα μιας λέξης.
100 token αντιστοιχούν περίπου σε 75 λέξεις.
Πρόκειται για εκτιμήσεις και όχι για ακριβείς μετρήσεις. Το μήκος των προτάσεων και των παραγράφων ποικίλλει, ενώ άλλες γλώσσες μπορεί να έχουν διαφορετικές αναλογίες μεταξύ χαρακτήρων, λέξεων και token.
Λάβετε υπόψη τα κενά και τη χρήση κεφαλαίων
Μια λέξη μπορεί να διαιρεθεί σε διαφορετικά token ανάλογα με την ορθογραφία της, τη χρήση κεφαλαίων και το κείμενο που την περιβάλλει.
Για παράδειγμα, τα red, Red και red δεν περιέχουν πανομοιότυπο κείμενο: το τελευταίο παράδειγμα περιλαμβάνει ένα αρχικό κενό. Μια κωδικοποίηση μπορεί να τα αναπαριστά διαφορετικά.
Τα αναγνωριστικά token εξαρτώνται επίσης από την κωδικοποίηση. Μην υποθέτετε ότι ένα ενδεικτικό αναγνωριστικό token ισχύει για κάθε μοντέλο.
Διακρίνετε τα token εισόδου και εξόδου
| Κατηγορία | Τι περιγράφει |
| Token εισόδου | Token που παρέχονται στο μοντέλο μέσω ενός αιτήματος. Ονομάζονται επίσης token προτροπής. |
| Token εξόδου | Token που δημιουργούνται από το μοντέλο. Το Chat Completions τα ονομάζει token ολοκλήρωσης. |
| Token εισόδου από προσωρινή αποθήκευση | Token εισόδου που επαναχρησιμοποιούνται μέσω προσωρινής αποθήκευσης προτροπών. Η τιμολόγησή τους μπορεί να διαφέρει από εκείνη των token εισόδου που δεν προέρχονται από προσωρινή αποθήκευση. |
| Token συλλογιστικής | Token που χρησιμοποιεί εσωτερικά ένα μοντέλο συλλογιστικής πριν δημιουργήσει την ορατή απάντησή του. |
Τα token συλλογιστικής δεν εμφανίζονται ως κείμενο απάντησης, αλλά συνυπολογίζονται στη χρήση εξόδου και χρεώνονται ως token εξόδου.
Επομένως, μια σύντομη ορατή απάντηση μπορεί να χρησιμοποιεί περισσότερα token από όσα υποδηλώνει το εμφανιζόμενο κείμενό της.
Μετρήστε τα token πριν στείλετε ένα αίτημα
Μετρήστε τα token απλού κειμένου
Χρησιμοποιήστε το εργαλείο μετατροπής σε token για να δείτε πώς το κείμενο διαιρείται σε token.
Για προγραμματιστική μετατροπή απλού κειμένου σε token, χρησιμοποιήστε το tiktoken. Επιλέξτε την κωδικοποίηση για το μοντέλο-στόχο σας, για παράδειγμα με τη συνάρτηση tiktoken.encoding_for_model(model).
Η καταμέτρηση των token απλού κειμένου δεν περιλαμβάνει απαραίτητα όλα τα token ενός αιτήματος API. Η δομή των μηνυμάτων, τα εργαλεία, τα σχήματα, οι εικόνες και τα αρχεία μπορούν να επηρεάσουν τη συνολική καταμέτρηση εισόδου.
Μετρήστε τα token μιας πλήρους εισόδου Responses
Για μια πλήρη είσοδο στο Responses API, χρησιμοποιήστε το API καταμέτρησης token εισόδου.
Δέχεται μορφές εισόδου του Responses, όπως μηνύματα, εικόνες, αρχεία, εργαλεία και συνομιλίες. Η καταμέτρησή του περιλαμβάνει τα token μορφοποίησης που χρησιμοποιούνται για τη δομή του αιτήματος, όπως οι ρόλοι και τα όρια των μηνυμάτων.
Η καταμέτρηση εισόδου δεν προβλέπει πόσα token εξόδου θα δημιουργήσει το μοντέλο.
Ελέγξτε την πραγματική χρήση token
Μετά από ένα αίτημα, ελέγξτε τις πληροφορίες χρήσης του. Τα ονόματα των πεδίων διαφέρουν ανά τελικό σημείο:
Το Chat Completions αναφέρει τα prompt_tokens, completion_tokens και total_tokens.
Το Responses αναφέρει τα input_tokens, output_tokens και total_tokens.
Μπορείτε επίσης να ελέγξετε τη δραστηριότητα σε βάθος χρόνου στον Πίνακα ελέγχου χρήσης. Για οδηγίες, μεταξύ άλλων σχετικά με τη χρήση μέσω ροής, ανατρέξτε στην ενότητα: Έλεγχος χρήσης και κόστους του API.
Παραμείνετε εντός των ορίων του μοντέλου
Ελέγξτε την τεκμηρίωση του μοντέλου σας για το θεματικό πλαίσιο και τη μέγιστη έξοδό του. Αυτά τα όρια μπορεί να διαφέρουν μεταξύ μοντέλων.
Το θεματικό πλαίσιο περιορίζει τα token που μπορεί να επεξεργαστεί ένα μοντέλο σε ένα αίτημα. Τα μοντέλα έχουν επίσης όριο εξόδου. Για τα μοντέλα συλλογιστικής, προβλέψτε χώρο τόσο για τα token συλλογιστικής όσο και για την ορατή απάντηση.
Αν η είσοδός σας είναι πολύ μεγάλη, μπορείτε να:
Συντομεύσετε ή αναδιατυπώσετε την προτροπή.
Αφαιρέσετε περιττό ή επαναλαμβανόμενο συγκείμενο.
Χωρίσετε τις μεγάλες εισόδους σε μικρότερα τμήματα.
Συνοψίσετε ή προεπεξεργαστείτε το κείμενο πριν το στείλετε.
Χρησιμοποιήστε τη ρύθμιση token εξόδου που υποστηρίζει το τελικό σημείο και το μοντέλο σας. Το Chat Completions χρησιμοποιεί το max_completion_tokens, ενώ το Responses χρησιμοποιεί το max_output_tokens.
Αυτά τα όρια μεγέθους αιτήματος είναι ανεξάρτητα από τα όρια ρυθμού του API και τα μηνιαία όρια χρήσης ή δαπανών. Συμβουλευτείτε την τεκμηρίωση μοντέλων για το μοντέλο που χρησιμοποιείτε.
Κατανοήστε την τιμολόγηση των token
Στην τιμολόγηση API βάσει token, η χρέωση εξαρτάται από το μοντέλο και την κατηγορία token. Τα token εισόδου, εισόδου από προσωρινή αποθήκευση και εξόδου μπορεί να έχουν διαφορετικές τιμές. Άλλες δυνατότητες του API μπορεί να χρησιμοποιούν διαφορετικές μονάδες χρέωσης.
Ελέγξτε τη σελίδα τιμολόγησης του API για τις τρέχουσες χρεώσεις.
Όταν συγκρίνετε μοντέλα, λάβετε υπόψη το σύνολο των token και το κόστος που απαιτούνται για την ολοκλήρωση της εργασίας σας. Η χαμηλότερη τιμή ανά εκατομμύριο token δεν συνεπάγεται απαραίτητα χαμηλότερο συνολικό κόστος: τα μοντέλα μπορεί να μετατρέπουν το ίδιο κείμενο σε token με διαφορετικό τρόπο και να δημιουργούν διαφορετικές ποσότητες εξόδου ή συλλογιστικής.
Δοκιμάστε αντιπροσωπευτικές εργασίες αντί να συγκρίνετε μόνο το μήκος της ορατής απάντησης.
Λάβετε υπόψη τις πολλαπλές ολοκληρώσεις
Όταν ένα τελικό σημείο και ένα μοντέλο υποστηρίζουν τη δημιουργία πολλαπλών ολοκληρώσεων, αυτές οι πρόσθετες ολοκληρώσεις χρησιμοποιούν επίσης token.
Στο Chat Completions, ο ορισμός του n σε τιμή μεγαλύτερη από 1 δημιουργεί πολλαπλές επιλογές. Χρεώνεστε για τα token που δημιουργούνται σε όλες αυτές τις επιλογές.
Στο παλαιότερο Completions API, το best_of μπορεί να δημιουργήσει υποψήφιες απαντήσεις που δεν επιστρέφονται όλες. Για παράδειγμα, το best_of = 3 μπορεί να δημιουργήσει έως και 3 × max_tokens token ολοκλήρωσης συνολικά στις υποψήφιες απαντήσεις.
Αυτές οι παράμετροι αφορούν συγκεκριμένα τελικά σημεία. Μην υποθέτετε ότι τα n ή best_of υποστηρίζονται από άλλο API ή μοντέλο.