Was sind Token?

Token sind die Bausteine von Text, die OpenAI-Modelle verarbeiten. Je nach Sprache und Kontext können sie so kurz wie ein einzelnes Zeichen oder so lang wie ein ganzes Wort sein. Leerzeichen, Satzzeichen und Wortteile fließen alle in die Token-Anzahl ein. So segmentiert die API Ihren Text intern, bevor sie eine Antwort generiert.

Hilfreiche Faustregeln für Englisch:

• 1 Token ≈ 4 Zeichen

• 1 Token ≈ ¾ eines Wortes

• 100 Token ≈ 75 Wörter

• 1–2 Sätze ≈ 30 Token

• 1 Absatz ≈ 100 Token

• ~1.500 Wörter ≈ 2.048 Token

Die Tokenisierung kann je nach Sprache variieren. „Cómo estás“ (Spanisch für „How are you“) enthält zum Beispiel 5 Token bei 10 Zeichen. Nicht-englischer Text ergibt oft ein höheres Token-zu-Zeichen-Verhältnis, was sich auf Kosten und Limits auswirken kann.

Beispiele

Hier sind einige Textbeispiele aus der Praxis mit ihren ungefähren Token-Anzahlen:

• Wayne Gretzkys Zitat „You miss 100% of the shots you don’t take“ = 11 Token

• Die OpenAI-Charta = 476 Token

• Die US-Unabhängigkeitserklärung = 1.695 Token

Wie Token-Anzahlen berechnet werden

Wenn Sie Text an die API senden:

1. Der Text wird in Token aufgeteilt.

2. Das Modell verarbeitet diese Token.

3. Die Antwort wird als Token-Sequenz erzeugt und anschließend wieder in Text umgewandelt.

Die Token-Nutzung wird in mehreren Kategorien erfasst:

• Eingabe-Tokens – Token in Ihrer Anfrage.

• Ausgabe-Tokens – Token, die in der Antwort generiert werden.

• Gecachte Tokens – wiederverwendete Token aus dem Gesprächsverlauf (oft zu einem reduzierten Satz abgerechnet).

• Reasoning-Tokens – bei einigen fortgeschrittenen Modellen werden intern zusätzliche „Denkschritte“ einbezogen, bevor die finale Ausgabe erzeugt wird.

Diese Zählwerte erscheinen in den Metadaten Ihrer API-Antwort und werden für Abrechnung und Usage-Tracking verwendet.

Um die Tokenisierung weiter zu erkunden, können Sie unser interaktives Tokenizer-Tool verwenden. Damit können Sie die Anzahl der Token berechnen und sehen, wie Text in Token zerlegt wird.

Alternativ können Sie, wenn Sie Text programmatisch tokenisieren möchten, Tiktoken als schnellen BPE-Tokenizer nutzen, der speziell für OpenAI-Modelle verwendet wird.

Token-Limits

Jedes Modell hat ein maximales kombiniertes Token-Limit (Eingabe + Ausgabe). Aktuelle Modelle mit hoher Kapazität unterstützen im Kontext bis zu Hunderttausende Token, wobei praktische Grenzen je nach Modellversion und Ihrem Nutzungstarif variieren können.

Wenn Sie das Limit überschreiten, können Sie:

• Prompts kürzen oder umformulieren.

• Große Texte in kleinere Abschnitte aufteilen.

• Eingaben vor dem Senden zusammenfassen oder vorverarbeiten.

Token-Preise

Die API-Nutzung wird pro Token abgerechnet; der Preis variiert je nach Modell und danach, ob Tokens Eingabe-, Ausgabe- oder gecachte Tokens sind. Aktuelle Preise finden Sie auf der Preisseite von OpenAI. Manche Reasoning-Modelle verwenden intern möglicherweise mehr Token, zielen aber darauf ab, die Effizienz zu verbessern, indem sie die Anzahl der Token reduzieren, die pro abgeschlossener Aufgabe benötigt werden.

Token erkunden

Die API behandelt Wörter entsprechend ihrem Kontext in den Korpusdaten. Modelle nehmen den Prompt, wandeln die Eingabe in eine Liste von Token um, verarbeiten den Prompt und wandeln die vorhergesagten Token wieder in die Wörter um, die wir in der Antwort sehen.

Was für uns wie zwei identische Wörter aussehen kann, kann je nach Struktur im Text in unterschiedliche Token umgewandelt werden. Sehen Sie sich an, wie die API Token-Werte für das Wort „red“ abhängig vom Kontext im Text erzeugt:

Im ersten Beispiel oben enthält der Token „2266“ für ‚ red‘ ein nachgestelltes Leerzeichen (Hinweis: Das sind Beispiel-Token-IDs zu Demonstrationszwecken).

Der Token „2296“ für ‚ Red‘ (mit führendem Leerzeichen und großem Anfangsbuchstaben) unterscheidet sich vom Token „2266“ für ‚ red‘ mit kleinem Anfangsbuchstaben.

Wenn ‚Red‘ am Anfang eines Satzes steht, enthält der erzeugte Token kein führendes Leerzeichen. Der Token „7738“ unterscheidet sich von den vorherigen beiden Beispielen des Wortes.

Beobachtungen:

Je wahrscheinlicher/häufiger ein Token ist, desto niedriger ist die ihm zugewiesene Token-Nummer:

• Der erzeugte Token für den Punkt ist in allen 3 Sätzen derselbe („13“). Das liegt daran, dass der Punkt kontextuell im gesamten Korpus recht ähnlich verwendet wird.

• Der erzeugte Token für ‚red‘ variiert je nach Position im Satz:

  • Kleinschreibung in der Mitte eines Satzes: ‚ red‘ - (Token: „2266“)

  • Großschreibung in der Mitte eines Satzes: ‚ Red‘ - (Token: „2297“)

  • Großschreibung am Anfang eines Satzes: ‚Red‘ - (Token: „7738“)