Am 11. März 2025 haben wir die Bausteine unserer neuen Agentenplattform veröffentlicht. Details findest du in unserer API-Dokumentation zur Responses API, zu Tools wie Web Search, File Search und Computer Use sowie zu unserem Agents SDK mit Tracing.
Prompt-Tokens sind die Tokens, die du in das Modell eingibst. Damit ist die Anzahl der Tokens in deinem Prompt gemeint.
Completion-Tokens sind alle Tokens, die das Modell als Antwort auf deine Eingabe generiert. Bei einer Standardanfrage entspricht das der Anzahl der Tokens in der Completion.
Für die meisten von uns angebotenen Modelle gibt es Limits sowohl für die Anzahl der Tokens, die sie aufnehmen können (Prompt-Tokens), als auch für die Anzahl der Tokens, die sie ausgeben können (Completion- oder Sample-Tokens).
Dazu zählen auch alle Tokens, die generiert werden, wenn du einen höheren Wert für best_of oder n verwendest. Wenn du zum Beispiel mit best_of = 3 drei Completion-Kandidaten generierst, beträgt die Anzahl der gesampelten Tokens höchstens 3 * max_tokens.
Mehr zum Verwalten von Tokens erfährst du in unserem Leitfaden zur Textgenerierung.