Am 11. März 2025 haben wir die Bausteine unserer neuen Agentenplattform veröffentlicht. Details findest du in unserer API-Dokumentation zur Responses API, zu Tools wie Web Search, File Search und Computer Use sowie zu unserem Agents SDK mit Tracing.
Prompt-Token sind die Token, die du in das Modell eingibst. Dies ist die Anzahl der Token in deinem Prompt.
Vervollständigungs-Token sind alle Token, die das Modell als Antwort auf deine Eingabe generiert. Bei einer Standardanfrage ist dies die Anzahl der Token in der Vervollständigung.
Für die meisten unserer Modelle gelten sowohl Grenzen für die Anzahl der Token, die sie verarbeiten können (Prompt-Token), als auch für die Anzahl der Token, die sie ausgeben können (Vervollständigungs- oder Sample-Token).
Dies umfasst auch alle Token, die bei Verwendung eines höheren Werts für best_of oder n generiert werden. Wenn du beispielsweise mit best_of = 3 drei mögliche Vervollständigungen generierst, beträgt die Anzahl der erzeugten Sample-Token höchstens 3 * max_tokens.
Weitere Informationen zur Verwaltung von Token findest du in unserem Leitfaden zur Textgenerierung.