Seit dem 11. März 2025 haben wir die Bausteine unserer neuen Agents-Plattform veröffentlicht. Details findest du in unserer API-Dokumentation zur Responses API, zu Tools einschließlich Web Search, File Search und Computer Use, sowie zu unserem Agents SDK mit Tracing.
Prompt-Tokens sind die Tokens, die du in das Modell eingibst. Das ist die Anzahl der Tokens in deinem Prompt.
Completion-Tokens sind alle Tokens, die das Modell als Antwort auf deine Eingabe erzeugt. Bei einer Standardanfrage ist das die Anzahl der Tokens in der Completion.
Die meisten Modelle, die wir anbieten, haben sowohl ein Limit für die Anzahl der Tokens, die sie aufnehmen können (Prompt-Tokens), als auch ein Limit für die Anzahl der Tokens, die sie ausgeben können (Completion- oder Sample-Tokens).
Dazu zählen auch alle Tokens, die bei der Verwendung eines höheren Werts von best_of oder n erzeugt werden. Wenn du zum Beispiel 3 Kandidaten-Completions mit best_of = 3 generierst, beträgt die Anzahl der gesampelten Tokens höchstens 3 * max_tokens.
Mehr zum Umgang mit Tokens findest du in unserem Leitfaden zur Textgenerierung.