Assistants API (v2) – FAQ

Was ist die Assistants API?

Die Assistants API ermöglicht es Entwickler:innen, in ihren Apps ganz einfach leistungsstarke KI-Assistenten zu erstellen. Diese API nimmt Ihnen die Verwaltung des Gesprächsverlaufs ab und bietet Zugriff auf von OpenAI gehostete Tools wie Code Interpreter und File Search. Außerdem unterstützt die API verbessertes Function Calling für Tools von Drittanbietern.

Kann ich Assistants API v1 beta noch verwenden?

Nein. Seit dem 18. Dezember 2024 haben Nutzer keinen Zugriff mehr auf die v1-Version der Assistants API beta. Aktuell unterstützen wir nur v2. Bitte sehen Sie sich diese Migrationsanleitung an, um Ihre API-Calls von v1 auf v2 umzustellen.

Wie greife ich darauf zu?

Die Assistants API steht allen mit einem OpenAI-API-Konto zur Verfügung. Sie können auch über den Assistants Playground loslegen.

Was ist ein Assistant?

Ein Assistant ist eine zweckorientierte KI, die OpenAI-Modelle nutzt und auf Dateien zugreifen, persistente Threads verwalten und Tools aufrufen kann.

Was ist ein Thread?

Ein Thread ist eine Gesprächssitzung zwischen einem Assistant und einem Nutzer. Threads vereinfachen die App-Entwicklung, indem sie den Nachrichtenverlauf speichern und ihn kürzen, wenn das Gespräch zu lang für die Kontextlänge des Modells wird.

Was ist das File-Search-Tool?

Das Tool file_search setzt mehrere Best Practices für Retrieval sofort einsatzbereit um und hilft Ihnen dabei, die richtigen Daten aus Ihren Dateien zu extrahieren, um die Antworten des Modells anzureichern. Weitere Informationen finden Sie in unserer Entwicklerdokumentation.

Standardmäßig verwendet das Tool file_search die folgenden Einstellungen:

• Chunk-Größe: 800 Token

• Chunk-Überlappung: 400 Token

• Embedding-Modell: text-embedding-3-large mit 256 Dimensionen

• Maximale Anzahl an Chunks, die dem Kontext hinzugefügt werden: 20

Welche Einschränkungen gelten für Datei-Uploads?

Die Einschränkungen für das Hochladen einer Datei sind:

• 512 MB pro Datei

• 5M Token pro Datei

• 10k Dateien pro Vector Store

• 1 Vector Store pro Assistant

• 1 Vector Store pro Thread

Das Gesamtspeicherlimit pro Projekt in einer Organisation beträgt 100 GB.

Welche Einschränkungen hat das File-Search-Tool?

Es gibt einige bekannte Einschränkungen, für die wir in den kommenden Monaten Support hinzufügen wollen:

1. Derzeit gibt es keine Möglichkeit, die Chunking-, Embedding- oder Retrieval-Einstellungen zu ändern.

2. Wir unterstützen nicht das Parsen von Bildern innerhalb von Dokumenten.

3. Wir unterstützen keine Retrievals über strukturierte Dateiformate (wie .csv- oder .jsonl-Dateien). Siehe unterstützte Dateitypen.

Welche Rate Limits gelten für die Assistants API?

Die Rate Limits für die Assistants API sind nicht an Usage Tier und Modell gebunden. Stattdessen gibt es Standardlimits nach Request-Typ, mit ein paar Ausnahmen:

• GET: 1000 RPM

• POST: 300 RPM

  • POST an /v1/threads/<thread_id>/runs: 200 RPM

  • POST an /v1/threads/runs: 200 RPM

• DELETE: 300 Anfragen pro Minute

Wie wird Code Interpreter in der API bepreist?

Code Interpreter kostet $0.03 / Session. Wenn Ihr Assistant Code Interpreter gleichzeitig in zwei verschiedenen Threads aufruft, entstehen zwei Code-Interpreter-Sessions (2 * $0.03). Jede Session ist standardmäßig eine Stunde aktiv. Das bedeutet, dass Sie diese Gebühr nur einmal zahlen, wenn Ihr Nutzer innerhalb von bis zu einer Stunde im selben Thread weiterhin Anweisungen an Code Interpreter gibt.

Wie wird File Search in der API bepreist?

File Search kostet $0.10/GB Vector-Store-Speicher pro Tag (das erste GB Speicher ist kostenlos). Die Größe des Vector Store basiert auf der resultierenden Größe des Vector Store, nachdem Ihre Datei geparst, gechunkt und eingebettet wurde.

Alle Vector Stores, die vor dem 17. April 2024 erstellt wurden, sind bis Ende 2024 kostenlos; danach werden sie entweder:

• zum aktuellen Tarif abgerechnet (derzeit $0.10/GB/Tag), wenn sie mindestens einmal in einem Run verwendet wurden, der nach dem 17. April 2024 erstellt wurde.

• gelöscht, wenn sie in keinem einzigen Run zwischen dem 17. April 2024 und dem 31. Dezember 2024 verwendet wurden — damit Ihnen keine Vector Stores in Rechnung gestellt werden, die Sie vor der Ankündigung dieser Preisänderung erstellt, aber nie genutzt haben.

Gibt es ein Limit, wie viele Assistants ich erstellen kann?

Es gibt kein Limit dafür, wie viele Assistants eine Organisation erstellen kann.

Ist Streaming über die API verfügbar?

Ja, Streaming ist in der Assistants API verfügbar.

Ist der JSON-Modus in der Assistants API verfügbar?

Ja, der JSON-Modus ist in der Assistants API über den Parameter response_format in den Assistant- oder Run-Objekten verfügbar.

Verwaltet die Assistants API auch Anfragen für Function Calls von Drittanbietern?

Nein. Function Calling ermöglicht es dem Modell zwar, Tools auszuwählen und Anfragen dafür zu formatieren, aber die Ausführung von Aufrufen zu Tools von Drittanbietern wird nicht von OpenAI verwaltet.

Wie werden die Daten behandelt, die ich an OpenAI sende?

Wie bei unserer gesamten Plattform werden Daten und Dateien, die an die OpenAI API übergeben werden, niemals zum Training unserer Modelle verwendet, und Sie können Ihre Daten jederzeit löschen, wenn Sie möchten. Die in die Assistants API hochgeladenen Daten werden unbegrenzt gespeichert, bis ein Nutzer sie manuell löscht.

Ist DALL-E über die Assistants API verfügbar?

Derzeit ist DALL-E nicht verfügbar.

Gibt es eine UI für die Assistants API?

Sie können sich den Playground für die Assistants API ansehen. Achten Sie darauf, dass Sie in der linken Seitenleiste in der Ansicht Assistants sind und ein Modell verwenden, das mit den Tools kompatibel ist, die Sie aktivieren möchten.

Wie hoch ist das Zeichenlimit für Assistant-Anweisungen in der Assistants API?

Die Systemanweisungen, die der Assistant verwendet, haben eine maximale Länge von 256.000 Zeichen.

Ich bekomme einen Fehler wie „The server had an error while processing your request. Sorry about that! You can retry your request, or contact us through our help center at help.openai.com if the error persists. “ Was soll ich tun?

Wenn Sie diesen Fehler erhalten, kann das bedeuten, dass Ihr Prompt nicht korrekt eingerichtet ist. Wenn Sie die Anfrage wiederholt erneut senden und sie weiterhin fehlschlägt, können Sie Folgendes versuchen:

1. Stellen Sie sicher, dass Sie Ihren Prompt so umstrukturieren, dass alle befehlsartigen Anweisungen als Funktionen behandelt werden

2. Fügen Sie alle Befehle in Ihrem Prompt als Funktion zu tools hinzu

Warum funktioniert mein File-Search-Tool nicht gut?

Bei der Nutzung des File-Search-Tools empfehlen wir, max_prompt_tokens nicht unter 20.000 zu setzen. Für längere Unterhaltungen oder mehrere Interaktionen mit File Search sollten Sie erwägen, dieses Limit auf 50.000 zu erhöhen oder idealerweise die max_prompt_tokens-Limits ganz zu entfernen, um die bestmögliche Ergebnisqualität zu erhalten. Lesen Sie hier mehr dazu.

Wie kann ich Feedback geben?

Wir freuen uns über Ihr Feedback in unserem Developer Forum, über das Help Center unter help.openai.com oder auf Twitter @OpenAIDevs.