Wie funktioniert die Batch-API?
Der Batch-API-Endpunkt, der hier dokumentiert ist, ermöglicht Nutzer:innen, Anfragen zur asynchronen Batch-Verarbeitung einzureichen. Wir verarbeiten diese Anfragen innerhalb von 24 Stunden. Die Details jeder Anfrage werden aus einer zuvor hochgeladenen Datei gelesen, und die Antworten werden in eine Ausgabedatei geschrieben. Sie können das Batch-Objekt auf Statusaktualisierungen und Ergebnisse abfragen.
Wie ist die Preisgestaltung für die Batch-API?
Jedes Modell wird im Vergleich zu den synchronen APIs mit 50 % Kostenrabatt angeboten. Hier finden Sie weitere Informationen zu unseren API-Preisen.
Welche Modelle kann ich in Batches verarbeiten?
Die Batch-API ist für die meisten unserer Modelle umfassend verfügbar, aber nicht für alle. Bitte lesen Sie die Modellreferenzdokumentation, um sicherzustellen, dass das von Ihnen verwendete Modell die Batch-API unterstützt.
Was passiert, wenn die API meine Anfrage nicht innerhalb der zugesagten Zeit abschließt?
Wir bemühen uns, alle Anfragen innerhalb von 24 Stunden zu bearbeiten. Wenn ein Batch abläuft (d. h. er konnte innerhalb des SLA-Zeitfensters nicht abgeschlossen werden), wird die verbleibende Arbeit abgebrochen und bereits abgeschlossene Arbeit zurückgegeben. Entwickler:innen werden alle abgeschlossenen Arbeiten berechnet.
Wie viele Anfragen kann ich maximal in Batches verarbeiten?
Embeddings-APIs haben ein Limit von 1 Million gleichzeitig eingereihter Anfragen.
Für alle anderen APIs gibt es keine Begrenzung der Anzahl von Anfragen, die Sie in Batches verarbeiten können; jede Nutzungsstufe hat jedoch ein zugehöriges Batch-Ratenlimit. Ihr Batch-Ratenlimit umfasst die maximale Anzahl von Eingabe-Token, die Sie gleichzeitig eingereiht haben. Ihre Ratenlimits finden Sie hier.
Kann ich ändern, wie lange es dauert, bis ich eine Rückmeldung von der Batch-API erhalte?
Unser derzeit angegebenes Zeitfenster beträgt 24 Stunden. Wir können diesen Zeitraum derzeit nicht ändern.
Wird Streaming in der Batch-API unterstützt?
Nein, Streaming wird in der Batch-API nicht unterstützt. Batch-Anfragen geben Ergebnisse über Ausgabedateien zurück, nicht über gestreamte Antworten.
Werden Bilder in der Batch-API unterstützt?
Ja, Bilder werden in der Batch-API unterstützt.
Ich habe die Fehlermeldung „The URL provided for this request does not prefix-match the batch endpoint“ erhalten. Was soll ich tun?
Wenn Sie diesen Fehler erhalten, bedeutet das, dass Ihre URL für den Batch-API-Endpunkt falsch formatiert ist. Bitte lesen Sie unsere Dokumentation hier, um sicherzustellen, dass Sie den Endpunkt korrekt aufrufen.
Zählt die Nutzung der Batch-API gegen meine anderen Ratenlimits?
Die Ratenlimits der Batch-API sind vollständig von bestehenden Limits getrennt.
Was passiert, wenn ein Batch abgebrochen wird?
Wenn ein Batch manuell abgebrochen wird, werden alle bereits abgeschlossenen Ergebnisse zurückgegeben. Entwickler:innen werden alle abgeschlossenen Arbeiten berechnet.
Was passiert, wenn ein Batch abläuft?
Wenn ein Batch abläuft (d. h. er konnte innerhalb des SLA-Zeitfensters nicht abgeschlossen werden), wird die verbleibende Arbeit abgebrochen und bereits abgeschlossene Arbeit zurückgegeben. Entwickler:innen werden alle abgeschlossenen Arbeiten berechnet.
Welche Status kann ich bei Batch-Jobs erwarten?
Der Batch-Job kann einen der folgenden Status haben: Wird validiert, Fehlgeschlagen, In Bearbeitung, Wird abgeschlossen, Abgeschlossen, Abgelaufen, Wird abgebrochen und Abgebrochen. Wenn Sie API-Statuswerte programmgesteuert prüfen, verwenden Sie die kleingeschriebenen Literale: validating, failed, in_progress, finalizing, completed, expired, cancelling und cancelled.
Wird validiert: Die Validierung der hochgeladenen Datei läuft, bevor der Batch beginnen kann.
Fehlgeschlagen: Die Datei hat den Validierungsprozess nicht bestanden.
In Bearbeitung: Die Datei wurde erfolgreich validiert, und der Batch-Prozess läuft.
Wird abgeschlossen: Der Batch-Job ist abgeschlossen, und die Ergebnisse werden vorbereitet.
Abgeschlossen: Der Batch-Job ist abgeschlossen, und die Ergebnisse sind bereit.
Abgelaufen: Der Batch konnte innerhalb des SLA-Zeitfensters nicht abgeschlossen werden.
Wird abgebrochen: Der Abbruch des Batch-Jobs wurde eingeleitet.
Abgebrochen: Der Batch-Job wurde abgebrochen.
Wie kann ich prüfen, welche Batch-Jobs ich bereits erstellt habe?
Sie können mit dem hier angegebenen API-Aufruf eine Liste all Ihrer Batch-Jobs abrufen.
Wird keine Datenaufbewahrung für diesen Endpunkt unterstützt?
Wenn für Ihre Organisation keine Datenaufbewahrung aktiviert ist, beachten Sie bitte, dass keine Datenaufbewahrung nicht für die Batch-API gilt. ZDR-Organisationen können Batch-Jobs erstellen, aber Batch-Eingabedateien, Ausgaben, Fehler und Zwischenartefakte werden gemäß den konfigurierten Aufbewahrungsrichtlinien für Batch, File Service und Sediment aufbewahrt.