Hoe werkt de Batch API?
Met het Batch API-endpoint, zoals hier gedocumenteerd, kunnen gebruikers verzoeken indienen voor asynchrone batchverwerking. We verwerken deze verzoeken binnen 24 uur. De details van elk verzoek worden gelezen uit een vooraf geüpload bestand, en de antwoorden worden naar een uitvoerbestand geschreven. Je kunt het batch-object opvragen voor statusupdates en resultaten.
Wat zijn de prijzen voor de Batch API?
Elk model wordt aangeboden met 50% kostenkorting ten opzichte van de synchrone API's. Hier vind je meer informatie over onze API-prijzen.
Welke modellen kan ik batchen?
De Batch API is breed beschikbaar voor de meeste van onze modellen, maar niet voor allemaal. Raadpleeg de modelreferentiedocumentatie om te controleren of het model dat je gebruikt de Batch API ondersteunt.
Wat gebeurt er als de API mijn verzoek niet binnen de beloofde tijd voltooit?
We streven ernaar alle verzoeken binnen 24 uur af te handelen. Als een batch verloopt (d.w.z. niet binnen het SLA-tijdsvenster kon worden voltooid), dan wordt het resterende werk geannuleerd en wordt al voltooid werk teruggegeven. Ontwikkelaars betalen voor al voltooid werk.
Wat is de limiet voor het aantal verzoeken dat ik kan batchen?
Embeddings-API's hebben een limiet van 1 miljoen verzoeken die tegelijk in de wachtrij staan.
Voor alle andere API's is er geen limiet op het aantal verzoeken dat je kunt batchen; elke gebruikslaag heeft echter een bijbehorende batch-rate-limit. Je batch-rate-limit omvat het maximale aantal input tokens dat je op één moment in de wachtrij hebt staan. Je vindt je rate limits hier.
Kan ik de tijd wijzigen die het duurt voordat ik antwoord krijg van de Batch API?
Ons huidige opgegeven tijdsvenster is 24 uur. Op dit moment kunnen we deze periode niet wijzigen.
Wordt streaming ondersteund in de Batch API?
Nee, streaming wordt niet ondersteund in de Batch API.
Worden afbeeldingen ondersteund in de Batch API?
Ja, afbeeldingen worden ondersteund in de Batch API.
Ik kreeg de foutmelding “De URL die voor dit verzoek is opgegeven, komt niet overeen met het batch-endpoint”. Wat moet ik doen?
Als je deze fout krijgt, betekent dit dat je URL onjuist is opgemaakt voor het Batch API-endpoint. Raadpleeg onze documentatie hier om er zeker van te zijn dat je het endpoint correct aanroept.
Telt gebruik van de Batch API mee voor mijn andere rate limits?
Batch API-rate-limits staan volledig los van bestaande limieten.
Wat gebeurt er als een batch wordt geannuleerd?
Als een batch handmatig wordt geannuleerd, worden alle resultaten die al zijn voltooid teruggegeven. Ontwikkelaars betalen voor al voltooid werk.
Wat gebeurt er als een batch verloopt?
Als een batch verloopt (d.w.z. niet binnen het SLA-tijdsvenster kon worden voltooid), dan wordt het resterende werk geannuleerd en wordt al voltooid werk teruggegeven. Ontwikkelaars betalen voor al voltooid werk.
Welke statussen kan ik verwachten bij batchjobs?
De batchjob kan een van de volgende statussen hebben:
Validating: Validatie van het geüploade bestand is bezig voordat de batch kan beginnen.
Failed: Het bestand heeft het validatieproces niet doorstaan.
In Progress: Het bestand is met succes gevalideerd en het batchproces is bezig.
Finalizing: De batchjob is voltooid en de resultaten worden voorbereid.
Completed: De batchjob is voltooid en de resultaten zijn gereed.
Expired: De batch kon niet binnen het SLA-tijdsvenster worden voltooid.
Canceling: Het annuleren van de batchjob is gestart.
Canceled: De batchjob is geannuleerd.
Hoe kan ik controleren welke batchjobs ik al heb aangemaakt?
Je kunt een lijst van al je batchjobs ophalen met de API-aanroep die hier is opgegeven.
Wordt geen gegevensbewaring ondersteund op dit endpoint?
Als je voor je org geen gegevensbewaring hebt ingeschakeld, houd er dan rekening mee dat geen gegevensbewaring niet wordt ondersteund op dit endpoint.