Hur fungerar Batch API?
Batch API-slutpunkten, som dokumenteras här, gör det möjligt för användare att skicka in förfrågningar för asynkron batchbearbetning. Vi behandlar dessa förfrågningar inom 24 timmar. Detaljerna för varje förfrågan läses från en i förväg uppladdad fil, och svaren skrivs till en utdatafil. Du kan fråga batchobjektet efter statusuppdateringar och resultat.
Vad kostar Batch API?
Varje modell erbjuds med 50 % kostnadsrabatt jämfört med de synkrona API:erna. Här finns mer information om vår API-prissättning.
Vilka modeller kan jag köra i batch?
Batch API är allmänt tillgängligt för de flesta av våra modeller, men inte alla. Se referensdokumentationen för modeller för att säkerställa att modellen du använder stöder Batch API.
Vad händer om API:et inte slutför min förfrågan inom den utlovade tiden?
Vi strävar efter att hantera alla förfrågningar inom 24 timmar. Om en batch löper ut (dvs. den inte kunde slutföras inom SLA-tidsfönstret) avbryts återstående arbete och allt arbete som redan har slutförts returneras. Utvecklare debiteras för allt slutfört arbete.
Vilken gräns gäller för hur många förfrågningar jag kan batcha?
Embeddings-API:er har en gräns på 1 miljon kölagda förfrågningar åt gången.
För alla andra API:er finns ingen gräns för antalet förfrågningar du kan batcha, men varje användningsnivå har en tillhörande batchfrekvensgräns. Din batchfrekvensgräns omfattar det maximala antalet indatatoken som du har kölagda samtidigt. Du hittar dina frekvensgränser här.
Kan jag ändra tiden det tar att få svar från Batch API?
Vårt nuvarande angivna tidsfönster är 24 timmar. Vi kan för närvarande inte ändra den här tidsperioden.
Stöds strömning i Batch API?
Nej, strömning stöds inte i Batch API. Batchförfrågningar returnerar resultat via utdatafiler i stället för strömmade svar.
Stöds bilder i Batch API?
Ja, bilder stöds i Batch API.
Jag fick felmeddelandet ”The URL provided for this request does not prefix-match the batch endpoint”. Vad ska jag göra?
Om du får det här felet betyder det att din URL är felaktigt formaterad för Batch API-slutpunkten. Se vår dokumentation här för att säkerställa att du anropar slutpunkten korrekt.
Räknas användning av Batch API mot mina andra frekvensgränser?
Batch API-frekvensgränser är helt separata från befintliga gränser.
Vad händer om en batch avbryts?
Om en batch avbryts manuellt returneras de resultat som redan har slutförts. Utvecklare debiteras för allt slutfört arbete.
Vad händer om en batch löper ut?
Om en batch löper ut (dvs. den inte kunde slutföras inom SLA-tidsfönstret) avbryts återstående arbete och allt arbete som redan har slutförts returneras. Utvecklare debiteras för allt slutfört arbete.
Vilka statusar kan jag förvänta mig för batchjobb?
Batchjobbet kan ha någon av följande statusar: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling och Cancelled. Om du kontrollerar API-statusvärden programmatiskt ska du använda de gemena literalerna: validating, failed, in_progress, finalizing, completed, expired, cancelling och cancelled.
Validating: Validering av den uppladdade filen pågår innan batchen kan starta.
Failed: Filen har inte klarat valideringsprocessen.
In Progress: Filen har validerats och batchprocessen pågår.
Finalizing: Batchjobbet har slutförts och resultaten förbereds.
Completed: Batchjobbet är slutfört och resultaten är klara.
Expired: Batchen kunde inte slutföras inom SLA-tidsfönstret.
Cancelling: Avbrytande av batchjobbet har initierats.
Cancelled: Batchjobbet avbröts.
Hur kan jag kontrollera vilka batchjobb jag redan har skapat?
Du kan hämta en lista över alla dina batchjobb med API-anropet som anges här.
Stöds noll datalagring på den här slutpunkten?
Om du har aktiverat noll datalagring för din organisation bör du observera att noll datalagring inte gäller för Batch API. ZDR-organisationer kan skapa batchjobb, men batchindatafiler, utdata, fel och mellanliggande artefakter lagras enligt de konfigurerade lagringspolicyerna för Batch, File Service och Sediment.