Jak funguje Batch API?
Koncový bod Batch API, jak je zdokumentováno zde, umožňuje uživatelům odesílat požadavky na asynchronní dávkové zpracování. Tyto požadavky zpracujeme do 24 hodin. Podrobnosti jednotlivých požadavků budou načteny z předem nahraného souboru a odpovědi budou zapsány do výstupního souboru. Objekt batch můžete dotazovat na aktualizace stavu a výsledky.
Jaké je cenové nastavení Batch API?
Každý model bude nabízen s 50% slevou oproti synchronním API. Další informace o cenách API najdete zde.
Které modely mohu dávkově zpracovávat?
Batch API je široce dostupné u většiny našich modelů, ale ne u všech. Podívejte se prosím do referenční dokumentace modelů, abyste se ujistili, že model, který používáte, podporuje Batch API.
Co se stane, pokud API nedokončí můj požadavek v přislíbeném čase?
Snažíme se zpracovat všechny požadavky do 24 hodin. Pokud dávka vyprší (tj. nepodaří se ji dokončit v časovém okně SLA), zbývající práce se zruší a veškerá již dokončená práce se vrátí. Vývojářům bude naúčtována veškerá dokončená práce.
Jaký je limit počtu požadavků, které mohu dávkově zpracovat?
Embeddings API mají limit 1 milionu zařazených požadavků najednou.
U všech ostatních API není počet požadavků, které můžete dávkově zpracovat, omezen; každá úroveň využití má však přidružený limit rychlosti dávkového zpracování. Váš limit rychlosti dávkového zpracování zahrnuje maximální počet vstupních tokenů, které máte v jednu chvíli zařazené do fronty. Své limity rychlosti najdete zde.
Mohu změnit dobu, za kterou dostanu odpověď z Batch API?
Naše aktuálně stanovené časové okno je 24 hodin. Toto časové období nyní nemůžeme změnit.
Je v Batch API podporován streaming?
Ne, streaming není v Batch API podporován. Dávkové požadavky vracejí výsledky prostřednictvím výstupních souborů namísto streamovaných odpovědí.
Jsou v Batch API podporovány obrázky?
Ano, obrázky jsou v Batch API podporovány.
Dostal(a) jsem chybovou zprávu „The URL provided for this request does not prefix-match the batch endpoint“. Co mám dělat?
Pokud se vám zobrazí tato chyba, znamená to, že vaše adresa URL není pro koncový bod Batch API správně naformátovaná. Podívejte se prosím do naší dokumentace zde a ujistěte se, že koncový bod voláte správně.
Započítává se používání Batch API do mých dalších limitů rychlosti?
Limity rychlosti pro Batch API jsou zcela oddělené od stávajících limitů.
Co se stane, když je dávka zrušena?
Pokud je dávka zrušena ručně, vrátí se všechny výsledky, které už byly dokončeny. Vývojářům bude naúčtována veškerá dokončená práce.
Co se stane, když dávka vyprší?
Pokud dávka vyprší (tj. nepodaří se ji dokončit v časovém okně SLA), zbývající práce se zruší a veškerá již dokončená práce se vrátí. Vývojářům bude naúčtována veškerá dokončená práce.
Jaké stavy mohu u dávkových úloh očekávat?
Dávková úloha může mít kterýkoli z následujících stavů: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling a Cancelled. Pokud hodnoty stavu API kontrolujete programově, použijte malé literály: validating, failed, in_progress, finalizing, completed, expired, cancelling a cancelled.
Validating: Před zahájením dávky probíhá ověřování nahraného souboru.
Failed: Soubor neprošel procesem ověření.
In Progress: Soubor byl úspěšně ověřen a dávkové zpracování probíhá.
Finalizing: Dávková úloha byla dokončena a výsledky se připravují.
Completed: Dávková úloha je dokončena a výsledky jsou připravené.
Expired: Dávku nebylo možné dokončit v časovém okně SLA.
Cancelling: Bylo zahájeno rušení dávkové úlohy.
Cancelled: Dávková úloha byla zrušena.
Jak mohu zkontrolovat, které dávkové úlohy jsem už vytvořil(a)?
Seznam všech svých dávkových úloh můžete získat pomocí volání API uvedeného zde.
Je na tomto koncovém bodu podporováno nulové uchovávání dat?
Pokud máte pro svou organizaci povoleno nulové uchovávání dat, vezměte prosím na vědomí, že nulové uchovávání dat se na Batch API nevztahuje. Organizace se ZDR mohou vytvářet dávkové úlohy, ale vstupní soubory dávek, výstupy, chyby a mezilehlé artefakty se uchovávají podle nastavených zásad uchovávání pro Batch, File Service a Sediment.