Jak Batch API funguje?
Koncový bod Batch API, zdokumentovaný zde, umožňuje uživatelům odesílat požadavky k asynchronnímu dávkovému zpracování. Tyto požadavky zpracujeme do 24 hodin. Podrobnosti každého požadavku se načtou z předem nahraného souboru a odpovědi se zapíšou do výstupního souboru. U objektu dávky můžete zjišťovat aktualizace stavu a výsledky.
Jaké jsou ceny Batch API?
Každý model bude nabízen s 50% slevou z nákladů oproti synchronním rozhraním API. Další informace o cenách našeho API najdete zde.
Které modely mohu zpracovávat dávkově?
Batch API je široce dostupné u většiny našich modelů, ale ne u všech. V referenční dokumentaci k modelům si ověřte, že model, který používáte, podporuje Batch API.
Co se stane, když API nedokončí můj požadavek ve slíbeném čase?
Snažíme se vyřídit všechny požadavky do 24 hodin. Pokud dávka vyprší (tj. nepodařilo se ji dokončit v časovém okně SLA), zbývající práce se zruší a veškerá již dokončená práce se vrátí. Vývojářům bude účtována veškerá dokončená práce.
Jaký je limit počtu požadavků, které mohu dávkově zpracovat?
Rozhraní API pro embeddings mají limit 1 milionu požadavků zařazených do fronty najednou.
U všech ostatních rozhraní API není počet požadavků, které můžete dávkově zpracovat, omezen; každá úroveň využití však má přidružený limit frekvence dávkových požadavků. Váš limit frekvence dávkových požadavků zahrnuje maximální počet vstupních tokenů zařazených do fronty najednou. Své limity frekvence požadavků najdete zde.
Mohu změnit dobu, za kterou obdržím odpověď z Batch API?
Naše aktuálně stanovené časové okno je 24 hodin. Toto časové období v současnosti nemůžeme změnit.
Je v Batch API podporováno streamování?
Ne, streamování není v Batch API podporováno. Dávkové požadavky vracejí výsledky prostřednictvím výstupních souborů, nikoli streamovaných odpovědí.
Jsou v Batch API podporovány obrázky?
Ano, obrázky jsou v Batch API podporovány.
Zobrazila se mi chybová zpráva „The URL provided for this request does not prefix-match the batch endpoint“. Co mám dělat?
Pokud se vám zobrazí tato chyba, znamená to, že vaše adresa URL má pro koncový bod Batch API nesprávný formát. V naší dokumentaci si ověřte, že koncový bod voláte správně.
Započítává se používání Batch API do mých ostatních limitů frekvence požadavků?
Limity frekvence požadavků Batch API jsou zcela oddělené od stávajících limitů.
Co se stane, když je dávka zrušena?
Pokud je dávka ručně zrušena, vrátí se všechny výsledky, které již byly dokončeny. Vývojářům bude účtována veškerá dokončená práce.
Co se stane, když dávka vyprší?
Pokud dávka vyprší (tj. nepodařilo se ji dokončit v časovém okně SLA), zbývající práce se zruší a veškerá již dokončená práce se vrátí. Vývojářům bude účtována veškerá dokončená práce.
Jaké stavy mohu u dávkových úloh očekávat?
Dávková úloha může mít kterýkoli z následujících stavů: Ověřuje se, Selhala, Probíhá, Dokončuje se, Dokončena, Vypršela, Ruší se a Zrušena. Pokud hodnoty stavu API kontrolujete programově, použijte literály psané malými písmeny: validating, failed, in_progress, finalizing, completed, expired, cancelling a cancelled.
Ověřuje se: Před zahájením dávky probíhá ověřování nahraného souboru.
Selhala: Soubor neprošel procesem ověření.
Probíhá: Soubor byl úspěšně ověřen a dávkový proces probíhá.
Dokončuje se: Dávková úloha byla dokončena a výsledky se připravují.
Dokončena: Dávková úloha je dokončená a výsledky jsou připravené.
Vypršela: Dávku se nepodařilo dokončit v časovém okně SLA.
Ruší se: Bylo zahájeno zrušení dávkové úlohy.
Zrušena: Dávková úloha byla zrušena.
Jak zjistím, které dávkové úlohy už mám vytvořené?
Seznam všech svých dávkových úloh můžete získat pomocí volání API uvedeného zde.
Je na tomto koncovém bodu podporováno nulové uchovávání dat?
Pokud máte pro svou organizaci povoleno nulové uchovávání dat, mějte na paměti, že nulové uchovávání dat se na Batch API nevztahuje. Organizace se ZDR mohou vytvářet dávkové úlohy, ale vstupní soubory dávek, výstupy, chyby a průběžné artefakty se uchovávají podle nakonfigurovaných zásad uchovávání pro Batch, File Service a Sediment.