Ako funguje Batch API?
Koncový bod Batch API, zdokumentovaný tu, umožňuje používateľom odosielať požiadavky na asynchrónne dávkové spracovanie. Tieto požiadavky spracujeme do 24 hodín. Podrobnosti každej požiadavky sa načítajú z vopred nahraného súboru a odpovede sa zapíšu do výstupného súboru. V dávkovom objekte môžete zisťovať aktualizácie stavu a výsledky.
Aké sú ceny Batch API?
Každý model bude ponúkaný s 50 % zľavou z ceny oproti synchrónnym API. Tu nájdete ďalšie informácie o našich cenách API.
Ktoré modely môžem spracovať dávkovo?
Batch API je široko dostupné pre väčšinu našich modelov, ale nie pre všetky. Pozrite si referenčnú dokumentáciu k modelom, aby ste sa uistili, že model, ktorý používate, podporuje Batch API.
Čo sa stane, ak API nedokončí moju požiadavku v sľúbenom čase?
Snažíme sa spracovať všetky požiadavky do 24 hodín. Ak dávke vyprší platnosť (t. j. nepodarilo sa ju dokončiť v časovom okne SLA), zostávajúca práca sa zruší a vráti sa všetka už dokončená práca. Vývojárom sa bude účtovať všetka dokončená práca.
Aký je limit počtu požiadaviek, ktoré môžem zaradiť do dávky?
API pre embeddings majú limit 1 milióna požiadaviek zaradených do frontu naraz.
Pre všetky ostatné API neexistuje limit počtu požiadaviek, ktoré môžete zaradiť do dávky; každá úroveň používania má však priradený dávkový limit požiadaviek. Váš dávkový limit požiadaviek zahŕňa maximálny počet vstupných tokenov, ktoré máte naraz zaradené do frontu. Svoje limity požiadaviek nájdete tu.
Môžem zmeniť čas, za ktorý dostanem odpoveď z Batch API?
Naše aktuálne určené časové okno je 24 hodín. Toto časové obdobie momentálne nemôžeme zmeniť.
Podporuje Batch API streamovanie?
Nie, streamovanie nie je v Batch API podporované. Dávkové požiadavky vracajú výsledky prostredníctvom výstupných súborov, nie streamovaných odpovedí.
Sú v Batch API podporované obrázky?
Áno, obrázky sú v Batch API podporované.
Zobrazilo sa mi chybové hlásenie „The URL provided for this request does not prefix-match the batch endpoint“. Čo mám robiť?
Ak sa zobrazí táto chyba, znamená to, že vaša URL adresa je nesprávne naformátovaná pre koncový bod Batch API. Pozrite si našu dokumentáciu tu, aby ste sa uistili, že koncový bod voláte správne.
Započítava sa používanie Batch API do mojich ostatných limitov požiadaviek?
Limity požiadaviek Batch API sú úplne oddelené od existujúcich limitov.
Čo sa stane, ak sa dávka zruší?
Ak sa dávka zruší manuálne, vrátia sa všetky výsledky, ktoré už boli dokončené. Vývojárom sa bude účtovať všetka dokončená práca.
Čo sa stane, ak dávke vyprší platnosť?
Ak dávke vyprší platnosť (t. j. nepodarilo sa ju dokončiť v časovom okne SLA), zostávajúca práca sa zruší a vráti sa všetka už dokončená práca. Vývojárom sa bude účtovať všetka dokončená práca.
Aké stavy môžem očakávať pri dávkových úlohách?
Dávková úloha môže mať ktorýkoľvek z týchto stavov: Overovanie, Zlyhalo, Prebieha, Dokončuje sa, Dokončené, Platnosť vypršala, Ruší sa a Zrušené. Ak kontrolujete hodnoty stavu API programovo, použite literály malými písmenami: validating, failed, in_progress, finalizing, completed, expired, cancelling a cancelled.
Overovanie: Pred spustením dávky prebieha overovanie nahraného súboru.
Zlyhalo: Súbor neprešiel procesom overenia.
Prebieha: Súbor bol úspešne overený a dávkový proces prebieha.
Dokončuje sa: Dávková úloha bola dokončená a výsledky sa pripravujú.
Dokončené: Dávková úloha je dokončená a výsledky sú pripravené.
Platnosť vypršala: Dávku sa nepodarilo dokončiť v časovom okne SLA.
Ruší sa: Bolo iniciované zrušenie dávkovej úlohy.
Zrušené: Dávková úloha bola zrušená.
Ako môžem skontrolovať, ktoré dávkové úlohy som už vytvoril?
Zoznam všetkých svojich dávkových úloh môžete získať pomocou volania API uvedeného tu.
Podporuje tento koncový bod nulové uchovávanie údajov?
Ak máte pre svoju organizáciu povolené nulové uchovávanie údajov, upozorňujeme, že nulové uchovávanie údajov sa na Batch API nevzťahuje. Organizácie so ZDR môžu vytvárať dávkové úlohy, ale vstupné súbory dávok, výstupy, chyby a priebežné artefakty sa uchovávajú podľa nakonfigurovaných zásad uchovávania pre Batch, File Service a Sediment.