Cum funcționează Batch API?
Punctul final Batch API, documentat aici, le permite utilizatorilor să trimită cereri pentru procesare asincronă în lot. Vom procesa aceste cereri în termen de 24 de ore. Detaliile fiecărei cereri vor fi citite dintr-un fișier încărcat în prealabil, iar răspunsurile vor fi scrise într-un fișier de ieșire. Poți interoga obiectul batch pentru actualizări de stare și rezultate.
Care este prețul pentru Batch API?
Fiecare model va fi oferit cu o reducere de cost de 50% față de API-urile sincrone. Iată mai multe informații despre prețurile API-ului nostru.
Ce modele pot folosi în batch?
Batch API este disponibil pe scară largă pentru majoritatea modelelor noastre, dar nu pentru toate. Consultă documentația de referință pentru modele pentru a te asigura că modelul pe care îl folosești acceptă Batch API.
Ce se întâmplă dacă API-ul nu îmi finalizează cererea în timpul promis?
Ne propunem să procesăm toate cererile în 24 de ore. Dacă un batch expiră (adică nu a putut fi finalizat în intervalul de timp SLA), lucrarea rămasă este anulată și orice lucrare deja finalizată este returnată. Dezvoltatorii vor fi taxați pentru orice lucrare finalizată.
Care este limita pentru numărul de cereri pe care le pot procesa în batch?
API-urile de embeddings au o limită de 1 milion de cereri puse în coadă simultan.
Pentru toate celelalte API-uri, nu există nicio limită privind numărul de cereri pe care le poți procesa în batch; totuși, fiecare nivel de utilizare are o limită de rată batch asociată. Limita ta de rată batch include numărul maxim de tokeni de intrare pe care îi ai în coadă simultan. Îți poți găsi limitele de rată aici.
Pot schimba timpul necesar pentru a primi un răspuns de la Batch API?
Intervalul nostru de timp specificat în prezent este de 24 de ore. În prezent nu putem modifica această perioadă.
Este acceptat streamingul în Batch API?
Nu, streamingul nu este acceptat în Batch API. Cererile batch returnează rezultatele prin fișiere de ieșire, nu prin răspunsuri transmise în streaming.
Sunt acceptate imaginile în Batch API?
Da, imaginile sunt acceptate în Batch API.
Am primit mesajul de eroare „The URL provided for this request does not prefix-match the batch endpoint”. Ce ar trebui să fac?
Dacă primești această eroare, înseamnă că URL-ul tău este formatat incorect pentru punctul final Batch API. Consultă documentația noastră de aici pentru a te asigura că apelezi corect punctul final.
Utilizarea Batch API se contorizează în celelalte limite de rată ale mele?
Limitele de rată ale Batch API sunt complet separate de limitele existente.
Ce se întâmplă dacă un batch este anulat?
Dacă un batch este anulat manual, sunt returnate rezultatele care au fost deja finalizate. Dezvoltatorii vor fi taxați pentru orice lucrare finalizată.
Ce se întâmplă dacă un batch expiră?
Dacă un batch expiră (adică nu a putut fi finalizat în intervalul de timp SLA), lucrarea rămasă este anulată și orice lucrare deja finalizată este returnată. Dezvoltatorii vor fi taxați pentru orice lucrare finalizată.
La ce stări mă pot aștepta pentru lucrările batch?
Lucrarea batch poate avea oricare dintre următoarele stări: În validare, Eșuată, În desfășurare, În finalizare, Finalizată, Expirată, În anulare și Anulată. Dacă verifici programatic valorile de stare ale API-ului, folosește literalii cu minuscule: validating, failed, in_progress, finalizing, completed, expired, cancelling și cancelled.
În validare: Validarea fișierului încărcat este în desfășurare înainte ca batchul să poată începe.
Eșuată: Fișierul nu a trecut procesul de validare.
În desfășurare: Fișierul a fost validat cu succes, iar procesul batch este în curs.
În finalizare: Lucrarea batch a fost finalizată, iar rezultatele sunt în curs de pregătire.
Finalizată: Lucrarea batch este finalizată, iar rezultatele sunt gata.
Expirată: Batchul nu a putut fi finalizat în intervalul de timp SLA.
În anulare: A fost inițiată anularea lucrării batch.
Anulată: Lucrarea batch a fost anulată.
Cum pot verifica ce lucrări batch am creat deja?
Poți obține o listă cu toate lucrările tale batch folosind apelul API specificat aici.
Este acceptat zero date păstrate pentru acest punct final?
Dacă ai activat zero date păstrate pentru organizația ta, reține că zero date păstrate nu se aplică pentru Batch API. Organizațiile ZDR pot crea lucrări batch, dar fișierele de intrare batch, ieșirile, erorile și artefactele intermediare sunt păstrate conform politicilor de păstrare configurate pentru Batch, File Service și Sediment.