Come funziona l'API Batch?
L'endpoint dell'API Batch, documentato qui, consente agli utenti di inviare richieste per l'elaborazione batch asincrona. Elaboreremo queste richieste entro 24 ore. I dettagli di ogni richiesta saranno letti da un file caricato in precedenza e le risposte saranno scritte in un file di output. Puoi interrogare l'oggetto batch per aggiornamenti sullo stato e risultati.
Qual è il prezzo dell'API Batch?
Ogni modello sarà offerto con uno sconto del 50% sul costo rispetto alle API sincrone. Ecco ulteriori informazioni sui prezzi delle nostre API.
Quali modelli posso usare in batch?
L'API Batch è ampiamente disponibile per la maggior parte dei nostri modelli, ma non per tutti. Consulta la documentazione di riferimento sui modelli per assicurarti che il modello che stai usando supporti l'API Batch.
Cosa succede se l'API non completa la mia richiesta entro il tempo promesso?
Puntiamo a completare tutte le richieste entro 24 ore. Se un batch scade (cioè non ha potuto essere completato entro la finestra temporale dello SLA), il lavoro rimanente viene annullato e qualsiasi lavoro già completato viene restituito. Agli sviluppatori verrà addebitato qualsiasi lavoro completato.
Qual è il limite al numero di richieste che posso elaborare in batch?
Le API Embeddings hanno un limite di 1 milione di richieste in coda alla volta.
Per tutte le altre API non c'è limite al numero di richieste che puoi elaborare in batch; tuttavia, ogni livello di utilizzo ha un limite di richieste batch associato. Il tuo limite di richieste batch include il numero massimo di token di input che hai in coda contemporaneamente. Puoi trovare i tuoi limiti di richieste qui.
Posso modificare il tempo necessario per ricevere una risposta dall'API Batch?
La nostra finestra temporale attualmente specificata è di 24 ore. Al momento non possiamo modificare questo periodo di tempo.
Lo streaming è supportato nell'API Batch?
No, lo streaming non è supportato nell'API Batch. Le richieste batch restituiscono i risultati tramite file di output anziché risposte in streaming.
Le immagini sono supportate nell'API Batch?
Sì, le immagini sono supportate nell'API Batch.
Ho ricevuto un messaggio di errore: “The URL provided for this request does not prefix-match the batch endpoint”. Cosa devo fare?
Se ricevi questo errore, significa che il tuo URL è formattato in modo errato per l'endpoint dell'API Batch. Consulta la nostra documentazione qui per assicurarti di chiamare correttamente l'endpoint.
L'uso dell'API Batch conta ai fini degli altri miei limiti di richieste?
I limiti di richieste dell'API Batch sono completamente separati dai limiti esistenti.
Cosa succede se un batch viene annullato?
Se un batch viene annullato manualmente, vengono restituiti tutti i risultati già completati. Agli sviluppatori verrà addebitato qualsiasi lavoro completato.
Cosa succede se un batch scade?
Se un batch scade (cioè non ha potuto essere completato entro la finestra temporale dello SLA), il lavoro rimanente viene annullato e qualsiasi lavoro già completato viene restituito. Agli sviluppatori verrà addebitato qualsiasi lavoro completato.
Quali stati posso aspettarmi per i processi batch?
Il processo batch può avere uno dei seguenti stati: Convalida, Non riuscito, In corso, Finalizzazione, Completato, Scaduto, Annullamento e Annullato. Se controlli i valori di stato dell'API a livello programmatico, usa i letterali minuscoli: validating, failed, in_progress, finalizing, completed, expired, cancelling e cancelled.
Convalida: la convalida del file caricato è in corso prima che il batch possa iniziare.
Non riuscito: il file non ha superato il processo di convalida.
In corso: il file è stato convalidato correttamente e il processo batch è in corso.
Finalizzazione: il processo batch è stato completato e i risultati sono in preparazione.
Completato: il processo batch è completato e i risultati sono pronti.
Scaduto: il batch non ha potuto essere completato entro la finestra temporale dello SLA.
Annullamento: l'annullamento del processo batch è stato avviato.
Annullato: il processo batch è stato annullato.
Come posso controllare quali processi batch ho già creato?
Puoi ottenere un elenco di tutti i tuoi processi batch usando la chiamata API specificata qui.
La conservazione dei dati zero è supportata su questo endpoint?
Se per la tua organizzazione è abilitata la conservazione dei dati zero, tieni presente che non si applica all'API Batch. Le organizzazioni ZDR possono creare processi batch, ma file di input batch, output, errori e artefatti intermedi vengono conservati secondo i criteri di conservazione configurati per Batch, File Service e Sediment.