Cum funcționează Batch API?
Punctul final Batch API, după cum este documentat aici, le permite utilizatorilor să trimită cereri pentru procesare asincronă în lot. Vom procesa aceste cereri în 24 de ore. Detaliile fiecărei cereri vor fi citite dintr-un fișier încărcat în prealabil, iar răspunsurile vor fi scrise într-un fișier de ieșire. Puteți interoga obiectul batch pentru actualizări de stare și rezultate.
Care este prețul pentru Batch API?
Fiecare model va fi oferit cu o reducere de 50% a costului față de API-urile sincrone. Iată mai multe informații despre prețurile API-ului nostru.
Ce modele pot procesa în batch?
Batch API este disponibil pe scară largă pentru majoritatea modelelor noastre, dar nu pentru toate. Consultați documentația de referință pentru modele pentru a vă asigura că modelul pe care îl utilizați acceptă Batch API.
Ce se întâmplă dacă API-ul nu îmi finalizează cererea în timpul promis?
Ne propunem să finalizăm toate cererile în 24 de ore. Dacă un batch expiră (adică nu a putut fi finalizat în intervalul de timp SLA), lucrul rămas este anulat, iar orice lucrare deja finalizată este returnată. Dezvoltatorii vor fi taxați pentru orice lucrare finalizată.
Care este limita pentru numărul de cereri pe care le pot procesa în batch?
API-urile Embeddings au o limită de 1 milion de cereri puse în coadă simultan.
Pentru toate celelalte API-uri, nu există limită pentru numărul de cereri pe care le puteți procesa în batch; totuși, fiecare nivel de utilizare are o limită de rată batch asociată. Limita dvs. de rată batch include numărul maxim de tokeni de intrare pe care i-ați pus în coadă simultan. Puteți găsi limitele dvs. de rată aici.
Pot schimba timpul necesar pentru a primi un răspuns de la Batch API?
Intervalul de timp specificat în prezent este de 24 de ore. În prezent, nu putem modifica această perioadă de timp.
Este acceptat streaming pe Batch API?
Nu, streaming nu este acceptat pe Batch API.
Sunt acceptate imaginile pe Batch API?
Da, imaginile sunt acceptate pe Batch API.
Am primit mesajul de eroare „The URL provided for this request does not prefix-match the batch endpoint”. Ce ar trebui să fac?
Dacă primiți această eroare, înseamnă că URL-ul dvs. este formatat incorect pentru punctul final Batch API. Consultați documentația noastră aici pentru a vă asigura că apelați corect punctul final.
Utilizarea Batch API se ia în calcul pentru celelalte limite de rată ale mele?
Limitele de rată Batch API sunt complet separate de limitele existente.
Ce se întâmplă dacă un batch este anulat?
Dacă un batch este anulat manual, atunci sunt returnate toate rezultatele care au fost deja finalizate. Dezvoltatorii vor fi taxați pentru orice lucrare finalizată.
Ce se întâmplă dacă un batch expiră?
Dacă un batch expiră (adică nu a putut fi finalizat în intervalul de timp SLA), lucrul rămas este anulat, iar orice lucrare deja finalizată este returnată. Dezvoltatorii vor fi taxați pentru orice lucrare finalizată.
La ce stări mă pot aștepta pentru joburile batch?
Jobul batch poate avea oricare dintre următoarele stări:
Validare: Validarea fișierului încărcat este în curs înainte ca batch-ul să poată începe.
Eșuat: Fișierul nu a trecut procesul de validare.
În curs: Fișierul a fost validat cu succes și procesul batch este în desfășurare.
Finalizare: Jobul batch s-a încheiat, iar rezultatele sunt pregătite.
Finalizat: Jobul batch este complet, iar rezultatele sunt gata.
Expirat: Batch-ul nu a putut fi finalizat în intervalul de timp SLA.
Se anulează: Anularea jobului batch a fost inițiată.
Anulat: Jobul batch a fost anulat.
Cum pot verifica ce joburi batch am creat deja?
Puteți obține o listă cu toate joburile dvs. batch folosind apelul API specificat aici.
Este acceptat zero date păstrate pe acest punct final?
Dacă aveți zero date păstrate activat pentru organizația dvs., rețineți că zero date păstrate nu este acceptat pe acest punct final.