Jak działa Batch API?
Punkt końcowy Batch API, opisany tutaj, umożliwia użytkownikom przesyłanie żądań do asynchronicznego przetwarzania wsadowego. Przetworzymy te żądania w ciągu 24 godzin. Szczegóły każdego żądania zostaną odczytane z wcześniej przesłanego pliku, a odpowiedzi zostaną zapisane w pliku wyjściowym. Możesz sprawdzać obiekt batch, aby uzyskać aktualizacje statusu i wyniki.
Jaka jest cena Batch API?
Każdy model będzie oferowany z 50% zniżką cenową względem synchronicznych interfejsów API. Więcej informacji o cenach naszego API znajdziesz tutaj.
Jakie modele mogę przetwarzać wsadowo?
Batch API jest szeroko dostępne dla większości naszych modeli, ale nie wszystkich. Zapoznaj się z dokumentacją modeli, aby upewnić się, że używany model obsługuje Batch API.
Co się stanie, jeśli API nie zrealizuje mojego żądania w obiecanym czasie?
Naszym celem jest realizacja wszystkich żądań w ciągu 24 godzin. Jeśli batch wygaśnie (tzn. nie będzie mógł zostać ukończony w oknie czasowym SLA), pozostała praca zostanie anulowana, a wszelkie już ukończone zadania zostaną zwrócone. Deweloperzy zostaną obciążeni opłatą za wszelkie ukończone prace.
Jaki jest limit liczby żądań, które mogę przetwarzać wsadowo?
Interfejsy Embeddings API mają limit 1 miliona żądań umieszczonych w kolejce jednocześnie.
W przypadku wszystkich pozostałych interfejsów API nie ma limitu liczby żądań, które możesz przetwarzać wsadowo; jednak każdy poziom użycia ma powiązany limit szybkości dla batchy. Twój limit szybkości batchy obejmuje maksymalną liczbę tokenów wejściowych umieszczonych przez Ciebie w kolejce jednocześnie. Swoje limity szybkości znajdziesz tutaj.
Czy mogę zmienić czas oczekiwania na odpowiedź z Batch API?
Obecnie określone okno czasowe wynosi 24 godziny. Obecnie nie możemy zmienić tego okresu.
Czy streaming jest obsługiwany w Batch API?
Nie, streaming nie jest obsługiwany w Batch API.
Czy obrazy są obsługiwane w Batch API?
Tak, obrazy są obsługiwane w Batch API.
Otrzymałem komunikat o błędzie „The URL provided for this request does not prefix-match the batch endpoint”. Co mam zrobić?
Jeśli widzisz ten błąd, oznacza to, że Twój adres URL ma nieprawidłowy format dla punktu końcowego Batch API. Zapoznaj się z naszą dokumentacją tutaj, aby upewnić się, że prawidłowo wywołujesz punkt końcowy.
Czy korzystanie z Batch API wlicza się do moich innych limitów szybkości?
Limity szybkości Batch API są całkowicie oddzielone od istniejących limitów.
Co się stanie, jeśli batch zostanie anulowany?
Jeśli batch zostanie anulowany ręcznie, zwrócone zostaną wszystkie wyniki, które zostały już ukończone. Deweloperzy zostaną obciążeni opłatą za wszelkie ukończone prace.
Co się stanie, jeśli batch wygaśnie?
Jeśli batch wygaśnie (tzn. nie będzie mógł zostać ukończony w oknie czasowym SLA), pozostała praca zostanie anulowana, a wszelkie już ukończone zadania zostaną zwrócone. Deweloperzy zostaną obciążeni opłatą za wszelkie ukończone prace.
Jakich statusów mogę się spodziewać dla zadań batch?
Zadanie batch może mieć dowolny z następujących statusów:
Validating: Trwa walidacja przesłanego pliku, zanim batch będzie mógł się rozpocząć.
Failed: Plik nie przeszedł procesu walidacji.
In Progress: Plik został pomyślnie zwalidowany i trwa proces batch.
Finalizing: Zadanie batch zostało ukończone i trwa przygotowywanie wyników.
Completed: Zadanie batch zostało zakończone, a wyniki są gotowe.
Expired: Batch nie mógł zostać ukończony w oknie czasowym SLA.
Canceling: Rozpoczęto anulowanie zadania batch.
Canceled: Zadanie batch zostało anulowane.
Jak mogę sprawdzić, które zadania batch już utworzyłem?
Możesz uzyskać listę wszystkich swoich zadań batch, używając wywołania API opisanego tutaj.
Czy nieprzechowywanie danych jest obsługiwane w tym punkcie końcowym?
Jeśli masz włączone nieprzechowywanie danych dla swojej organizacji, pamiętaj, że nieprzechowywanie danych nie jest obsługiwane w tym punkcie końcowym.