Bagaimana cara kerja Batch API?
Endpoint Batch API, seperti didokumentasikan di sini, memungkinkan pengguna mengirimkan permintaan untuk pemrosesan batch asinkron. Kami akan memproses permintaan ini dalam 24 jam. Rincian setiap permintaan akan dibaca dari file yang sudah diunggah sebelumnya, dan respons akan ditulis ke file output. Anda dapat melakukan kueri pada objek batch untuk pembaruan status dan hasil.
Berapa harga Batch API?
Setiap model akan ditawarkan dengan diskon biaya 50% dibandingkan API sinkron. Berikut informasi lebih lanjut mengenai harga API kami.
Model apa saja yang bisa saya batch?
Batch API tersedia secara luas di sebagian besar model kami, tetapi tidak semuanya. Silakan merujuk ke dokumentasi referensi model untuk memastikan model yang Anda gunakan mendukung Batch API.
Apa yang terjadi jika API tidak menyelesaikan permintaan saya dalam waktu yang dijanjikan?
Kami menargetkan semua permintaan selesai dalam 24 jam. Jika sebuah batch kedaluwarsa (yaitu tidak dapat diselesaikan dalam jendela waktu SLA), maka pekerjaan yang tersisa dibatalkan dan pekerjaan yang sudah selesai akan dikembalikan. Developer akan dikenakan biaya untuk pekerjaan yang sudah diselesaikan.
Berapa batas jumlah permintaan yang bisa saya batch?
Embeddings API memiliki batas 1 juta permintaan yang dapat diantrekan pada satu waktu.
Untuk semua API lainnya, tidak ada batas jumlah permintaan yang dapat Anda batch; namun, setiap tingkat penggunaan memiliki batas laju batch (batch rate limit) yang terkait. Batas laju batch Anda mencakup jumlah maksimum token input yang Anda antrekan pada satu waktu. Anda dapat menemukan batas laju Anda di sini.
Bisakah saya mengubah lama waktu untuk menerima respons dari Batch API?
Jendela waktu yang saat ini kami tentukan adalah 24 jam. Saat ini kami tidak dapat mengubah periode waktu ini.
Apakah streaming didukung di Batch API?
Tidak, streaming tidak didukung di Batch API.
Apakah gambar didukung di Batch API?
Ya, gambar didukung di Batch API.
Saya mendapatkan pesan error “The URL provided for this request does not prefix-match the batch endpoint”. Apa yang harus saya lakukan?
Jika Anda mendapatkan error ini, artinya URL Anda diformat dengan tidak benar untuk endpoint Batch API. Silakan merujuk ke dokumentasi kami di sini untuk memastikan Anda memanggil endpoint dengan benar.
Apakah penggunaan Batch API dihitung terhadap rate limit saya yang lain?
Rate limit Batch API sepenuhnya terpisah dari batas yang ada.
Apa yang terjadi jika sebuah batch dibatalkan?
Jika sebuah batch dibatalkan secara manual, maka hasil apa pun yang sudah selesai akan dikembalikan. Developer akan dikenakan biaya untuk pekerjaan yang sudah diselesaikan.
Apa yang terjadi jika sebuah batch kedaluwarsa?
Jika sebuah batch kedaluwarsa (yaitu tidak dapat diselesaikan dalam jendela waktu SLA), maka pekerjaan yang tersisa dibatalkan dan pekerjaan yang sudah selesai akan dikembalikan. Developer akan dikenakan biaya untuk pekerjaan yang sudah diselesaikan.
Status apa saja yang bisa saya temui pada pekerjaan batch?
Pekerjaan batch dapat memiliki salah satu status berikut:
Validating: Validasi file yang diunggah sedang berlangsung sebelum batch dapat dimulai.
Failed: File gagal melewati proses validasi.
In Progress: File berhasil divalidasi dan proses batch sedang berjalan.
Finalizing: Pekerjaan batch telah selesai dan hasilnya sedang dipersiapkan.
Completed: Pekerjaan batch selesai dan hasilnya sudah siap.
Expired: Batch tidak dapat diselesaikan dalam jendela waktu SLA.
Canceling: Pembatalan pekerjaan batch telah dimulai.
Canceled: Pekerjaan batch dibatalkan.
Bagaimana cara memeriksa pekerjaan batch mana yang sudah saya buat?
Anda bisa mendapatkan daftar semua pekerjaan batch Anda menggunakan panggilan API yang ditentukan di sini.
Apakah zero data retention didukung pada endpoint ini?
Jika zero data retention diaktifkan untuk org Anda, harap dicatat bahwa zero data retention tidak didukung pada endpoint ini.