Bagaimana cara kerja Batch API?
Endpoint Batch API, sebagaimana didokumentasikan di sini, memungkinkan pengguna mengirim permintaan untuk pemrosesan batch asinkron. Kami akan memproses permintaan ini dalam 24 jam. Detail setiap permintaan akan dibaca dari file yang sudah diunggah sebelumnya, dan respons akan ditulis ke file output. Anda dapat mengkueri objek batch untuk pembaruan status dan hasil.
Berapa harga untuk Batch API?
Setiap model akan ditawarkan dengan diskon biaya 50% dibandingkan API sinkron. Berikut informasi selengkapnya tentang harga API kami.
Model apa saja yang dapat saya proses secara batch?
Batch API tersedia secara luas di sebagian besar model kami, tetapi tidak semuanya. Silakan lihat dokumen referensi model untuk memastikan model yang Anda gunakan mendukung Batch API.
Apa yang terjadi jika API tidak menyelesaikan permintaan saya dalam waktu yang dijanjikan?
Kami menargetkan untuk menyelesaikan semua permintaan dalam 24 jam. Jika batch kedaluwarsa (yaitu tidak dapat diselesaikan dalam jendela waktu SLA), pekerjaan yang tersisa akan dibatalkan dan pekerjaan yang sudah selesai akan dikembalikan. Developer akan dikenai biaya untuk pekerjaan yang sudah selesai.
Berapa batas jumlah permintaan yang dapat saya proses secara batch?
API Embeddings memiliki batas 1 juta permintaan yang masuk antrean sekaligus.
Untuk semua API lainnya, tidak ada batas jumlah permintaan yang dapat Anda proses secara batch; namun, setiap tingkat penggunaan memiliki batas laju batch terkait. Batas laju batch Anda mencakup jumlah maksimum token input yang Anda antrekan pada satu waktu. Anda dapat menemukan batas laju Anda di sini.
Dapatkah saya mengubah waktu yang diperlukan untuk menerima kabar dari Batch API?
Jendela waktu yang kami tentukan saat ini adalah 24 jam. Saat ini kami tidak dapat mengubah periode waktu ini.
Apakah streaming didukung di Batch API?
Tidak, streaming tidak didukung di Batch API. Permintaan batch mengembalikan hasil melalui file output, bukan melalui respons yang di-stream.
Apakah gambar didukung di Batch API?
Ya, gambar didukung di Batch API.
Saya mendapat pesan error “The URL provided for this request does not prefix-match the batch endpoint”. Apa yang harus saya lakukan?
Jika Anda mendapatkan error ini, artinya URL Anda diformat secara tidak benar untuk endpoint Batch API. Silakan lihat dokumentasi kami di sini untuk memastikan Anda memanggil endpoint dengan benar.
Apakah penggunaan Batch API dihitung terhadap batas laju saya yang lain?
Batas laju Batch API sepenuhnya terpisah dari batas yang ada.
Apa yang terjadi jika batch dibatalkan?
Jika batch dibatalkan secara manual, hasil apa pun yang sudah selesai akan dikembalikan. Developer akan dikenai biaya untuk pekerjaan yang sudah selesai.
Apa yang terjadi jika batch kedaluwarsa?
Jika batch kedaluwarsa (yaitu tidak dapat diselesaikan dalam jendela waktu SLA), pekerjaan yang tersisa akan dibatalkan dan pekerjaan yang sudah selesai akan dikembalikan. Developer akan dikenai biaya untuk pekerjaan yang sudah selesai.
Status apa saja yang dapat saya harapkan pada pekerjaan batch?
Pekerjaan batch dapat memiliki salah satu status berikut: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling, dan Cancelled. Jika Anda memeriksa nilai status API secara terprogram, gunakan literal huruf kecil: validating, failed, in_progress, finalizing, completed, expired, cancelling, dan cancelled.
Validating: Validasi file yang diunggah sedang berlangsung sebelum batch dapat dimulai.
Failed: File gagal melewati proses validasi.
In Progress: File berhasil divalidasi dan proses batch sedang berjalan.
Finalizing: Pekerjaan batch telah selesai dan hasilnya sedang disiapkan.
Completed: Pekerjaan batch selesai dan hasilnya siap.
Expired: Batch tidak dapat diselesaikan dalam jendela waktu SLA.
Cancelling: Pembatalan pekerjaan batch telah dimulai.
Cancelled: Pekerjaan batch dibatalkan.
Bagaimana cara memeriksa pekerjaan batch yang sudah saya buat?
Anda dapat memperoleh daftar semua pekerjaan batch Anda menggunakan panggilan API yang ditentukan di sini.
Apakah retensi data nol didukung di endpoint ini?
Jika retensi data nol diaktifkan untuk org Anda, harap perhatikan bahwa retensi data nol tidak berlaku untuk Batch API. Org ZDR dapat membuat pekerjaan batch, tetapi file input batch, output, error, dan artefak perantara disimpan sesuai kebijakan retensi Batch, File Service, dan Sediment yang dikonfigurasi.