Paano gumagana ang Batch API?
Ang endpoint ng Batch API, gaya ng nakadokumento dito, ay nagbibigay-daan sa mga user na magsumite ng mga request para sa asynchronous batch processing. Ipaproseso namin ang mga request na ito sa loob ng 24 na oras. Babasahin ang mga detalye ng bawat request mula sa paunang na-upload na file, at isusulat ang mga response sa isang output file. Maaari mong i-query ang batch object para sa mga update sa status at mga resulta.
Ano ang pagpepresyo para sa Batch API?
Iaalok ang bawat modelo nang may 50% diskuwento sa gastos kumpara sa mga synchronous API. Narito ang higit pang impormasyon tungkol sa aming pagpepresyo ng API.
Anong mga modelo ang maaari kong i-batch?
Malawak na available ang Batch API sa karamihan ng aming mga modelo, pero hindi sa lahat. Mangyaring sumangguni sa mga dokumento ng sanggunian sa modelo upang matiyak na sinusuportahan ng modelong ginagamit mo ang Batch API.
Ano ang mangyayari kung hindi makumpleto ng API ang request ko sa loob ng ipinangakong oras?
Layunin naming matapos ang lahat ng request sa loob ng 24 na oras. Kung mag-expire ang isang batch (ibig sabihin, hindi ito nakumpleto sa loob ng SLA time window), kakanselahin ang natitirang gawain at ibabalik ang anumang gawaing nakumpleto na. Sisingilin ang mga developer para sa anumang nakumpletong gawain.
Ano ang limit sa dami ng mga request na maaari kong i-batch?
May limit na 1 milyong naka-queue na request nang sabay-sabay ang mga Embeddings API.
Para sa lahat ng iba pang API, walang limit sa bilang ng mga request na maaari mong i-batch; gayunpaman, may kaugnay na batch rate limit ang bawat usage tier. Kasama sa iyong batch rate limit ang maximum na bilang ng mga input token na naka-queue mo sa isang pagkakataon. Makikita mo ang iyong mga rate limit dito.
Maaari ko bang baguhin ang tagal bago makatanggap ng tugon mula sa Batch API?
Ang kasalukuyan naming tinukoy na time window ay 24 na oras. Sa kasalukuyan, hindi namin mababago ang panahong ito.
Sinusuportahan ba ang streaming sa Batch API?
Hindi, hindi sinusuportahan ang streaming sa Batch API. Ibinabalik ng mga batch request ang mga resulta sa pamamagitan ng mga output file sa halip na mga streamed response.
Sinusuportahan ba ang mga image sa Batch API?
Oo, sinusuportahan ang mga image sa Batch API.
Nakakuha ako ng error message na “The URL provided for this request does not prefix-match the batch endpoint”. Ano ang dapat kong gawin?
Kung nakuha mo ang error na ito, ibig sabihin ay mali ang format ng iyong URL para sa endpoint ng Batch API. Mangyaring sumangguni sa aming dokumentasyon dito upang matiyak na tama ang pagtawag mo sa endpoint.
Nabibilang ba ang paggamit ng Batch API sa iba ko pang mga rate limit?
Ang mga rate limit ng Batch API ay ganap na hiwalay sa mga kasalukuyang limit.
Ano ang mangyayari kung kinansela ang isang batch?
Kung manu-manong kinansela ang isang batch, ibabalik ang anumang resultang nakumpleto na. Sisingilin ang mga developer para sa anumang nakumpletong gawain.
Ano ang mangyayari kung mag-expire ang isang batch?
Kung mag-expire ang isang batch (ibig sabihin, hindi ito nakumpleto sa loob ng SLA time window), kakanselahin ang natitirang gawain at ibabalik ang anumang gawaing nakumpleto na. Sisingilin ang mga developer para sa anumang nakumpletong gawain.
Anong mga status ang maaari kong asahan sa mga batch job?
Maaaring magkaroon ang batch job ng alinman sa mga sumusunod na status: Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling, at Cancelled. Kung programmatically mong sinusuri ang mga status value ng API, gamitin ang mga lowercase literal: validating, failed, in_progress, finalizing, completed, expired, cancelling, at cancelled.
Validating: Isinasagawa ang validation ng na-upload na file bago magsimula ang batch.
Failed: Nabigo ang file sa proseso ng validation.
In Progress: Matagumpay na na-validate ang file at isinasagawa na ang batch process.
Finalizing: Nakumpleto na ang batch job at inihahanda na ang mga resulta.
Completed: Kumpleto na ang batch job at handa na ang mga resulta.
Expired: Hindi nakumpleto ang batch sa loob ng SLA time window.
Cancelling: Nasimulan na ang pagkansela ng batch job.
Cancelled: Kinansela ang batch job.
Paano ko masusuri kung aling mga batch job ang nagawa ko na?
Makakakuha ka ng listahan ng lahat ng iyong batch job gamit ang API call na tinukoy dito.
Sinusuportahan ba ang zero na pagpapanatili ng data sa endpoint na ito?
Kung naka-enable ang zero na pagpapanatili ng data para sa iyong organisasyon, pakitandaang hindi nalalapat ang zero na pagpapanatili ng data sa Batch API. Makakagawa ng mga batch job ang mga ZDR org, pero pinapanatili ang mga batch input file, output, error, at intermediate artifact ayon sa naka-configure na mga retention policy ng Batch, File Service, at Sediment.