Batch API hoạt động như thế nào?
Điểm cuối Batch API, như được ghi trong tài liệu tại đây, cho phép người dùng gửi yêu cầu để xử lý hàng loạt không đồng bộ. Chúng tôi sẽ xử lý các yêu cầu này trong vòng 24 giờ. Chi tiết của từng yêu cầu sẽ được đọc từ một tệp đã tải lên trước, và phản hồi sẽ được ghi vào một tệp đầu ra. Bạn có thể truy vấn đối tượng batch để nhận cập nhật trạng thái và kết quả.
Giá của Batch API là bao nhiêu?
Mỗi mô hình sẽ được cung cấp với mức giảm 50% chi phí so với các API đồng bộ. Sau đây là thêm thông tin về giá API của chúng tôi.
Tôi có thể batch những mô hình nào?
Batch API được cung cấp rộng rãi trên hầu hết các mô hình của chúng tôi, nhưng không phải tất cả. Vui lòng tham khảo tài liệu tham chiếu về mô hình để đảm bảo mô hình bạn đang dùng hỗ trợ Batch API.
Điều gì xảy ra nếu API không hoàn tất yêu cầu của tôi trong thời gian đã cam kết?
Chúng tôi đặt mục tiêu xử lý tất cả yêu cầu trong vòng 24 giờ. Nếu một batch hết hạn (tức là không thể hoàn tất trong khoảng thời gian SLA), thì công việc còn lại sẽ bị hủy và mọi công việc đã hoàn tất sẽ được trả về. Nhà phát triển sẽ bị tính phí cho mọi công việc đã hoàn tất.
Giới hạn về số lượng yêu cầu tôi có thể batch là bao nhiêu?
Các API Embeddings có giới hạn 1 triệu yêu cầu được xếp hàng tại một thời điểm.
Đối với tất cả API khác, không có giới hạn về số lượng yêu cầu bạn có thể batch; tuy nhiên, mỗi bậc sử dụng có một giới hạn tốc độ batch tương ứng. Giới hạn tốc độ batch của bạn bao gồm số lượng token đầu vào tối đa mà bạn đã xếp hàng tại một thời điểm. Bạn có thể tìm giới hạn tốc độ của mình tại đây.
Tôi có thể thay đổi thời gian chờ phản hồi từ Batch API không?
Khoảng thời gian được chỉ định hiện tại của chúng tôi là 24 giờ. Hiện chúng tôi không thể thay đổi khoảng thời gian này.
Batch API có hỗ trợ truyền trực tuyến không?
Không, Batch API không hỗ trợ truyền trực tuyến. Yêu cầu batch trả về kết quả thông qua tệp đầu ra thay vì phản hồi được truyền trực tuyến.
Batch API có hỗ trợ hình ảnh không?
Có, Batch API hỗ trợ hình ảnh.
Tôi nhận được thông báo lỗi “URL được cung cấp cho yêu cầu này không khớp tiền tố với điểm cuối batch”. Tôi nên làm gì?
Nếu bạn gặp lỗi này, điều đó có nghĩa là URL của bạn được định dạng không đúng cho điểm cuối Batch API. Vui lòng tham khảo tài liệu của chúng tôi tại đây để đảm bảo bạn đang gọi điểm cuối đúng cách.
Việc sử dụng Batch API có được tính vào các giới hạn tốc độ khác của tôi không?
Giới hạn tốc độ của Batch API hoàn toàn tách biệt với các giới hạn hiện có.
Điều gì xảy ra nếu một batch bị hủy?
Nếu một batch được hủy thủ công, mọi kết quả đã hoàn tất sẽ được trả về. Nhà phát triển sẽ bị tính phí cho mọi công việc đã hoàn tất.
Điều gì xảy ra nếu một batch hết hạn?
Nếu một batch hết hạn (tức là không thể hoàn tất trong khoảng thời gian SLA), thì công việc còn lại sẽ bị hủy và mọi công việc đã hoàn tất sẽ được trả về. Nhà phát triển sẽ bị tính phí cho mọi công việc đã hoàn tất.
Tôi có thể thấy những trạng thái nào trên các công việc batch?
Công việc batch có thể có bất kỳ trạng thái nào sau đây: Đang xác thực, Thất bại, Đang tiến hành, Đang hoàn tất, Đã hoàn tất, Đã hết hạn, Đang hủy và Đã hủy. Nếu bạn kiểm tra các giá trị trạng thái API bằng chương trình, hãy dùng các literal viết thường: validating, failed, in_progress, finalizing, completed, expired, cancelling và cancelled.
Đang xác thực: Quá trình xác thực tệp đã tải lên đang diễn ra trước khi batch có thể bắt đầu.
Thất bại: Tệp không vượt qua quá trình xác thực.
Đang tiến hành: Tệp đã được xác thực thành công và quy trình batch đang diễn ra.
Đang hoàn tất: Công việc batch đã hoàn tất và kết quả đang được chuẩn bị.
Đã hoàn tất: Công việc batch đã hoàn tất và kết quả đã sẵn sàng.
Đã hết hạn: Batch không thể hoàn tất trong khoảng thời gian SLA.
Đang hủy: Việc hủy công việc batch đã được khởi tạo.
Đã hủy: Công việc batch đã bị hủy.
Làm thế nào để kiểm tra những công việc batch tôi đã tạo?
Bạn có thể lấy danh sách tất cả công việc batch của mình bằng lệnh gọi API được nêu tại đây.
Điểm cuối này có hỗ trợ không lưu giữ dữ liệu không?
Nếu tổ chức của bạn đã bật không lưu giữ dữ liệu, xin lưu ý rằng chính sách không lưu giữ dữ liệu không áp dụng cho Batch API. Các tổ chức ZDR có thể tạo công việc batch, nhưng tệp đầu vào batch, đầu ra, lỗi và hiện vật trung gian được lưu giữ theo các chính sách lưu giữ Batch, File Service và Sediment đã cấu hình.