Batch API hoạt động như thế nào?
Điểm cuối Batch API, như được mô tả tại đây, cho phép người dùng gửi yêu cầu để xử lý hàng loạt không đồng bộ. Chúng tôi sẽ xử lý các yêu cầu này trong vòng 24 giờ. Chi tiết của từng yêu cầu sẽ được đọc từ một tệp đã tải lên trước, và các phản hồi sẽ được ghi vào một tệp đầu ra. Bạn có thể truy vấn đối tượng batch để nhận thông tin cập nhật về trạng thái và kết quả.
Giá của Batch API là bao nhiêu?
Mỗi mô hình sẽ được cung cấp với mức giảm giá 50% so với các API đồng bộ. Đây là thông tin thêm về giá API của chúng tôi.
Tôi có thể xử lý hàng loạt những mô hình nào?
Batch API hiện khả dụng rộng rãi trên phần lớn các mô hình của chúng tôi, nhưng không phải tất cả. Vui lòng tham khảo tài liệu tham chiếu mô hình để đảm bảo mô hình bạn đang dùng hỗ trợ Batch API.
Điều gì xảy ra nếu API không hoàn tất yêu cầu của tôi trong thời gian đã cam kết?
Chúng tôi đặt mục tiêu hoàn thành tất cả yêu cầu trong vòng 24 giờ. Nếu một batch hết hạn (tức là không thể hoàn thành trong khung thời gian SLA), thì phần công việc còn lại sẽ bị hủy và mọi phần việc đã hoàn thành sẽ được trả lại. Nhà phát triển sẽ bị tính phí cho mọi phần việc đã hoàn thành.
Giới hạn số lượng yêu cầu tôi có thể xử lý hàng loạt là bao nhiêu?
Embeddings APIs có giới hạn 1 triệu yêu cầu đang được xếp hàng tại một thời điểm.
Đối với tất cả API khác, không có giới hạn về số lượng yêu cầu bạn có thể xử lý hàng loạt; tuy nhiên, mỗi bậc sử dụng có một giới hạn tốc độ batch tương ứng. Giới hạn tốc độ batch của bạn bao gồm số lượng token đầu vào tối đa mà bạn đã xếp hàng tại một thời điểm. Bạn có thể tìm giới hạn tốc độ của mình tại đây.
Tôi có thể thay đổi thời gian phản hồi từ Batch API không?
Khung thời gian hiện được chỉ định là 24 giờ. Hiện tại chúng tôi không thể thay đổi khoảng thời gian này.
Batch API có hỗ trợ streaming không?
Không, Batch API không hỗ trợ streaming.
Batch API có hỗ trợ hình ảnh không?
Có, Batch API có hỗ trợ hình ảnh.
Tôi nhận được thông báo lỗi “URL được cung cấp cho yêu cầu này không khớp tiền tố với điểm cuối batch”. Tôi nên làm gì?
Nếu bạn gặp lỗi này, điều đó có nghĩa là URL của bạn được định dạng không đúng cho điểm cuối Batch API. Vui lòng tham khảo tài liệu của chúng tôi tại đây để bảo đảm bạn đang gọi điểm cuối một cách chính xác.
Việc sử dụng Batch API có bị tính vào các giới hạn tốc độ khác của tôi không?
Giới hạn tốc độ của Batch API hoàn toàn tách biệt với các giới hạn hiện có.
Điều gì xảy ra nếu một batch bị hủy?
Nếu một batch bị hủy thủ công thì bất kỳ kết quả nào đã được hoàn thành sẽ được trả lại. Nhà phát triển sẽ bị tính phí cho mọi phần việc đã hoàn thành.
Điều gì xảy ra nếu một batch hết hạn?
Nếu một batch hết hạn (tức là không thể hoàn thành trong khung thời gian SLA), thì phần công việc còn lại sẽ bị hủy và mọi phần việc đã hoàn thành sẽ được trả lại. Nhà phát triển sẽ bị tính phí cho mọi phần việc đã hoàn thành.
Tôi có thể mong đợi những trạng thái nào ở các tác vụ batch?
Tác vụ batch có thể có bất kỳ trạng thái nào sau đây:
Đang xác thực: Việc xác thực tệp đã tải lên đang diễn ra trước khi batch có thể bắt đầu.
Thất bại: Tệp đã không vượt qua quy trình xác thực.
Đang xử lý: Tệp đã được xác thực thành công và quy trình batch đang diễn ra.
Đang hoàn tất: Tác vụ batch đã hoàn thành và kết quả đang được chuẩn bị.
Hoàn tất: Tác vụ batch đã hoàn tất và kết quả đã sẵn sàng.
Hết hạn: Batch không thể hoàn thành trong khung thời gian SLA.
Đang hủy: Việc hủy tác vụ batch đã được khởi tạo.
Đã hủy: Tác vụ batch đã bị hủy.
Làm cách nào để kiểm tra những tác vụ batch tôi đã tạo?
Bạn có thể lấy danh sách tất cả tác vụ batch của mình bằng lệnh gọi API được chỉ định tại đây.
Không lưu giữ dữ liệu có được hỗ trợ trên điểm cuối này không?
Nếu bạn đã bật không lưu giữ dữ liệu cho tổ chức của mình, xin lưu ý rằng không lưu giữ dữ liệu không được hỗ trợ trên điểm cuối này.