Cách hoạt động

Khách hàng có thể chuyển lưu lượng của từng yêu cầu sang Chế độ nhanh bằng tham số service_tier hiện có với tùy chọn service_tier = "fast".

Các token do Chế độ nhanh xử lý sẽ được tính phí theo từng token, với mức giá cao hơn giá xử lý Tiêu chuẩn.

Ngoài việc thiết lập ở cấp yêu cầu, bạn cũng có thể đặt Chế độ nhanh làm mặc định cho dự án trong phần Cài đặt dự án > Gói dịch vụ mặc định: Nhanh. Bạn vẫn có thể ghi đè thiết lập này cho từng yêu cầu. Việc chọn Nhanh trong phần cài đặt dự án tương đương với chọn Ưu tiên.

Chế độ này kết hợp với Cấp năng lực xử lý như thế nào?

Cấp năng lực xử lý vẫn sẽ tách biệt với Chế độ nhanh. Các yêu cầu gửi đến Chế độ nhanh sẽ được tính phí riêng và không được tính vào các gói TPM thuộc Cấp năng lực xử lý mà bạn đã mua.

Tôi có thể tự động chuyển lưu lượng vượt mức của Cấp năng lực xử lý sang Chế độ nhanh không?

Không. Lưu lượng gửi đến Cấp năng lực xử lý sẽ không tự động chuyển sang Chế độ nhanh khi vượt mức.

Chế độ nhanh được tính phí như thế nào?

Các token do Chế độ nhanh xử lý sẽ được tính phí theo từng token, với mức giá cao hơn giá xử lý Tiêu chuẩn.

Cam kết hằng năm của tôi có gắn với một chế độ xử lý cụ thể không?

Không. Chi phí của mọi chế độ xử lý đều được tính vào cam kết chi tiêu Enterprise hằng năm của bạn.

Tôi vẫn được giảm giá cho token đầu vào đã lưu vào bộ nhớ đệm chứ?

Có! Đầu vào đã lưu vào bộ nhớ đệm được giảm giá 50–75% như khi xử lý Tiêu chuẩn.

Làm cách nào để xem mức sử dụng và chi phí của Chế độ nhanh?

Để xem số token được Chế độ nhanh (trước đây là Xử lý ưu tiên) xử lý, hãy mở bảng điều khiển Mức sử dụng, chọn Chat Completions hoặc Responses, rồi chọn Nhóm theo Gói dịch vụ.

Để xem chi phí của Chế độ nhanh, hãy mở bảng điều khiển Mức sử dụng rồi chọn Nhóm theo Hạng mục.

Trên bảng điều khiển Mức sử dụng, các yêu cầu dùng priority hoặc fast làm service_tier sẽ tiếp tục được hiển thị là priority. Cách hiển thị này sẽ được cập nhật cho các mô hình trong tương lai.

Mô hình

Chế độ nhanh có hỗ trợ ngữ cảnh dài, mô hình tinh chỉnh, embedding, v.v. không?

Hiện chưa hỗ trợ. Trong tương lai, chúng tôi sẽ đánh giá khả năng cung cấp Chế độ nhanh cho các sản phẩm khác ngoài những mô hình mới nhất.

Các phương thức dữ liệu khác hoạt động như thế nào với Chế độ nhanh?

Chế độ nhanh hỗ trợ các tính năng đa phương thức tương tự chế độ Tiêu chuẩn. Cụ thể, hình ảnh có thể được dùng làm đầu vào cho Xử lý ưu tiên và được xử lý với độ trễ thấp tương tự.

Các mô hình trong tương lai có được hỗ trợ không?

Chúng tôi dự định cung cấp Chế độ nhanh cho các mô hình GPT mới, nhưng không đảm bảo mọi mô hình đều được hỗ trợ.

Giới hạn tốc độ

Giới hạn tốc độ là bao nhiêu?

Đối với giới hạn tốc độ, mức sử dụng Xử lý ưu tiên được tính giống như lưu lượng API tiêu chuẩn.

Giới hạn tốc độ tăng lưu lượng là gì?

Chế độ nhanh áp dụng giới hạn tốc độ tăng lưu lượng để duy trì hiệu năng cao và ổn định cho mọi khách hàng, đồng thời vẫn cung cấp mức giá linh hoạt theo nhu cầu. Trong một số ít trường hợp, nếu (a) hiệu năng của Chế độ nhanh suy giảm VÀ (b) lưu lượng của khách hàng tăng quá nhanh, một số yêu cầu có thể bị hạ xuống chế độ xử lý Tiêu chuẩn.

Giới hạn tốc độ tăng lưu lượng hiện tại của Chế độ nhanh được nêu tại đây trong tài liệu chính của chúng tôi.

Các phương pháp hay nhất để không vượt quá giới hạn tốc độ tăng lưu lượng

Tăng dần lưu lượng khi chuyển đổi mô hình. Ví dụ: nếu ứng dụng của bạn đang chuyển từ một bản chụp nhanh trước đó sang bản mới, hãy dùng cờ tính năng để chuyển dần lưu lượng trong vài giờ thay vì chuyển toàn bộ cùng lúc.

Tránh chạy các tác vụ xử lý dữ liệu lớn hoặc tác vụ không đồng bộ trên Chế độ nhanh. Các tác vụ này có thể làm lưu lượng tăng rất nhanh và thường không cần đến hiệu năng cao hơn của Chế độ nhanh.

Nếu thường xuyên gặp giới hạn tốc độ tăng lưu lượng, bạn nên cân nhắc mua hạn mức Cấp năng lực xử lý.

Các dự án hoặc tổ chức của tôi có dùng chung giới hạn tốc độ tăng lưu lượng không?

Có, toàn bộ lưu lượng của bạn đều được tính vào cùng một giới hạn tốc độ tăng lưu lượng.

Chính sách

Điều gì xảy ra nếu Chế độ nhanh không đạt mục tiêu về độ trễ?

Vui lòng liên hệ với Giám đốc phụ trách tài khoản nếu bạn có bất kỳ câu hỏi hoặc quan ngại nào. SLA của Chế độ nhanh sẽ được áp dụng giống như SLA của Cấp năng lực xử lý. Nếu không đáp ứng các SLA này trong một khoảng thời gian nhất định, chúng tôi sẽ bồi hoàn dịch vụ cho khách hàng có thỏa thuận Enterprise.

Chế độ nhanh có tương thích với nơi lưu trú dữ liệu không?

Có.

Chế độ nhanh có tương thích với ZDR và BAA không?

Có.