Hiện chúng tôi cung cấp Xử lý ưu tiên cho khách hàng Enterprise API muốn truy cập hiệu suất nhanh hơn, ổn định hơn trên một số mô hình nhất định. Dưới đây là câu trả lời cho các câu hỏi thường gặp về cách hoạt động, giá, tình trạng hỗ trợ mô hình, giới hạn tốc độ, độ tin cậy, chính sách và điều kiện sử dụng.
Tìm hiểu thêm tại đây.
Quyền truy cập
Ai có thể truy cập Xử lý ưu tiên?
Xử lý ưu tiên hiện dành cho khách hàng Enterprise.
Xử lý ưu tiên có sẵn ở tất cả khu vực không?
Tình trạng cung cấp Xử lý ưu tiên phụ thuộc vào luật và quy định hiện hành tại từng khu vực pháp lý. Vui lòng liên hệ với Account Director của bạn nếu bạn có thắc mắc về tình trạng cung cấp tại khu vực của mình.
Giá
Làm cách nào để bắt đầu dùng Xử lý ưu tiên?
Khách hàng có thể chuyển lưu lượng đến Xử lý ưu tiên theo từng yêu cầu bằng tham số hiện có service_tier, với tùy chọn service_tier="priority".
Tính năng này tương tác với Cấp năng lực xử lý như thế nào?
Cấp năng lực xử lý sẽ vẫn tách biệt với Xử lý ưu tiên. Các yêu cầu gửi đến Xử lý ưu tiên sẽ được tính phí riêng và không được tính vào các gói TPM Cấp năng lực xử lý mà bạn đã mua.
Tôi có thể tự động gửi lưu lượng vượt mức Cấp năng lực xử lý sang Xử lý ưu tiên không?
Không. Lưu lượng được gửi đến Cấp năng lực xử lý sẽ không tự động chuyển phần vượt mức sang Xử lý ưu tiên.
Xử lý ưu tiên được tính phí như thế nào?
Các token được phục vụ bằng Xử lý ưu tiên sẽ được tính phí theo từng token, với mức giá cao hơn so với giá xử lý Tiêu chuẩn.
Cam kết hằng năm của tôi có gắn với một chế độ xử lý cụ thể không?
Không. Tất cả chế độ xử lý đều được tính vào cam kết chi tiêu Enterprise hằng năm của bạn.
Tôi có còn được giảm giá cho token đầu vào được lưu vào bộ nhớ đệm không?
Có! Đầu vào được lưu vào bộ nhớ đệm được giảm giá 50-75% như trong quy trình xử lý Tiêu chuẩn.
Làm cách nào để xem mức sử dụng và chi tiêu cho Xử lý ưu tiên?
Để xem các token được Xử lý ưu tiên xử lý, hãy vào bảng điều khiển Usage, chọn Chat Completions hoặc Responses, rồi Group by Gói dịch vụ. Để xem chi phí Xử lý ưu tiên, hãy vào bảng điều khiển Usage rồi chọn Group by Line Item.
Mô hình
Xử lý ưu tiên có dùng được cho ngữ cảnh dài, mô hình tinh chỉnh, embeddings, v.v. không?
Hiện tại thì chưa. Trong tương lai, chúng tôi sẽ đánh giá việc cung cấp Xử lý ưu tiên cho các sản phẩm bổ sung ngoài các mô hình mới nhất của chúng tôi.
Các phương thức khác hoạt động thế nào với Xử lý ưu tiên?
Xử lý ưu tiên hỗ trợ cùng các khả năng đa phương thức hiện có trên Tiêu chuẩn. Cụ thể, hình ảnh có thể được dùng làm đầu vào cho Xử lý ưu tiên và được xử lý với cùng độ trễ nhanh.
Các mô hình trong tương lai có được hỗ trợ không?
Chúng tôi dự định cung cấp Xử lý ưu tiên cho các mô hình GPT mới, nhưng không đảm bảo mọi mô hình đều sẽ được hỗ trợ.
Giới hạn tốc độ
Các giới hạn tốc độ là gì?
Mức tiêu thụ Xử lý ưu tiên được xử lý giống như lưu lượng API tiêu chuẩn đối với các giới hạn tốc độ.
Giới hạn tốc độ tăng lưu lượng là gì?
Xử lý ưu tiên có các giới hạn tốc độ tăng lưu lượng để đảm bảo hiệu suất cao ổn định cho tất cả khách hàng, đồng thời vẫn cung cấp mức giá linh hoạt theo nhu cầu. Trong một số trường hợp hiếm gặp, nếu (a) hiệu suất Xử lý ưu tiên bị suy giảm VÀ (b) lưu lượng của khách hàng tăng quá nhanh, thì một số yêu cầu Ưu tiên có thể bị hạ xuống quy trình xử lý Tiêu chuẩn.
Giới hạn tốc độ tăng lưu lượng hiện tại của Xử lý ưu tiên được nêu trong tài liệu chính của chúng tôi tại đây.
Các phương pháp hay nhất để duy trì trong giới hạn tốc độ tăng lưu lượng của bạn
Tăng lưu lượng từ từ khi thay đổi mô hình. Ví dụ: nếu ứng dụng của bạn đang chuyển từ một bản snapshot trước đó sang bản mới, hãy dùng cờ tính năng để chuyển lưu lượng trong vài giờ thay vì chuyển tất cả cùng lúc.
Tránh chạy các tác vụ xử lý dữ liệu lớn hoặc tác vụ không đồng bộ trên Xử lý ưu tiên. Các tác vụ này có thể làm lưu lượng tăng rất nhanh và thường không cần đến hiệu suất được cải thiện của Xử lý ưu tiên.
Nếu bạn thường xuyên gặp các giới hạn tốc độ tăng lưu lượng, hãy cân nhắc mua hạn mức Cấp năng lực xử lý thay thế.
Các giới hạn tốc độ tăng lưu lượng có được dùng chung giữa các dự án hoặc tổ chức của tôi không?
Có, toàn bộ lưu lượng của bạn đều góp vào cùng một giới hạn tốc độ tăng lưu lượng.
Chính sách
Điều gì xảy ra nếu Xử lý ưu tiên không đạt mục tiêu về độ trễ?
Vui lòng liên hệ với AD của bạn nếu có bất kỳ câu hỏi hoặc mối quan ngại nào. SLA của Xử lý ưu tiên sẽ được xử lý giống như SLA của Cấp năng lực xử lý; chúng tôi sẽ cung cấp tín dụng dịch vụ nếu không đáp ứng các SLA đó cho khách hàng có thỏa thuận Enterprise trong một khoảng thời gian nhất định.
Xử lý ưu tiên có tương thích với nơi lưu trú dữ liệu không?
Có.
Xử lý ưu tiên có tương thích với ZDR và BAA không?
Có.