이제 특정 모델에서 더 빠르고 일관된 성능에 액세스하려는 Enterprise API 고객을 위해 Priority 처리를 제공합니다. 아래에서 작동 방식, 가격, 모델 제공 여부, 요청 한도, 안정성, 정책 및 자격에 관한 일반적인 질문에 대한 답변을 확인할 수 있습니다.
자세한 내용은 여기에서 확인하세요.
액세스
누가 Priority 처리에 액세스할 수 있나요?
Priority 처리는 현재 Enterprise 고객에게 제공됩니다.
Priority 처리는 모든 지역에서 사용할 수 있나요?
Priority 처리의 제공 여부는 각 관할권의 관련 법률 및 규정에 따라 달라집니다. 해당 지역에서의 제공 여부에 대해 궁금한 점이 있으면 Account Director에게 문의하세요.
가격
Priority 처리는 어떻게 사용하기 시작하나요?
고객은 기존 service_tier 매개변수와 service_tier="priority" 옵션을 사용하여 요청별로 트래픽을 Priority 처리로 보낼 수 있습니다.
이는 스케일 등급과 어떻게 상호 작용하나요?
스케일 등급은 Priority 처리와 별도로 유지됩니다. Priority 처리로 전송된 요청은 별도로 청구되며, 구매한 스케일 등급 TPM 번들에는 포함되지 않습니다.
스케일 등급의 초과 트래픽을 Priority 처리로 자동 전송할 수 있나요?
아니요. 스케일 등급으로 전송된 트래픽은 Priority 처리로 자동으로 넘어가지 않습니다.
Priority 처리는 어떻게 청구되나요?
Priority 처리에서 제공된 토큰은 토큰당 기준으로 청구되며, Standard 처리 요율 대비 프리미엄 가격이 적용됩니다.
연간 약정은 특정 처리 모드에 연결되나요?
아니요. 모든 처리 모드는 연간 Enterprise 지출 약정에 포함됩니다.
캐시된 입력 토큰에도 할인을 받을 수 있나요?
예! 캐시된 입력에는 Standard 처리와 동일하게 50~75% 할인이 적용됩니다.
Priority 처리 사용량과 지출은 어떻게 확인하나요?
Priority 처리로 처리된 토큰을 보려면 사용량 대시보드로 이동해 Chat Completions 또는 Responses를 선택한 다음 서비스 등급별로 그룹화하세요. Priority 처리 비용을 보려면 사용량 대시보드로 이동한 다음 라인 항목별 그룹화를 선택하세요.
모델
Priority 처리는 긴 컨텍스트, 파인튜닝된 모델, 임베딩 등에서 사용할 수 있나요?
현재는 아닙니다. 향후 최신 모델 외의 추가 제품에서도 Priority 처리를 제공할지 평가할 예정입니다.
다른 모달리티는 Priority 처리에서 어떻게 작동하나요?
Priority 처리는 Standard에서 사용할 수 있는 것과 동일한 멀티모달 기능을 지원합니다. 특히 이미지는 Priority 처리의 입력으로 사용할 수 있으며, 동일한 빠른 지연 시간으로 처리됩니다.
향후 모델도 지원되나요?
새로운 GPT 모델에 Priority 처리를 제공할 계획이지만, 모든 모델이 지원된다고 보장하지는 않습니다.
요청 한도
요청 한도는 어떻게 되나요?
Priority 처리 사용량은 요청 한도 측면에서 표준 API 트래픽과 동일하게 취급됩니다.
트래픽 증가율 한도는 무엇인가요?
Priority 처리에는 모든 고객에게 일관되게 높은 성능을 보장하는 동시에 유연한 온디맨드 가격을 제공하기 위해 트래픽 증가율 한도가 있습니다. (a) Priority 처리 성능이 저하되고 (b) 고객의 트래픽이 너무 빠르게 증가하는 경우, 드물게 일부 Priority 요청이 대신 Standard 처리로 다운그레이드될 수 있습니다.
현재 Priority 처리의 트래픽 증가율 한도는 기본 문서의 여기에 정의되어 있습니다.
트래픽 증가율 한도 내에서 유지하기 위한 모범 사례
모델을 변경할 때는 트래픽을 점진적으로 늘리세요. 예를 들어 애플리케이션이 이전 스냅샷에서 새 스냅샷으로 전환하는 경우, 한 번에 모두 전환하지 말고 기능 플래그를 사용해 몇 시간에 걸쳐 트래픽을 전환하세요.
대규모 데이터 처리 또는 비동기 작업을 Priority 처리에서 실행하지 마세요. 이러한 작업은 트래픽을 매우 빠르게 증가시킬 수 있으며, Priority 처리의 향상된 성능이 필요하지 않은 경우가 많습니다.
트래픽 증가율 한도에 자주 도달한다면 대신 스케일 등급 할당량 구매를 고려하세요.
트래픽 증가율 한도는 프로젝트나 조직 간에 공유되나요?
예, 모든 트래픽이 동일한 트래픽 증가율 한도에 반영됩니다.
정책
Priority 처리가 지연 시간 목표를 충족하지 못하면 어떻게 되나요?
질문이나 우려 사항이 있으면 AD에게 문의하세요. Priority 처리 SLA는 스케일 등급 SLA와 동일하게 취급되며, 특정 기간 동안 Enterprise 계약 고객에 대해 해당 SLA를 충족하지 못할 경우 서비스 크레딧이 제공됩니다.
Priority 처리는 데이터 레지던시와 호환되나요?
예.
Priority 처리는 ZDR 및 BAA와 호환되나요?
예.