Batch API는 어떻게 작동하나요?
여기에 문서화된 Batch API 엔드포인트를 사용하면 비동기 배치 처리를 위해 요청을 제출할 수 있습니다. 이러한 요청은 24시간 이내에 처리됩니다. 각 요청의 세부 정보는 미리 업로드된 파일에서 읽고, 응답은 출력 파일에 기록됩니다. 상태 업데이트와 결과를 확인하기 위해 배치 객체를 조회할 수 있습니다.
Batch API의 가격은 어떻게 되나요?
각 모델은 동기 API 대비 50% 비용 할인으로 제공됩니다. API 가격에 대한 자세한 정보는 여기에서 확인할 수 있습니다.
어떤 모델을 배치 처리할 수 있나요?
Batch API는 대부분의 모델에서 폭넓게 사용할 수 있지만, 모든 모델에서 사용할 수 있는 것은 아닙니다. 사용 중인 모델이 Batch API를 지원하는지 확인하려면 모델 참조 문서를 참고하세요.
API가 약속된 시간 내에 요청을 완료하지 않으면 어떻게 되나요?
모든 요청을 24시간 이내에 처리하는 것을 목표로 합니다. 배치가 만료되면(즉, SLA 시간 범위 내에 완료할 수 없으면) 남은 작업은 취소되고 이미 완료된 작업은 반환됩니다. 개발자에게는 완료된 작업에 대해 요금이 청구됩니다.
배치 처리할 수 있는 요청 수에는 어떤 제한이 있나요?
Embeddings API는 한 번에 대기열에 넣을 수 있는 요청이 100만 개로 제한됩니다.
다른 모든 API에서는 배치 처리할 수 있는 요청 수에 제한이 없지만, 각 사용량 티어에는 관련 배치 요청 한도가 있습니다. 배치 요청 한도에는 한 번에 대기열에 넣을 수 있는 입력 토큰의 최대 수가 포함됩니다. 요청 한도는 여기에서 확인할 수 있습니다.
Batch API에서 응답을 받는 데 걸리는 시간을 변경할 수 있나요?
현재 지정된 시간 범위는 24시간입니다. 현재 이 기간은 변경할 수 없습니다.
Batch API에서 스트리밍이 지원되나요?
아니요, Batch API에서는 스트리밍이 지원되지 않습니다. 배치 요청은 스트리밍 응답이 아니라 출력 파일을 통해 결과를 반환합니다.
Batch API에서 이미지가 지원되나요?
예, Batch API에서는 이미지가 지원됩니다.
“The URL provided for this request does not prefix-match the batch endpoint”라는 오류 메시지를 받았습니다. 어떻게 해야 하나요?
이 오류가 발생하면 URL이 Batch API 엔드포인트에 맞게 올바르게 형식화되지 않았다는 의미입니다. 엔드포인트를 올바르게 호출하고 있는지 확인하려면 여기의 문서를 참고하세요.
Batch API 사용량이 다른 요청 한도에 포함되나요?
Batch API 요청 한도는 기존 한도와 완전히 별개입니다.
배치가 취소되면 어떻게 되나요?
배치를 수동으로 취소하면 이미 완료된 결과가 반환됩니다. 개발자에게는 완료된 작업에 대해 요금이 청구됩니다.
배치가 만료되면 어떻게 되나요?
배치가 만료되면(즉, SLA 시간 범위 내에 완료할 수 없으면) 남은 작업은 취소되고 이미 완료된 작업은 반환됩니다. 개발자에게는 완료된 작업에 대해 요금이 청구됩니다.
배치 작업에서는 어떤 상태가 표시될 수 있나요?
배치 작업은 다음 상태 중 하나일 수 있습니다: 검증 중, 실패, 진행 중, 마무리 중, 완료됨, 만료됨, 취소 중, 취소됨. API 상태 값을 프로그래밍 방식으로 확인하는 경우 소문자 리터럴을 사용하세요: validating, failed, in_progress, finalizing, completed, expired, cancelling, cancelled.
검증 중: 배치를 시작하기 전에 업로드된 파일의 검증이 진행 중입니다.
실패: 파일이 검증 프로세스를 통과하지 못했습니다.
진행 중: 파일이 성공적으로 검증되었고 배치 프로세스가 진행 중입니다.
마무리 중: 배치 작업이 완료되었으며 결과를 준비 중입니다.
완료됨: 배치 작업이 완료되었고 결과가 준비되었습니다.
만료됨: 배치를 SLA 시간 범위 내에 완료할 수 없었습니다.
취소 중: 배치 작업 취소가 시작되었습니다.
취소됨: 배치 작업이 취소되었습니다.
이미 생성한 배치 작업은 어떻게 확인할 수 있나요?
여기에 지정된 API 호출을 사용하여 모든 배치 작업 목록을 가져올 수 있습니다.
이 엔드포인트에서 데이터 비보관이 지원되나요?
조직에 데이터 비보관이 활성화되어 있더라도, 데이터 비보관은 Batch API에 적용되지 않습니다. ZDR 조직은 배치 작업을 생성할 수 있지만, 배치 입력 파일, 출력, 오류 및 중간 산출물은 구성된 Batch, File Service, Sediment 보관 정책에 따라 보관됩니다.