Batch API는 어떻게 작동하나요?
Batch API 엔드포인트는 여기에 문서화되어 있으며, 사용자가 비동기 배치 처리를 위한 요청을 제출할 수 있도록 해줍니다. 이러한 요청은 24시간 이내에 처리합니다. 각 요청의 세부 내용은 미리 업로드한 파일에서 읽어오며, 응답은 출력 파일에 기록됩니다. 배치 객체를 조회해 상태 업데이트와 결과를 확인할 수 있습니다.
Batch API의 가격은 어떻게 되나요?
각 모델은 동기식 API 대비 50% 비용 할인으로 제공됩니다. API 요금에 대한 자세한 내용은 여기에서 확인할 수 있습니다.
어떤 모델을 배치로 처리할 수 있나요?
Batch API는 대부분의 모델에서 광범위하게 사용할 수 있지만, 모든 모델에서 가능한 것은 아닙니다. 사용 중인 모델이 Batch API를 지원하는지 확인하려면 모델 레퍼런스 문서를 참조하세요.
약속된 시간 내에 API가 요청을 완료하지 못하면 어떻게 되나요?
모든 요청을 24시간 이내에 처리하는 것을 목표로 합니다. 배치가 만료되면(즉, SLA 시간 창 내에 완료되지 못하면) 남은 작업은 취소되고, 이미 완료된 작업은 반환됩니다. 개발자는 완료된 작업에 대해서는 요금이 청구됩니다.
배치로 묶을 수 있는 요청 수의 한도는 얼마인가요?
임베딩 API는 한 번에 큐에 대기시킬 수 있는 요청이 100만 건으로 제한됩니다.
그 외 모든 API는 배치할 수 있는 요청 수에 제한은 없지만, 각 사용 등급에는 배치 레이트 리밋이 연결되어 있습니다. 배치 레이트 리밋에는 한 번에 큐에 넣어둘 수 있는 입력 토큰의 최대 수가 포함됩니다. 레이트 리밋은 여기에서 확인할 수 있습니다.
Batch API 응답까지 걸리는 시간을 변경할 수 있나요?
현재 지정된 시간 창은 24시간입니다. 현재로서는 이 기간을 변경할 수 없습니다.
Batch API에서 스트리밍을 지원하나요?
아니요, Batch API에서는 스트리밍을 지원하지 않습니다.
Batch API에서 이미지를 지원하나요?
네, Batch API에서 이미지를 지원합니다.
“이 요청에 제공된 URL이 배치 엔드포인트와 접두사(prefix) 일치하지 않습니다”라는 오류 메시지가 나왔습니다. 어떻게 해야 하나요?
이 오류가 발생했다면, URL이 Batch API 엔드포인트에 맞게 올바르게 형식화되지 않았다는 뜻입니다. 엔드포인트를 올바르게 호출하고 있는지 확인하려면 여기의 문서를 참조하세요.
Batch API 사용량이 다른 레이트 리밋에 포함되나요?
Batch API 레이트 리밋은 기존 한도와 완전히 별개입니다.
배치가 취소되면 어떻게 되나요?
배치를 수동으로 취소하면, 이미 완료된 결과는 반환됩니다. 개발자는 완료된 작업에 대해서는 요금이 청구됩니다.
배치가 만료되면 어떻게 되나요?
배치가 만료되면(즉, SLA 시간 창 내에 완료되지 못하면) 남은 작업은 취소되고, 이미 완료된 작업은 반환됩니다. 개발자는 완료된 작업에 대해서는 요금이 청구됩니다.
배치 작업에서는 어떤 상태(status)가 표시되나요?
배치 작업은 다음 상태 중 하나일 수 있습니다:
Validating: 배치를 시작하기 전에 업로드된 파일의 유효성 검사가 진행 중입니다.
Failed: 파일이 유효성 검사 과정에서 실패했습니다.
In Progress: 파일이 성공적으로 검증되었고 배치 처리가 진행 중입니다.
Finalizing: 배치 작업이 완료되었고 결과를 준비하는 중입니다.
Completed: 배치 작업이 완료되었고 결과가 준비되었습니다.
Expired: SLA 시간 창 내에 배치를 완료하지 못했습니다.
Canceling: 배치 작업의 취소가 시작되었습니다.
Canceled: 배치 작업이 취소되었습니다.
이미 생성한 배치 작업을 어떻게 확인할 수 있나요?
여기에 명시된 API 호출을 사용해 모든 배치 작업 목록을 가져올 수 있습니다.
이 엔드포인트에서 zero data retention이 지원되나요?
조직에서 zero data retention을 활성화해 두었더라도, 이 엔드포인트에서는 zero data retention이 지원되지 않는다는 점에 유의하세요.