Como a Batch API funciona?
O endpoint da Batch API, conforme documentado aqui, permite que os usuários enviem solicitações para processamento assíncrono em lote. Processaremos essas solicitações em até 24 horas. Os detalhes de cada solicitação serão lidos de um arquivo enviado previamente, e as respostas serão gravadas em um arquivo de saída. Você pode consultar o objeto de lote para obter atualizações de status e resultados.
Qual é o preço da Batch API?
Cada modelo será oferecido com 50% de desconto no custo em comparação com as APIs síncronas. Aqui há mais informações sobre os preços da nossa API.
Quais modelos posso usar em lote?
A Batch API está amplamente disponível na maioria dos nossos modelos, mas não em todos. Consulte a documentação de referência de modelos para garantir que o modelo que você está usando seja compatível com a Batch API.
O que acontece se a API não concluir minha solicitação dentro do prazo prometido?
Nosso objetivo é processar todas as solicitações em até 24 horas. Se um lote expirar (ou seja, se não puder ser concluído dentro da janela de tempo do SLA), o trabalho restante será cancelado, e qualquer trabalho já concluído será retornado. Os desenvolvedores serão cobrados por qualquer trabalho concluído.
Qual é o limite de solicitações que posso agrupar em lote?
As APIs de embeddings têm um limite de 1 milhão de solicitações enfileiradas por vez.
Para todas as outras APIs, não há limite para o número de solicitações que você pode agrupar em lote; no entanto, cada nível de uso tem um limite de taxa de lote associado. Seu limite de taxa de lote inclui o número máximo de tokens de entrada que você tem enfileirados ao mesmo tempo. Você pode encontrar seus limites de taxa aqui.
Posso alterar o tempo necessário para receber uma resposta da Batch API?
Nossa janela de tempo especificada atual é de 24 horas. No momento, não podemos alterar esse período.
Há suporte a streaming na Batch API?
Não, não há suporte a streaming na Batch API. As solicitações em lote retornam resultados por meio de arquivos de saída, em vez de respostas transmitidas por streaming.
Há suporte a imagens na Batch API?
Sim, há suporte a imagens na Batch API.
Recebi a mensagem de erro “The URL provided for this request does not prefix-match the batch endpoint”. O que devo fazer?
Se você receber esse erro, isso significa que sua URL está formatada incorretamente para o endpoint da Batch API. Consulte nossa documentação aqui para garantir que você esteja chamando o endpoint corretamente.
O uso da Batch API conta contra meus outros limites de taxa?
Os limites de taxa da Batch API são totalmente separados dos limites existentes.
O que acontece se um lote for cancelado?
Se um lote for cancelado manualmente, os resultados que já tiverem sido concluídos serão retornados. Os desenvolvedores serão cobrados por qualquer trabalho concluído.
O que acontece se um lote expirar?
Se um lote expirar (ou seja, se não puder ser concluído dentro da janela de tempo do SLA), o trabalho restante será cancelado, e qualquer trabalho já concluído será retornado. Os desenvolvedores serão cobrados por qualquer trabalho concluído.
Quais status posso esperar nas tarefas em lote?
A tarefa em lote pode ter qualquer um dos seguintes status: Validando, Falhou, Em andamento, Finalizando, Concluído, Expirado, Cancelando e Cancelado. Se você estiver verificando valores de status da API programaticamente, use os literais em minúsculas: validating, failed, in_progress, finalizing, completed, expired, cancelling e cancelled.
Validando: a validação do arquivo enviado está em andamento antes que o lote possa começar.
Falhou: o arquivo falhou no processo de validação.
Em andamento: o arquivo foi validado com sucesso, e o processo em lote está em andamento.
Finalizando: a tarefa em lote foi concluída, e os resultados estão sendo preparados.
Concluído: a tarefa em lote está concluída, e os resultados estão prontos.
Expirado: não foi possível concluir o lote dentro da janela de tempo do SLA.
Cancelando: o cancelamento da tarefa em lote foi iniciado.
Cancelado: a tarefa em lote foi cancelada.
Como posso verificar quais tarefas em lote já criei?
Você pode obter uma lista de todas as suas tarefas em lote usando a chamada de API especificada aqui.
Há suporte a zero retenção de dados neste endpoint?
Se você tiver zero retenção de dados habilitada para sua organização, observe que a zero retenção de dados não se aplica à Batch API. Organizações ZDR podem criar tarefas em lote, mas arquivos de entrada do lote, saídas, erros e artefatos intermediários são retidos de acordo com as políticas de retenção configuradas do Batch, File Service e Sediment.