Como funciona a API Batch?
O endpoint da API Batch, conforme documentado aqui, permite aos utilizadores submeter pedidos para processamento assíncrono em lote. Processaremos estes pedidos no prazo de 24 horas. Os detalhes de cada pedido serão lidos de um ficheiro previamente carregado, e as respostas serão escritas num ficheiro de saída. Pode consultar o objeto batch para atualizações de estado e resultados.
Qual é o preço da API Batch?
Cada modelo será disponibilizado com um desconto de 50% no custo face às APIs síncronas. Eis mais informações sobre os preços da nossa API.
Que modelos posso processar em batch?
A API Batch está amplamente disponível na maioria dos nossos modelos, mas não em todos. Consulte a documentação de referência de modelos para garantir que o modelo que está a utilizar suporta a API Batch.
O que acontece se a API não concluir o meu pedido dentro do prazo prometido?
O nosso objetivo é concluir todos os pedidos no prazo de 24 horas. Se um batch expirar (ou seja, não puder ser concluído dentro da janela temporal do SLA), o trabalho restante é cancelado e qualquer trabalho já concluído é devolvido. Será cobrado aos developers qualquer trabalho concluído.
Qual é o limite de pedidos que posso processar em batch?
As APIs de embeddings têm um limite de 1 milhão de pedidos em fila de espera ao mesmo tempo.
Para todas as outras APIs, não há limite para o número de pedidos que pode processar em batch; no entanto, cada nível de utilização tem um limite de taxa batch associado. O seu limite de taxa batch inclui o número máximo de tokens de entrada que tem em fila de espera ao mesmo tempo. Pode encontrar os seus limites de taxa aqui.
Posso alterar o tempo de resposta da API Batch?
A nossa janela temporal atualmente especificada é de 24 horas. Neste momento, não podemos alterar este período de tempo.
O streaming é suportado na API Batch?
Não, o streaming não é suportado na API Batch.
As imagens são suportadas na API Batch?
Sim, as imagens são suportadas na API Batch.
Recebi a mensagem de erro «The URL provided for this request does not prefix-match the batch endpoint». O que devo fazer?
Se receber este erro, significa que o seu URL está incorretamente formatado para o endpoint da API Batch. Consulte a nossa documentação aqui para se certificar de que está a chamar o endpoint corretamente.
A utilização da API Batch conta para os meus outros limites de taxa?
Os limites de taxa da API Batch são completamente separados dos limites existentes.
O que acontece se um batch for cancelado?
Se um batch for cancelado manualmente, então quaisquer resultados já concluídos são devolvidos. Será cobrado aos developers qualquer trabalho concluído.
O que acontece se um batch expirar?
Se um batch expirar (ou seja, não puder ser concluído dentro da janela temporal do SLA), o trabalho restante é cancelado e qualquer trabalho já concluído é devolvido. Será cobrado aos developers qualquer trabalho concluído.
Que estados posso esperar nos trabalhos batch?
O trabalho batch pode ter qualquer um dos seguintes estados:
Validating: A validação do ficheiro carregado está em curso antes de o batch poder começar.
Failed: O ficheiro falhou o processo de validação.
In Progress: O ficheiro foi validado com sucesso e o processo batch está em curso.
Finalizing: O trabalho batch foi concluído e os resultados estão a ser preparados.
Completed: O trabalho batch está concluído e os resultados estão prontos.
Expired: O batch não pôde ser concluído dentro da janela temporal do SLA.
Canceling: O cancelamento do trabalho batch foi iniciado.
Canceled: O trabalho batch foi cancelado.
Como posso verificar que trabalhos batch já criei?
Pode obter uma lista de todos os seus trabalhos batch usando a chamada à API especificada aqui.
A retenção zero de dados é suportada neste endpoint?
Se tiver a retenção zero de dados ativada para a sua organização, tenha em atenção que a retenção zero de dados não é suportada neste endpoint.