¿Cómo funciona la API Batch?
El punto de acceso de la API Batch, documentado aquí, permite a los usuarios enviar solicitudes para procesamiento por lotes asíncrono. Procesaremos estas solicitudes en un plazo de 24 horas. Los detalles de cada solicitud se leerán desde un archivo cargado previamente, y las respuestas se escribirán en un archivo de salida. Puedes consultar el objeto de lote para ver actualizaciones de estado y resultados.
¿Cuál es el precio de la API Batch?
Cada modelo se ofrecerá con un descuento del 50 % en el costo en comparación con las API síncronas. Aquí tienes más información sobre los precios de nuestra API.
¿Qué modelos puedo procesar por lotes?
La API Batch está disponible ampliamente en la mayoría de nuestros modelos, aunque no en todos. Consulta la documentación de referencia de modelos para asegurarte de que el modelo que estás usando admita la API Batch.
¿Qué sucede si la API no completa mi solicitud dentro del tiempo prometido?
Nuestro objetivo es completar todas las solicitudes en un plazo de 24 horas. Si un lote vence (es decir, no pudo completarse dentro del período de tiempo del SLA), el trabajo restante se cancela y se devuelve cualquier trabajo ya completado. Se cobrará a los desarrolladores por cualquier trabajo completado.
¿Cuál es el límite de solicitudes que puedo procesar por lotes?
Las API de embeddings tienen un límite de 1 millón de solicitudes en cola a la vez.
Para todas las demás API, no hay límite en la cantidad de solicitudes que puedes procesar por lotes; sin embargo, cada nivel de uso tiene un límite de solicitudes por lotes asociado. Tu límite de solicitudes por lotes incluye la cantidad máxima de tokens de entrada que tienes en cola al mismo tiempo. Puedes encontrar tus límites de solicitudes aquí.
¿Puedo cambiar el tiempo que tarda la API Batch en responder?
Nuestro período de tiempo especificado actual es de 24 horas. Actualmente no podemos cambiar este período.
¿La API Batch admite streaming?
No, la API Batch no admite streaming. Las solicitudes por lotes devuelven resultados mediante archivos de salida, en lugar de respuestas transmitidas por streaming.
¿La API Batch admite imágenes?
Sí, la API Batch admite imágenes.
Recibí un mensaje de error “The URL provided for this request does not prefix-match the batch endpoint”. ¿Qué debo hacer?
Si recibes este error, significa que tu URL tiene un formato incorrecto para el punto de acceso de la API Batch. Consulta nuestra documentación aquí para asegurarte de que estás llamando correctamente al punto de acceso.
¿El uso de la API Batch cuenta para mis otros límites de solicitudes?
Los límites de solicitudes de la API Batch son completamente independientes de los límites existentes.
¿Qué sucede si se cancela un lote?
Si un lote se cancela manualmente, se devuelven los resultados que ya se hayan completado. Se cobrará a los desarrolladores por cualquier trabajo completado.
¿Qué sucede si un lote vence?
Si un lote vence (es decir, no pudo completarse dentro del período de tiempo del SLA), el trabajo restante se cancela y se devuelve cualquier trabajo ya completado. Se cobrará a los desarrolladores por cualquier trabajo completado.
¿Qué estados puedo esperar en los trabajos por lotes?
El trabajo por lotes puede tener cualquiera de los siguientes estados: validando, fallido, en curso, finalizando, completado, vencido, cancelando y cancelado. Si verificas los valores de estado de la API de forma programática, usa los literales en minúsculas: validating, failed, in_progress, finalizing, completed, expired, cancelling y cancelled.
Validando: la validación del archivo cargado está en curso antes de que pueda comenzar el lote.
Fallido: el archivo no superó el proceso de validación.
En curso: el archivo se validó correctamente y el proceso por lotes está en marcha.
Finalizando: el trabajo por lotes se completó y se están preparando los resultados.
Completado: el trabajo por lotes está completo y los resultados están listos.
Vencido: el lote no pudo completarse dentro del período de tiempo del SLA.
Cancelando: se inició la cancelación del trabajo por lotes.
Cancelado: el trabajo por lotes se canceló.
¿Cómo puedo verificar qué trabajos por lotes ya he creado?
Puedes obtener una lista de todos tus trabajos por lotes usando la llamada a la API especificada aquí.
¿Este punto de acceso admite la retención cero de datos?
Si tienes habilitada la retención cero de datos para tu organización, ten en cuenta que la retención cero de datos no se aplica a la API Batch. Las organizaciones con ZDR pueden crear trabajos por lotes, pero los archivos de entrada, las salidas, los errores y los artefactos intermedios del lote se conservan según las políticas de retención configuradas de Batch, File Service y Sediment.