¿Cómo funciona la API Batch?
El endpoint de la API Batch, como se documenta aquí, permite a los usuarios enviar solicitudes para procesamiento por lotes asincrónico. Procesaremos estas solicitudes en un plazo de 24 horas. Los detalles de cada solicitud se leerán desde un archivo cargado previamente, y las respuestas se escribirán en un archivo de salida. Puedes consultar el objeto batch para ver actualizaciones de estado y resultados.
¿Cuál es el precio de la API Batch?
Cada modelo se ofrecerá con un 50% de descuento en el costo vs. las API sincrónicas. Aquí tienes más información sobre los precios de nuestra API.
¿Qué modelos puedo procesar en batch?
La API Batch está ampliamente disponible en la mayoría de nuestros modelos, pero no en todos. Consulta la documentación de referencia de modelos para asegurarte de que el modelo que estás usando sea compatible con la API Batch.
¿Qué pasa si la API no completa mi solicitud dentro del tiempo prometido?
Buscamos completar todas las solicitudes en un plazo de 24 horas. Si un batch expira (es decir, no se pudo completar dentro de la ventana de tiempo del SLA), entonces el trabajo restante se cancela y se devuelve cualquier trabajo ya completado. A los desarrolladores se les cobrará por cualquier trabajo completado.
¿Cuál es el límite de cuántas solicitudes puedo enviar en batch?
Las API de embeddings tienen un límite de 1 millón de solicitudes encoladas al mismo tiempo.
Para todas las demás API, no hay límite en la cantidad de solicitudes que puedes enviar en batch; sin embargo, cada nivel de uso tiene un límite de tasa de batch asociado. Tu límite de tasa de batch incluye la cantidad máxima de tokens de entrada que tienes encolados al mismo tiempo. Puedes encontrar tus límites de tasa aquí.
¿Puedo cambiar el tiempo que tarda en responder la API Batch?
Nuestra ventana de tiempo especificada actualmente es de 24 horas. Por ahora no podemos cambiar este período.
¿Se admite streaming en la API Batch?
No, no se admite streaming en la API Batch.
¿Se admiten imágenes en la API Batch?
Sí, se admiten imágenes en la API Batch.
Me apareció el mensaje de error “The URL provided for this request does not prefix-match the batch endpoint”. ¿Qué debo hacer?
Si recibes este error, significa que tu URL está mal formateada para el endpoint de la API Batch. Consulta nuestra documentación aquí para asegurarte de que estés llamando al endpoint correctamente.
¿El uso de la API Batch cuenta para mis otros límites de tasa?
Los límites de tasa de la API Batch son completamente independientes de los límites existentes.
¿Qué pasa si se cancela un batch?
Si un batch se cancela manualmente, se devuelven los resultados que ya se hayan completado. A los desarrolladores se les cobrará por cualquier trabajo completado.
¿Qué pasa si un batch expira?
Si un batch expira (es decir, no se pudo completar dentro de la ventana de tiempo del SLA), entonces el trabajo restante se cancela y se devuelve cualquier trabajo ya completado. A los desarrolladores se les cobrará por cualquier trabajo completado.
¿Qué estados puedo esperar en trabajos batch?
El trabajo batch puede tener cualquiera de los siguientes estados:
Validating: La validación del archivo cargado está en curso antes de que pueda iniciar el batch.
Failed: El archivo no superó el proceso de validación.
In Progress: El archivo se validó correctamente y el proceso batch está en marcha.
Finalizing: El trabajo batch finalizó y se están preparando los resultados.
Completed: El trabajo batch se completó y los resultados están listos.
Expired: No se pudo completar el batch dentro de la ventana de tiempo del SLA.
Canceling: Se inició la cancelación del trabajo batch.
Canceled: El trabajo batch fue cancelado.
¿Cómo puedo revisar qué trabajos batch ya creé?
Puedes obtener una lista de todos tus trabajos batch usando la llamada a la API indicada aquí.
¿Se admite retención de datos cero en este endpoint?
Si tienes habilitada la retención de datos cero para tu organización, ten en cuenta que la retención de datos cero no se admite en este endpoint.