Comment fonctionne l’API Batch ?
L’endpoint API Batch, comme indiqué ici, permet aux utilisateurs de soumettre des requêtes pour un traitement asynchrone par lots. Nous traiterons ces requêtes sous 24 heures. Les détails de chaque requête seront lus à partir d’un fichier préalablement téléversé, et les réponses seront écrites dans un fichier de sortie. Vous pouvez interroger l’objet batch pour obtenir des mises à jour de statut et les résultats.
Quelle est la tarification de l’API Batch ?
Chaque modèle sera proposé avec une réduction de coût de 50 % par rapport aux API synchrones. Voici plus d’informations sur la tarification de notre API.
Quels modèles puis-je utiliser en batch ?
L’API Batch est largement disponible sur la plupart de nos modèles, mais pas tous. Veuillez consulter la documentation de référence des modèles pour vous assurer que le modèle que vous utilisez prend en charge l’API Batch.
Que se passe-t-il si l’API ne termine pas ma requête dans le délai promis ?
Nous visons à traiter toutes les requêtes sous 24 heures. Si un batch expire (c.-à-d. s’il n’a pas pu être terminé dans la fenêtre temporelle du SLA), le travail restant est annulé et tout travail déjà terminé est renvoyé. Les développeurs seront facturés pour tout travail terminé.
Quelle est la limite du nombre de requêtes que je peux traiter en batch ?
Les API d’embeddings ont une limite de 1 million de requêtes mises en file d’attente à un instant donné.
Pour toutes les autres API, il n’y a pas de limite au nombre de requêtes que vous pouvez traiter en batch ; cependant, chaque niveau d’usage a une limite de débit batch associée. Votre limite de débit batch comprend le nombre maximal de tokens d’entrée que vous avez mis en file d’attente à un moment donné. Vous pouvez consulter vos limites de débit ici.
Puis-je modifier le délai de réponse de l’API Batch ?
La fenêtre temporelle actuellement spécifiée est de 24 heures. Nous ne pouvons actuellement pas modifier cette durée.
Le streaming est-il pris en charge sur l’API Batch ?
Non, le streaming n’est pas pris en charge sur l’API Batch. Les requêtes batch renvoient les résultats via des fichiers de sortie plutôt que par des réponses en streaming.
Les images sont-elles prises en charge sur l’API Batch ?
Oui, les images sont prises en charge sur l’API Batch.
J’ai reçu le message d’erreur « The URL provided for this request does not prefix-match the batch endpoint ». Que dois-je faire ?
Si vous obtenez cette erreur, cela signifie que votre URL est mal formatée pour l’endpoint API Batch. Veuillez consulter notre documentation ici pour vous assurer que vous appelez correctement l’endpoint.
L’utilisation de l’API Batch est-elle décomptée de mes autres limites de débit ?
Les limites de débit de l’API Batch sont totalement distinctes des limites existantes.
Que se passe-t-il si un batch est annulé ?
Si un batch est annulé manuellement, tous les résultats déjà terminés sont renvoyés. Les développeurs seront facturés pour tout travail terminé.
Que se passe-t-il si un batch expire ?
Si un batch expire (c.-à-d. s’il n’a pas pu être terminé dans la fenêtre temporelle du SLA), le travail restant est annulé et tout travail déjà terminé est renvoyé. Les développeurs seront facturés pour tout travail terminé.
Quels statuts puis-je attendre pour les tâches batch ?
La tâche batch peut avoir l’un des statuts suivants : Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling et Cancelled. Si vous vérifiez les valeurs de statut de l’API par programmation, utilisez les littéraux en minuscules : validating, failed, in_progress, finalizing, completed, expired, cancelling et cancelled.
Validating: La validation du fichier téléversé est en cours avant que le batch puisse démarrer.
Failed: Le fichier a échoué au processus de validation.
In Progress: Le fichier a été validé avec succès et le processus batch est en cours.
Finalizing: La tâche batch est terminée et les résultats sont en cours de préparation.
Completed: La tâche batch est terminée et les résultats sont prêts.
Expired: Le batch n’a pas pu être terminé dans la fenêtre temporelle du SLA.
Cancelling: L’annulation de la tâche batch a été lancée.
Cancelled: La tâche batch a été annulée.
Comment puis-je vérifier quelles tâches batch j’ai déjà créées ?
Vous pouvez obtenir la liste de toutes vos tâches batch à l’aide de l’appel d’API indiqué ici.
La politique de non-conservation des données est-elle prise en charge sur cet endpoint ?
Si la politique de non-conservation des données est activée pour votre organisation, veuillez noter qu’elle ne s’applique pas à l’API Batch. Les organisations ZDR peuvent créer des tâches batch, mais les fichiers d’entrée batch, les sorties, les erreurs et les artefacts intermédiaires sont conservés conformément aux politiques de conservation configurées pour Batch, File Service et Sediment.