Comment fonctionne l’API Batch ?
L’endpoint de l’API Batch, documenté ici, permet aux utilisateurs de soumettre des requêtes pour un traitement par lots asynchrone. Nous traiterons ces requêtes sous 24 heures. Les détails de chaque requête seront lus depuis un fichier téléversé au préalable, et les réponses seront écrites dans un fichier de sortie. Vous pouvez interroger l’objet batch pour obtenir les mises à jour de statut et les résultats.
Quelle est la tarification de l’API Batch ?
Chaque modèle sera proposé avec une réduction de coût de 50 % par rapport aux API synchrones. Voici plus d’informations sur notre tarification de l’API.
Quels modèles puis-je traiter par lot ?
L’API Batch est largement disponible sur la plupart de nos modèles, mais pas tous. Veuillez consulter la documentation de référence des modèles pour vous assurer que le modèle que vous utilisez prend en charge l’API Batch.
Que se passe-t-il si l’API ne termine pas ma requête dans le délai promis ?
Nous visons à traiter toutes les requêtes sous 24 heures. Si un lot expire (c’est-à-dire s’il n’a pas pu être terminé dans la fenêtre temporelle du SLA), le travail restant est annulé et tout travail déjà terminé est renvoyé. Les développeurs seront facturés pour tout travail terminé.
Quelle est la limite du nombre de requêtes que je peux traiter par lot ?
Les API Embeddings ont une limite de 1 million de requêtes en file d’attente à la fois.
Pour toutes les autres API, le nombre de requêtes que vous pouvez traiter par lot n’est pas limité ; toutefois, chaque niveau d’utilisation a une limite de débit batch associée. Votre limite de débit batch inclut le nombre maximal de tokens d’entrée que vous avez en file d’attente à un moment donné. Vous trouverez vos limites de débit ici.
Puis-je modifier le délai de réponse de l’API Batch ?
Notre fenêtre temporelle actuellement spécifiée est de 24 heures. Nous ne pouvons actuellement pas modifier cette période.
Le streaming est-il pris en charge par l’API Batch ?
Non, le streaming n’est pas pris en charge par l’API Batch. Les requêtes batch renvoient les résultats via des fichiers de sortie plutôt que sous forme de réponses en streaming.
Les images sont-elles prises en charge par l’API Batch ?
Oui, les images sont prises en charge par l’API Batch.
J’ai reçu le message d’erreur « The URL provided for this request does not prefix-match the batch endpoint ». Que dois-je faire ?
Si vous obtenez cette erreur, cela signifie que votre URL est mal formatée pour l’endpoint de l’API Batch. Veuillez consulter notre documentation ici pour vous assurer que vous appelez correctement l’endpoint.
L’utilisation de l’API Batch est-elle décomptée de mes autres limites de débit ?
Les limites de débit de l’API Batch sont totalement distinctes des limites existantes.
Que se passe-t-il si un lot est annulé ?
Si un lot est annulé manuellement, les résultats déjà terminés sont renvoyés. Les développeurs seront facturés pour tout travail terminé.
Que se passe-t-il si un lot expire ?
Si un lot expire (c’est-à-dire s’il n’a pas pu être terminé dans la fenêtre temporelle du SLA), le travail restant est annulé et tout travail déjà terminé est renvoyé. Les développeurs seront facturés pour tout travail terminé.
À quels statuts puis-je m’attendre pour les tâches batch ?
La tâche batch peut avoir l’un des statuts suivants : Validating, Failed, In Progress, Finalizing, Completed, Expired, Cancelling et Cancelled. Si vous vérifiez les valeurs de statut de l’API par programmation, utilisez les littéraux en minuscules : validating, failed, in_progress, finalizing, completed, expired, cancelling et cancelled.
Validating : La validation du fichier téléversé est en cours avant que le lot puisse commencer.
Failed : Le fichier a échoué au processus de validation.
In Progress : Le fichier a été validé avec succès et le traitement du lot est en cours.
Finalizing : La tâche batch est terminée et les résultats sont en cours de préparation.
Completed : La tâche batch est terminée et les résultats sont prêts.
Expired : Le lot n’a pas pu être terminé dans la fenêtre temporelle du SLA.
Cancelling : L’annulation de la tâche batch a été lancée.
Cancelled : La tâche batch a été annulée.
Comment puis-je vérifier quelles tâches batch j’ai déjà créées ?
Vous pouvez obtenir la liste de toutes vos tâches batch à l’aide de l’appel d’API indiqué ici.
La politique de non-conservation des données est-elle prise en charge sur cet endpoint ?
Si la politique de non-conservation des données est activée pour votre organisation, veuillez noter qu’elle ne s’applique pas à l’API Batch. Les organisations ZDR peuvent créer des tâches batch, mais les fichiers d’entrée batch, les sorties, les erreurs et les artefacts intermédiaires sont conservés conformément aux politiques de conservation configurées pour Batch, File Service et Sediment.