Comment fonctionne l’API Batch?
L’endpoint de l’API Batch, documenté ici, permet aux utilisateurs de soumettre des requêtes pour un traitement par lots asynchrone. Nous traiterons ces requêtes dans un délai de 24 heures. Les détails de chaque requête seront lus à partir d’un fichier téléversé au préalable, et les réponses seront écrites dans un fichier de sortie. Vous pouvez interroger l’objet batch pour obtenir des mises à jour de statut et les résultats.
Quelle est la tarification de l’API Batch?
Chaque modèle sera offert avec une réduction de coût de 50 % par rapport aux API synchrones. Voici plus d’information sur la tarification de notre API.
Quels modèles puis-je traiter par lot?
L’API Batch est largement disponible pour la plupart de nos modèles, mais pas tous. Veuillez consulter la documentation de référence sur les modèles pour vous assurer que le modèle que vous utilisez prend en charge l’API Batch.
Que se passe-t-il si l’API ne termine pas ma requête dans le délai promis?
Nous visons à traiter toutes les requêtes dans un délai de 24 heures. Si un lot expire (c.-à-d. qu’il n’a pas pu être terminé dans la fenêtre de temps prévue par le SLA), le travail restant est annulé et tout travail déjà terminé est retourné. Les développeurs seront facturés pour tout travail terminé.
Quelle est la limite du nombre de requêtes que je peux regrouper en lot?
Les API d’embeddings ont une limite de 1 million de requêtes en file d’attente à la fois.
Pour toutes les autres API, il n’y a aucune limite au nombre de requêtes que vous pouvez regrouper en lot; toutefois, chaque niveau d’utilisation a une limite de débit batch associée. Votre limite de débit batch comprend le nombre maximal de tokens d’entrée que vous avez en file d’attente à un moment donné. Vous pouvez trouver vos limites de débit ici.
Puis-je modifier le délai avant de recevoir une réponse de l’API Batch?
Notre fenêtre de temps actuellement spécifiée est de 24 heures. Nous ne pouvons actuellement pas modifier cette période.
La diffusion en continu est-elle prise en charge par l’API Batch?
Non, la diffusion en continu n’est pas prise en charge par l’API Batch. Les requêtes batch retournent les résultats au moyen de fichiers de sortie plutôt que de réponses diffusées en continu.
Les images sont-elles prises en charge par l’API Batch?
Oui, les images sont prises en charge par l’API Batch.
J’ai reçu le message d’erreur « The URL provided for this request does not prefix-match the batch endpoint ». Que dois-je faire?
Si vous obtenez cette erreur, cela signifie que votre URL est mal formatée pour l’endpoint de l’API Batch. Veuillez consulter notre documentation ici pour vous assurer que vous appelez correctement l’endpoint.
L’utilisation de l’API Batch est-elle comptabilisée dans mes autres limites de débit?
Les limites de débit de l’API Batch sont complètement distinctes des limites existantes.
Que se passe-t-il si un lot est annulé?
Si un lot est annulé manuellement, tous les résultats déjà terminés sont retournés. Les développeurs seront facturés pour tout travail terminé.
Que se passe-t-il si un lot expire?
Si un lot expire (c.-à-d. qu’il n’a pas pu être terminé dans la fenêtre de temps prévue par le SLA), le travail restant est annulé et tout travail déjà terminé est retourné. Les développeurs seront facturés pour tout travail terminé.
Quels statuts puis-je m’attendre à voir pour les tâches batch?
La tâche batch peut avoir l’un des statuts suivants : Validation, Échec, En cours, Finalisation, Terminé, Expiré, Annulation et Annulé. Si vous vérifiez les valeurs de statut de l’API par programmation, utilisez les littéraux en minuscules : validating, failed, in_progress, finalizing, completed, expired, cancelling et cancelled.
Validation : La validation du fichier téléversé est en cours avant que le lot puisse commencer.
Échec : Le fichier a échoué au processus de validation.
En cours : Le fichier a été validé avec succès et le traitement du lot est en cours.
Finalisation : La tâche batch est terminée et les résultats sont en préparation.
Terminé : La tâche batch est terminée et les résultats sont prêts.
Expiré : Le lot n’a pas pu être terminé dans la fenêtre de temps prévue par le SLA.
Annulation : L’annulation de la tâche batch a été amorcée.
Annulé : La tâche batch a été annulée.
Comment puis-je vérifier quelles tâches batch j’ai déjà créées?
Vous pouvez obtenir la liste de toutes vos tâches batch au moyen de l’appel API indiqué ici.
L’absence de conservation des données est-elle prise en charge par cet endpoint?
Si l’absence de conservation des données est activée pour votre organisation, veuillez noter qu’elle ne s’applique pas à l’API Batch. Les organisations ZDR peuvent créer des tâches batch, mais les fichiers d’entrée batch, les sorties, les erreurs et les artefacts intermédiaires sont conservés conformément aux politiques de conservation configurées pour Batch, File Service et Sediment.