Foire aux questions
L'API Batch d'OpenAI est conçue pour traiter de grands volumes de tâches d'IA non urgentes de manière asynchrone. Contrairement à l'API standard, qui fournit des réponses en temps réel, l'API Batch traite les requêtes dans une fenêtre pouvant aller jusqu'à 24 heures. Ce compromis permet des économies de coûts significatives et des limites de taux beaucoup plus élevées.
Vous pouvez vous attendre à économiser 50 % sur le prix standard de l'API pour les jetons d'entrée et de sortie sur la plupart des modèles en utilisant l'API Batch d'OpenAI. Cette remise rend le traitement de données à grande échelle et la génération de contenu beaucoup plus abordables.
L'API Batch d'OpenAI est parfaite pour des tâches comme l'analyse de données en masse, la génération de contenu hors ligne (par ex., des descriptions de produits) et les évaluations approfondies de modèles. Cependant, vous devriez l'éviter pour toute application nécessitant des réponses immédiates, comme les chatbots en temps réel ou le support client en direct, en raison de sa nature asynchrone.
Pour utiliser l'API Batch d'OpenAI, vous préparez d'abord vos requêtes dans un fichier JSONL, puis vous téléversez ce fichier sur les serveurs d'OpenAI. Ensuite, vous créez une tâche de traitement par lot en utilisant l'ID du fichier téléversé, vous surveillez son statut, et enfin vous téléchargez le fichier de résultats une fois le traitement terminé.
Les principales limitations de l'API Batch d'OpenAI incluent la fenêtre de complétion de 24 heures, ce qui la rend inadaptée aux tâches urgentes. Elle nécessite également un effort de développement important pour la configuration, la gestion et le dépannage, car ce n'est pas une solution simple et prête à l'emploi.
Non, l'API Batch d'OpenAI fonctionne avec ses propres limites de taux, distinctes et beaucoup plus élevées. Cette conception garantit que vos grandes tâches de traitement par lot en arrière-plan ne consomment pas le quota d'API nécessaire à vos applications en temps réel destinées aux utilisateurs, assurant ainsi le bon fonctionnement de vos services principaux.
