Preguntas frecuentes
La Batch API de OpenAI está creada para procesar grandes volúmenes de tareas de IA no urgentes de forma asíncrona. A diferencia de la API estándar, que proporciona respuestas en tiempo real, la Batch API procesa las solicitudes en una ventana de hasta 24 horas. Esta contrapartida permite un ahorro de costos significativo y límites de tasa mucho más altos.
Puedes esperar ahorrar un 50 % sobre el precio estándar de la API tanto en los tokens de entrada como en los de salida en la mayoría de los modelos al utilizar la Batch API de OpenAI. Este descuento hace que el procesamiento de datos a gran escala y la generación de contenido sean significativamente más asequibles.
La Batch API de OpenAI es perfecta para tareas como el análisis masivo de datos, la generación de contenido sin conexión (p. ej., descripciones de productos) y las evaluaciones exhaustivas de modelos. Sin embargo, debes evitarla para cualquier aplicación que requiera respuestas inmediatas, como los chatbots en tiempo real o el soporte al cliente en vivo, debido a su naturaleza asíncrona.
Para usar la Batch API de OpenAI, primero preparas tus solicitudes en un archivo JSONL, luego subes este archivo a los servidores de OpenAI. A continuación, creas un trabajo por lotes utilizando el ID del archivo subido, monitoreas su estado y, finalmente, descargas el archivo de resultados una vez que el procesamiento ha finalizado.
Las principales limitaciones de la Batch API de OpenAI incluyen la ventana de finalización de 24 horas, lo que significa que no es adecuada para tareas urgentes. También requiere un esfuerzo de desarrollo significativo para la configuración, la gestión y la resolución de problemas, ya que no es una solución sencilla y lista para usar.
No, la Batch API de OpenAI opera con sus propios límites de tasa, que son separados y mucho más altos. Este diseño asegura que tus grandes trabajos por lotes en segundo plano no consuman la cuota de API necesaria para tus aplicaciones en tiempo real orientadas al usuario, manteniendo tus servicios principales funcionando sin problemas.
