Una guía práctica de la referencia de la API por lotes de OpenAI

¿Alguna vez te has topado con un límite de velocidad justo cuando tienes una montaña de datos que procesar? Es el clásico dolor de cabeza de los desarrolladores. Tienes un trabajo masivo que ejecutar, pero enviar miles de solicitudes de API una por una es lento, consume tu presupuesto y es una forma segura de que te limiten el acceso. Pero, ¿y si no necesitas todas las respuestas en este mismo instante?

Aquí es donde entra en juego la API Batch de OpenAI. Es una herramienta diseñada específicamente para tareas asíncronas, que te permite enviar trabajos enormes, despreocuparte y volver más tarde a por los resultados. ¿Lo mejor? Cuesta la mitad y tiene límites de velocidad mucho más altos.

En esta guía, explicaremos qué es la API Batch, cómo funciona realmente y dónde brilla con luz propia. También hablaremos de los precios y, lo más importante, discutiremos cuándo una solución de IA en tiempo real es una opción mucho mejor, especialmente para cosas como el soporte al cliente.

¿Qué es la API Batch?

Antes de empezar, aclaremos rápidamente la diferencia entre las API síncronas y asíncronas. Una llamada a una API síncrona es como una llamada telefónica: haces una pregunta y tienes que esperar en línea para obtener una respuesta inmediata. Una llamada asíncrona, como la de la API Batch, es más como enviar un correo electrónico. Envías tu solicitud, vuelves a tus otras tareas y recibes una notificación cuando la respuesta está lista.

La API Batch de OpenAI está diseñada exactamente para ese tipo de trabajo a gran escala y no urgente. Según la propia documentación de OpenAI, procesa estos trabajos en un plazo de 24 horas y te ofrece un buen descuento del 50 % en comparación con sus primas en tiempo real.

Esto la hace increíblemente útil por varias razones:

• Te ahorra dinero: Ese descuento del 50 % es bastante importante cuando estás clasificando miles de reseñas de productos o incrustando una enorme biblioteca de contenido.

• Tiene límites de velocidad más altos: La API Batch funciona con una cuota separada y más generosa basada en el número de tokens que le envías. Esto significa que tus grandes trabajos offline no interferirán con las llamadas a la API en tiempo real del día a día de tu aplicación.

• Está hecha para tareas masivas: Si necesitas realizar evaluaciones, generar contenido para un sitio web completo o procesar un conjunto de datos masivo, hacerlo de una sola vez es mucho más sencillo que construir un complicado sistema de colas para llamadas síncronas.

Cómo funciona la API Batch de OpenAI paso a paso

Empezar a usar la API Batch es un flujo de trabajo bastante sencillo de cinco pasos. Veámoslo en detalle.

graph TD;

A[Paso 1: Preparar archivo por lotes en formato JSONL] --> B[Paso 2: Subir archivo a través de la API de archivos de OpenAI];  

B --> C[Paso 3: Crear y ejecutar el trabajo por lotes];  

C --> D{Paso 4: Comprobar el estado del trabajo};  

D -- en_progreso --> D;  

D -- completado --> E[Paso 5: Obtener los resultados];  

D -- fallido/cancelado --> F[El trabajo finaliza];  

Paso 1: Prepara tu archivo por lotes en formato JSONL

Primero, tienes que agrupar todas tus solicitudes individuales en un solo archivo. La API Batch utiliza el formato JSON Lines, o ".jsonl", que en realidad es solo un archivo de texto donde cada línea es su propio objeto JSON válido. Piensa en cada objeto como una única solicitud de API que quieres hacer.

Así es como se verían dos solicitudes en un archivo ".jsonl" para el endpoint "/v1/chat/completions":

{"custom_id": "request-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-4o-mini", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What is the capital of France?"}]}}  

{"custom_id": "request-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-4o-mini", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Summarize the plot of 'Dune'."}]}}  

Paso 2: Sube tu archivo

Una vez que tu archivo ".jsonl" esté listo, súbelo usando la API de archivos de OpenAI. La parte importante aquí es establecer el parámetro "purpose" en "batch". Esto le dice a OpenAI que el archivo está destinado a un trabajo de procesamiento por lotes.

Paso 3: Crea y ejecuta el trabajo por lotes

Con tu archivo subido, ya puedes iniciar el trabajo por lotes. Usarás el "input_file_id" que obtuviste en el paso de subida del archivo. La "completion_window" está fijada en "24h" por ahora, así que solo necesitas apuntar al endpoint que estás utilizando, como "/v1/chat/completions".

Paso 4: Comprueba el estado del trabajo

Después de crear el trabajo, no comienza inmediatamente. Tiene que pasar por varias etapas. Puedes comprobar su progreso en cualquier momento haciendo ping al endpoint de lotes con tu ID de trabajo. El estado será uno de los siguientes:

• validating: Se está comprobando si hay errores en el archivo de entrada.

• in_progress: El trabajo está en marcha.

• completed: Todo ha terminado y tus resultados están listos.

• failed: Algo salió mal durante la validación o el procesamiento.

• cancelled: Tú (o alguien de tu equipo) detuvo el trabajo manualmente.

Paso 5: Obtén tus resultados

Cuando el estado finalmente llegue a "completed", el objeto de respuesta contendrá dos nuevos ID de archivo: un "output_file_id" para todas las solicitudes exitosas y un "error_file_id" para cualquiera que haya fallado en el camino.

A continuación, puedes descargar el contenido del archivo de salida. Será otro archivo ".jsonl", donde cada línea contiene el resultado de una de tus solicitudes originales, convenientemente asociado con su "custom_id".

Casos de uso clave de la API Batch de OpenAI (y cuándo buscar otra herramienta)

La API Batch es una gran herramienta, pero no es la herramienta adecuada para todos los trabajos. Saber cuándo usarla y cuándo no, es la mitad de la batalla.

Casos de uso perfectos

La API Batch es tu mejor aliada para cualquier tarea a gran escala en la que no necesites una respuesta inmediata. Piensa en cosas como:

• Clasificación de datos a gran escala: Realizar análisis de sentimiento en miles de reseñas de clientes durante la noche mientras duermes.

• Generación de contenido offline: Crear metadescripciones de SEO para cada página de un sitio web o resúmenes de productos para todo un catálogo de comercio electrónico.

• Evaluaciones de modelos: Probar un modelo afinado con un conjunto de datos enorme para ver qué tan bien funciona.

• Preprocesamiento de datos: Limpiar, formatear o traducir conjuntos de datos de texto masivos antes de introducirlos en otro sistema.

Cuándo no usar la API Batch: La necesidad de respuestas en tiempo real

El mayor inconveniente de la API Batch es que es asíncrona por diseño. Ese tiempo de respuesta de 24 horas, aunque a menudo sea más rápido, la convierte en una opción inviable para cualquier tarea que necesite una respuesta inmediata y conversacional.

Esto es especialmente cierto para el soporte al cliente. Si un cliente está en un chat en vivo pidiendo ayuda, no puede esperar horas, y mucho menos un día entero, para obtener una respuesta. Aquí es donde el enfoque de la API Batch simplemente no funciona y una solución específica en tiempo real es la única opción viable.

Intentar construir un sistema de automatización de soporte con la API Batch es una tarea pesada. Implica mucho código personalizado, manejo de archivos y la gestión de un flujo de trabajo de API de varios pasos. Ciertamente no es una solución lista para usar que un gerente de soporte pueda configurar por su cuenta.

Para tareas que exigen interacción instantánea, como alimentar un chatbot en vivo, redactar respuestas para agentes en el momento o clasificar tickets a medida que llegan, necesitas una plataforma diseñada para esas conversaciones en tiempo real. Ahí es donde una solución como eesel AI entra en juego. Está construida desde cero para los casos de uso exactos en los que la API Batch no puede competir, ofreciendo un soporte instantáneo y autónomo directamente en las herramientas que ya utilizas.

Entendiendo los precios y los límites de velocidad

Una de las cosas más atractivas de la API Batch es la cantidad de dinero que puede ahorrarte. Aquí tienes un vistazo rápido a cómo funciona.

Un desglose del modelo de precios

El precio es refrescantemente simple: obtienes un descuento del 50 % en comparación con los endpoints de la API síncrona estándar. En trabajos grandes, esos ahorros pueden sumar una cantidad considerable.

Veamos una comparación rápida para "gpt-4o-mini", que es un modelo popular y muy capaz:

Fuente: Página de precios de OpenAI

Como puedes ver, los costos se reducen literalmente a la mitad. Eso hace que el procesamiento por lotes sea una opción muy atractiva para cualquier tarea no urgente y de alto volumen que se te ocurra.

Navegando por los límites de velocidad

Otra gran ventaja es que los límites de velocidad de la API Batch son completamente independientes de los límites de tu API estándar. Esto significa que puedes iniciar un trabajo por lotes masivo sin preocuparte de que bloquee las solicitudes en tiempo real que mantienen en funcionamiento tu aplicación principal.

Los límites para la API Batch se basan principalmente en:

1. Límites por lote: Puedes incluir hasta 50.000 solicitudes en un solo archivo.

2. Tokens en cola por modelo: Cada modelo tiene un límite en el número total de tokens que puedes tener "en la cola" en un momento dado.

Puedes encontrar los límites de velocidad específicos de tu organización en tu página de Configuración de la Plataforma de OpenAI.

Automatización del soporte al cliente: API Batch vs. un agente de IA dedicado

Entonces, ¿podrías construir un sistema de automatización de soporte al cliente usando la API Batch? En teoría, sí. Pero, ¿deberías hacerlo? Probablemente no. Comparemos los dos enfoques.

El enfoque de la API Batch

Para automatizar el soporte con la API Batch, un desarrollador tendría que ensamblar un flujo de trabajo bastante complejo y manual:

• Primero, necesitarías exportar periódicamente los nuevos tickets de soporte desde tu centro de ayuda.

• Luego, escribirías un script para formatearlos todos en el archivo ".jsonl" requerido.

• Enviarías el trabajo por lotes a OpenAI.

• Luego esperas, potencialmente hasta 24 horas.

• Una vez que está listo, descargas los resultados y escribes otro script para analizarlos.

• Finalmente, importas las respuestas generadas de nuevo a tu centro de ayuda.

Las limitaciones aquí son bastante claras. Todo el proceso es lento, engorroso y se pierde por completo el objetivo del servicio al cliente en tiempo real. No puede gestionar un chat en vivo, resolver un ticket urgente ni dar a los clientes las respuestas rápidas que esperan.

El enfoque de eesel AI

Ahora, veamos cómo una plataforma como eesel AI, que fue construida para este problema exacto, lo maneja. Está diseñada para que estés operativo en minutos.

• Puedes configurarlo tú mismo: Olvídate de reservar demos o de asistir a largas llamadas de ventas. Puedes registrarte y tener tu primer agente de IA funcionando en solo unos minutos, todo por tu cuenta.

• Integraciones con un solo clic: eesel AI se conecta directamente a los centros de ayuda más populares como Zendesk, Freshdesk e Intercom. Aprende de tus tickets pasados y bases de conocimiento automáticamente, sin necesidad de formatear o subir archivos manualmente.

• En tiempo real y autónomo: Los agentes de eesel AI trabajan directamente dentro de tu centro de ayuda, respondiendo a los tickets por su cuenta a medida que llegan, 24/7. Está construido para la interacción en vivo, no para trabajos por lotes nocturnos.

• Control total y simulación: Antes incluso de ponerlo en marcha, puedes ejecutar una simulación con miles de tus tickets pasados. Esto te muestra exactamente cómo se comportará la IA y cuál será tu tasa de resolución, para que puedas lanzarlo con confianza. Ese tipo de prueba sin riesgos es algo que simplemente no puedes obtener al construir una solución personalizada desde cero.

Comienza con la automatización de IA en tiempo real en minutos

La API Batch de OpenAI es una herramienta excelente y económica para los desarrolladores que necesitan procesar grandes trabajos asíncronos. Para tareas como el análisis de datos o la generación de contenido offline, es una opción fantástica.

Pero cuando se trata del mundo rápido y conversacional del soporte a clientes y empleados, necesitas una solución diseñada para la acción inmediata. El procesamiento por lotes simplemente no puede seguir el ritmo.

Si necesitas automatizar tickets de soporte, alimentar un chatbot en vivo o dar a tu equipo respuestas instantáneas, una plataforma dedicada es el camino a seguir. ¿Listo para ver cómo es realmente la automatización del soporte en tiempo real? Comienza a usar eesel AI de forma gratuita.