Um guia prático para a referência da API de Lote da OpenAI

Já alguma vez atingiu um limite de taxa mesmo quando tinha uma montanha de dados para processar? É uma dor de cabeça clássica de programador. Tem uma tarefa massiva para executar, mas enviar milhares de pedidos de API um a um é lento, esgota o seu orçamento e é uma forma garantida de ser limitado. Mas e se não precisar de todas as respostas neste exato segundo?

É aqui que a API de Lote da OpenAI entra. É uma ferramenta concebida especificamente para tarefas assíncronas, permitindo-lhe submeter trabalhos enormes, afastar-se e voltar mais tarde para ver os resultados. A melhor parte? Custa metade do preço e tem limites de taxa muito mais elevados.

Neste guia, vamos explorar o que é a API de Lote, como realmente funciona e onde se destaca. Também abordaremos os preços e, mais importante, discutiremos quando uma solução de IA em tempo real é uma opção muito melhor, especialmente para áreas como o suporte ao cliente.

O que é a API de Lote?

Antes de mergulharmos no assunto, vamos esclarecer rapidamente a diferença entre APIs síncronas e assíncronas. Uma chamada de API síncrona é como um telefonema: faz uma pergunta e tem de esperar na linha por uma resposta imediata. Uma chamada assíncrona, como a API de Lote, é mais como enviar um e-mail. Envia o seu pedido, volta ao seu trabalho e recebe uma notificação quando a resposta estiver pronta.

A API de Lote da OpenAI foi concebida exatamente para esse tipo de trabalho em grande escala e não urgente. De acordo com a própria documentação da OpenAI, processa estas tarefas num prazo de 24 horas e oferece um simpático desconto de 50% em comparação com as suas congéneres em tempo real.

Isto torna-a incrivelmente útil por algumas razões:

• Poupá-lo-á dinheiro: Esse desconto de 50% é muito significativo quando se está a classificar milhares de avaliações de produtos ou a incorporar uma enorme biblioteca de conteúdo.

• Tem limites de taxa mais altos: A API de Lote funciona com uma quota separada e mais generosa, baseada no número de tokens que envia. Isto significa que os seus grandes trabalhos offline não irão interferir com as chamadas de API em tempo real do dia-a-dia da sua aplicação.

• É feita para tarefas em massa: Se precisa de executar avaliações, gerar conteúdo para um site inteiro ou processar um conjunto de dados massivo, fazê-lo de uma só vez é muito mais simples do que construir um sistema de enfileiramento complicado para chamadas síncronas.

Como funciona a API de Lote da OpenAI passo a passo

Começar a usar a API de Lote é um fluxo de trabalho bastante simples de cinco passos. Vamos analisá-lo.

graph TD;

A[Passo 1: Preparar o Ficheiro de Lote em Formato JSONL] --> B[Passo 2: Carregar o Ficheiro através da API de Ficheiros da OpenAI];  

B --> C[Passo 3: Criar e Executar a Tarefa em Lote];  

C --> D{Passo 4: Verificar o Estado da Tarefa};  

D -- in_progress --> D;  

D -- completed --> E[Passo 5: Obter os Seus Resultados];  

D -- failed/cancelled --> F[A Tarefa Termina];  

Passo 1: Prepare o seu ficheiro de lote em formato JSONL

Primeiro, precisa de agrupar todos os seus pedidos individuais num único ficheiro. A API de Lote utiliza o formato JSON Lines, ou ".jsonl", que é na verdade apenas um ficheiro de texto onde cada linha é o seu próprio objeto JSON válido. Pense em cada objeto como um único pedido de API que pretende fazer.

Eis como seriam dois pedidos num ficheiro ".jsonl" para o endpoint "/v1/chat/completions":

{"custom_id": "request-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-4o-mini", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What is the capital of France?"}]}}  

{"custom_id": "request-2", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-4o-mini", "messages": [{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Summarize the plot of 'Dune'."}]}}  

Passo 2: Carregue o seu ficheiro

Assim que o seu ficheiro ".jsonl" estiver pronto, carregue-o utilizando a API de Ficheiros da OpenAI. A parte importante aqui é definir o parâmetro "purpose" como "batch". Isto diz à OpenAI que o ficheiro se destina a uma tarefa de processamento em lote.

Passo 3: Crie e execute a tarefa em lote

Com o seu ficheiro carregado, pode agora iniciar a tarefa em lote. Irá usar o "input_file_id" que obteve no passo de carregamento do ficheiro. A "completion_window" está fixada em "24h" por agora, por isso só precisa de apontá-la para o endpoint que está a visar, como "/v1/chat/completions".

Passo 4: Verifique o estado da tarefa

Depois de criar a tarefa, ela não começa imediatamente. Tem de passar por algumas fases. Pode verificar o seu progresso a qualquer momento fazendo um pedido ao endpoint de lote com o seu ID de tarefa. O estado será um destes:

• validating: O ficheiro de entrada está a ser verificado quanto a erros.

• in_progress: A tarefa está a ser executada.

• completed: Está tudo concluído e os seus resultados estão prontos.

• failed: Algo correu mal durante a validação ou processamento.

• cancelled: Você (ou alguém da sua equipa) parou a tarefa manualmente.

Passo 5: Obtenha os seus resultados

Quando o estado finalmente atingir "completed", o objeto de resposta conterá dois novos IDs de ficheiro: um "output_file_id" para todos os pedidos bem-sucedidos e um "error_file_id" para quaisquer que tenham falhado pelo caminho.

Pode então descarregar o conteúdo do ficheiro de saída. Será outro ficheiro ".jsonl", onde cada linha contém o resultado de um dos seus pedidos originais, convenientemente associado ao seu "custom_id".

Principais casos de uso para a API de Lote da OpenAI (e quando procurar outra ferramenta)

A API de Lote é uma ótima ferramenta, mas não é a ferramenta certa para todos os trabalhos. Saber quando usá-la, e quando não a usar, é metade da batalha.

Casos de uso perfeitos

A API de Lote é a sua melhor amiga para qualquer tarefa de grande escala em que não precise de uma resposta imediata. Pense em coisas como:

• Classificação de dados em grande escala: Executar análise de sentimento em milhares de avaliações de clientes durante a noite enquanto dorme.

• Geração de conteúdo offline: Criar rapidamente meta descrições de SEO para cada página de um site ou resumos de produtos para um catálogo inteiro de e-commerce.

• Avaliações de modelos: Testar um modelo afinado (fine-tuned) contra um enorme conjunto de dados para ver o seu desempenho.

• Pré-processamento de dados: Limpar, formatar ou traduzir conjuntos de dados de texto massivos antes de os alimentar noutro sistema.

Quando não usar a API de Lote: A necessidade de respostas em tempo real

A maior desvantagem da API de Lote é que é assíncrona por natureza. Esse tempo de resposta de 24 horas, mesmo que muitas vezes seja mais rápido, torna-a inviável para qualquer tarefa que precise de uma resposta imediata e conversacional.

Isto é especialmente verdade para o suporte ao cliente. Se um cliente está num chat ao vivo a pedir ajuda, não pode esperar horas, muito menos um dia inteiro, por uma resposta. É aqui que a abordagem da API de Lote simplesmente não funciona e uma solução construída para o efeito e em tempo real é a única opção.

Tentar construir um sistema de automação de suporte com a API de Lote é um trabalho árduo. Envolve muito código personalizado, manipulação de ficheiros e a gestão de um fluxo de trabalho de API com múltiplos passos. Certamente não é uma solução plug-and-play que um gestor de suporte conseguiria configurar sozinho.

Para tarefas que exigem interação instantânea, como alimentar um chatbot ao vivo, redigir respostas para agentes no momento, ou triar tickets à medida que chegam, precisa de uma plataforma desenhada para essas conversas em tempo real. É aí que uma solução como a eesel AI entra em cena. É construída de raiz para os casos de uso exatos onde a API de Lote não consegue competir, oferecendo suporte instantâneo e autónomo diretamente nas ferramentas que já utiliza.

Compreender os preços e os limites de taxa

Uma das coisas mais atraentes sobre a API de Lote é o dinheiro que lhe pode poupar. Aqui está uma rápida visão de como funciona.

Uma análise do modelo de preços

O preço é surpreendentemente simples: obtém um desconto de 50% em comparação com os endpoints de API síncronos padrão. Em trabalhos grandes, essa poupança pode realmente acumular-se.

Vejamos uma comparação rápida para o "gpt-4o-mini", que é um modelo popular e muito capaz:

Fonte: Página de Preços da OpenAI

Como pode ver, os custos são literalmente cortados pela metade. Isso torna o processamento em lote uma opção muito atrativa para qualquer tarefa não urgente e de alto volume que possa imaginar.

Navegar pelos limites de taxa

Outra grande vantagem é que os limites de taxa da API de Lote são completamente separados dos seus limites de API padrão. Isto significa que pode iniciar uma tarefa em lote massiva sem se preocupar que ela bloqueie os pedidos em tempo real que mantêm a sua aplicação principal a funcionar.

Os limites para a API de Lote baseiam-se principalmente em:

1. Limites por lote: Pode colocar até 50.000 pedidos num único ficheiro.

2. Tokens em fila por modelo: Cada modelo tem um limite para o número total de tokens que pode ter "na fila" a qualquer momento.

Pode sempre encontrar os limites de taxa específicos da sua organização na sua página de Definições da Plataforma OpenAI.

Automatizar o suporte ao cliente: API de Lote vs. um agente de IA dedicado

Então, poderia construir um sistema de automação de suporte ao cliente usando a API de Lote? Em teoria, sim. Mas deveria? Provavelmente não. Vamos comparar as duas abordagens.

A abordagem da API de Lote

Para automatizar o suporte com a API de Lote, um programador teria de montar um fluxo de trabalho bastante complexo e manual:

• Primeiro, precisaria de exportar periodicamente os novos tickets de suporte do seu helpdesk.

• Depois, escreveria um script para formatá-los todos no ficheiro ".jsonl" necessário.

• Submeteria a tarefa em lote à OpenAI.

• Depois, espera, potencialmente até 24 horas.

• Assim que estiver concluído, descarrega os resultados e escreve outro script para os analisar.

• Finalmente, importa as respostas geradas de volta para o seu helpdesk.

As limitações aqui são bastante claras. Todo o processo é lento, desajeitado e perde completamente o objetivo do serviço ao cliente em tempo real. Não consegue lidar com um chat ao vivo, resolver um ticket urgente ou dar aos clientes as respostas rápidas que eles esperam.

A abordagem da eesel AI

Agora, vejamos como uma plataforma como a eesel AI, que foi construída para este problema exato, o resolve. Foi concebida para o pôr a funcionar em minutos.

• Pode configurá-lo você mesmo: Esqueça a marcação de demonstrações ou as longas chamadas de vendas. Pode inscrever-se e ter o seu primeiro agente de IA a funcionar em apenas alguns minutos, tudo por sua conta.

• Integrações com um clique: A eesel AI conecta-se diretamente a helpdesks populares como Zendesk, Freshdesk e Intercom. Aprende com os seus tickets passados e bases de conhecimento automaticamente, sem necessidade de formatação manual de ficheiros ou carregamento.

• Em tempo real e autónomo: Os agentes da eesel AI trabalham diretamente no seu helpdesk, respondendo aos tickets por conta própria à medida que chegam, 24/7. Foi construído para interação ao vivo, não para trabalhos em lote durante a noite.

• Controlo total e simulação: Antes mesmo de entrar em produção, pode executar uma simulação em milhares dos seus tickets passados. Isto mostra-lhe exatamente como a IA se irá comportar e qual será a sua taxa de resolução, para que possa lançar com confiança. Esse tipo de teste sem riscos é algo que simplesmente não consegue obter ao construir uma solução personalizada de raiz.

Comece com a automação de IA em tempo real em minutos

A API de Lote da OpenAI é uma ferramenta excelente e económica para programadores que precisam de processar grandes trabalhos assíncronos. Para tarefas como análise de dados ou geração de conteúdo offline, é uma opção fantástica.

Mas quando se trata do mundo acelerado e conversacional do suporte a clientes e funcionários, precisa de uma solução construída para ação imediata. O processamento em lote simplesmente não consegue acompanhar.

Se precisa de automatizar tickets de suporte, alimentar um chatbot ao vivo ou dar respostas instantâneas à sua equipa, uma plataforma dedicada é o caminho a seguir. Pronto para ver como é a automação de suporte em tempo real? Comece a usar a eesel AI gratuitamente.