Testes em lote do HubSpot Customer Agent: como funcionam e seus limites
Rama Adi
Katelin Teen
Última edição 8 de novembro de 2026

Os testes em lote do HubSpot Customer Agent são um conjunto salvo de perguntas que você roda no agente antes de ele tocar um cliente. Você precisa de Professional ou Enterprise em um hub elegível, da permissão de editor do customer agent e de um assento atribuído. Você tem até 8 conjuntos de teste, cada um formado por perguntas que você escreve ou geradas a partir de temas de conversas ao vivo. Cada resposta recebe uma marca de Boa ou Ruim, e uma resposta ruim pode ser treinada na hora. Isso testa perguntas, não o seu histórico real de tickets, por isso eu combinaria com uma reprodução de tickets passados. O eesel faz essa reprodução, e com a CLI do eesel um agente de codificação com IA pode enviar conhecimento aprovado e fazer perguntas de teste antes do lançamento, embora alguém com acesso de administrador da HubSpot ainda precise aprovar a conexão.
O que são os testes em lote do HubSpot Customer Agent?
É uma área de testes dentro do Customer Agent onde administradores rodam muitas perguntas de uma vez e revisam cada resposta. O artigo de testes em lote da HubSpot, atualizado por último em 13 de outubro de 2026, diz que administradores podem testar o agente em escala antes de implantá-lo em canais ativos, e treiná-lo a partir dos resultados.
Eu não rodei isso em um portal real da HubSpot. Tudo aqui vem da própria documentação da HubSpot, e marco todo ponto em que ela fica em silêncio. Leio isso como quem constrói integrações: o que entra, o que sai e o que a tela não promete. Se você quer o produto primeiro, meus guias sobre o HubSpot Customer Agent e o agente de IA da HubSpot cobrem isso, e a avaliação da HubSpot o posiciona dentro do Service Hub.
A ferramenta mais simples fica um nível abaixo. O artigo de configuração da HubSpot, atualizado em 26 de outubro de 2026, descreve um botão Test que abre um único chat de pré-visualização por e-mail ou chat ao vivo, e diz que a pré-visualização não consome créditos da HubSpot. Os testes em lote são para onde você migra quando um chat por vez já não é suficiente.
De qual plano, assento e permissão você precisa?
Você precisa de Professional ou Enterprise em um hub elegível, da permissão de editor do customer agent e de um assento atribuído. Os três vêm do artigo de testes em lote da HubSpot, que lista Marketing Hub, Sales Hub, Service Hub, Data Hub, Content Hub e Smart CRM em Professional e Enterprise.
| Requisito | O que a HubSpot diz |
|---|---|
| Assinatura | Professional ou Enterprise no Marketing, Sales, Service, Data ou Content Hub, ou Smart CRM |
| Permissão | Editor do customer agent, que também cobre as ações de coaching |
| Assento | Um assento atribuído para editar e gerenciar o agente |
| Créditos | Necessários para implantar nos canais, consumidos apenas em uma resolução |
| Conjuntos de teste | Até 8 |
Fonte: o artigo de testes em lote da HubSpot. Para o Service Hub, a página de preços da HubSpot mostra o Professional a $90 por assento por mês e o Enterprise a $150, mais uma taxa de onboarding obrigatória. Meu post sobre preços da HubSpot detalha como assentos e créditos se somam.
A primeira configuração tem uma porta mais suave. A HubSpot diz que você pode ativar 14 dias de acesso gratuito na primeira vez que configura o agente, sem consumo de créditos nesse período. Eu rodaria seus primeiros conjuntos de teste dentro dessa janela.
Como rodar um teste em lote, passo a passo?
Você cria um conjunto de teste, clica em executar e revisa cada resposta. Os passos da HubSpot:
- Na HubSpot, vá em Service > Customer Agent (em More, se estiver lá).
- No menu à esquerda, clique em Test > Batch testing.
- Clique em + New test set e escolha From live conversations ou Blank test.
- Para conversas ao vivo, marque os temas desejados e clique em Generate questions. Para um teste vazio, digite cada pergunta e salve.
- Se você entrou no beta do Customer Agent Segments, clique em Add segment para testar como um segmento específico.
- Clique em Run test. O agente responde a cada pergunta do conjunto.

O ciclo é o ponto principal. Conjuntos de teste e resultados são salvos automaticamente, então você pode voltar depois de editar o agente e rodar as mesmas perguntas de novo. Isso transforma uma verificação única em um teste de regressão, que é como eu usaria.
De onde vêm as perguntas de teste?
Elas vêm de dois lugares: perguntas que você escreve, ou perguntas que a HubSpot gera a partir das suas conversas ao vivo. O gerador agrupa conversas passadas de visitantes em temas, e você marca os que quer testar.

Dois limites estão escritos no artigo da HubSpot. Um tema precisa de 5 ou mais conversas sobre um tópico semelhante antes de aparecer, então uma pergunta rara nunca se torna um tema. E o diálogo é construído sobre conversas reais de visitantes, então o gerador só pode refletir o que já perguntaram ao agente. Um agente novinho em folha tem pouco de onde tirar, e é aí que o teste vazio mostra seu valor.
Minha recomendação: escreva você mesmo as perguntas que podem te prejudicar, como regras de reembolso, exceções de preço e qualquer coisa jurídica. Os temas gerados vão cobrir bem as perguntas comuns, mas as arriscadas costumam ser as incomuns. Meus guias de testes de agentes de IA e testes adversariais mostram como escrevê-las.
Como revisar respostas e treinar o agente?
Você abre cada pergunta, lê a resposta e a marca como Boa ou Ruim. As respostas começam em Not reviewed, e passam para uma lista de Boa ou Ruim conforme você as marca.

Em uma resposta marcada como Ruim, a HubSpot oferece duas opções. Write note registra um feedback para um administrador, e a HubSpot diz que uma nota isolada não atualiza o agente. Coach agent abre um painel à direita com as abas Knowledge, Actions, Handoff e Experience, onde você pode adicionar um gatilho de transferência ou criar uma resposta curta.
Essa divisão importa para as equipes. Um líder de suporte pode sinalizar uma resposta ruim em uma nota sem precisar da permissão de editor para mudar nada, e um administrador pode agrupar as notas em uma única sessão de coaching. A regra de permissão trabalha a seu favor aqui: só editores mudam o agente.
A avaliação é manual. Não vi nada na documentação da HubSpot sobre uma nota automática ou uma taxa de acerto, então as contagens de Boa e Ruim são o seu próprio julgamento. Isso é tranquilo para 10 perguntas e cansativo para 100, então reserve tempo de revisor.
Como os conjuntos de teste são salvos e executados de novo?
Eles se salvam sozinhos, e você pode executar de novo, duplicar ou excluir qualquer um deles. Na aba Test sets, Run executa um conjunto de novo, e os três pontinhos oferecem Duplicate e Delete. Os resultados ficam em uma aba separada, Test results.

Com apenas 8 conjuntos permitidos, eu os nomearia por risco, não por tema: um para preço e cobrança, um para gatilhos de transferência, um para as perguntas que erraram no mês passado, e assim por diante. Duplicar um conjunto antes de mudar o agente te dá um antes e um depois.
Quanto custa um teste em créditos?
As páginas da HubSpot dizem que testar não consome créditos, e que a implantação ao vivo é cobrada por resolução. O guia de configuração diz que pré-visualizar e testar o customer agent não consome créditos da HubSpot. O artigo de compreensão, atualizado em 16 de setembro de 2026, diz que créditos são consumidos só quando o agente chega a uma resolução.
A pegadinha é a regra das 72 horas. Uma resolução é uma resposta que compartilha uma fonte de conteúdo ou executa uma ação, sem transferência iniciada pelo visitante, e o status é definido 72 horas após a última resposta do visitante. Se seus créditos acabarem, a HubSpot diz que o agente para de receber novas conversas em todos os canais conectados, até o próximo reset. O artigo de testes em lote não repete a linha de isenção de créditos especificamente para execuções em lote, então eu confirmaria isso no seu portal antes de rodar um teste de 100 perguntas.
"I don't know how many credits I'll need, so I'm less likely to test things, not more."
Essa citação, de uma thread do Reddit de dezembro de 2025 sobre preço de créditos, mostra por que a linha de isenção importa. Uma equipe que teme o medidor testa menos, não mais, e um agente não testado é o que custa caro. Para a conta completa de créditos, veja meu detalhamento de preços do agente de IA da HubSpot.
O que os testes em lote não cobrem?
Eles cobrem as perguntas do seu conjunto, e a documentação deixa várias lacunas. Estas são as que eu verificaria antes de confiar nela:
- Nenhuma reprodução de tickets passados. Os temas vêm de conversas reais de visitantes, e o gerador produz perguntas de exemplo. As páginas da HubSpot não descrevem reproduzir um ticket passado específico e comparar a resposta com o que sua equipe enviou.
- Nenhuma nota automática. A marcação é manual, e não encontrei taxa de acerto nem visão de tendência no artigo.
- Uma nota não muda o agente. Só o caminho de Coach agent o edita, e só para editores.
- Oito conjuntos é o limite indicado. O artigo não indica um limite de perguntas por conjunto.
- O uso de créditos em execuções em lote não é repetido. A linha de isenção de créditos está no artigo de configuração.
- Ações são testadas na pré-visualização. O guia de configuração descreve testar ações como agendar uma reunião no chat de pré-visualização único, e o artigo de lote não as menciona.
Nenhuma dessas é exatamente uma falha, mais uma descrição do trabalho da ferramenta: um conjunto de perguntas que você controla. Isso é útil para testes de regressão. É um trabalho diferente de perguntar: "esse agente teria lidado com os tickets do trimestre passado?"
Como implantar um HubSpot Customer Agent com segurança?
Suba quatro degraus, e só avance para o próximo quando o de baixo estiver limpo. Essa é a ordem que eu usaria, e a segunda metade é minha opinião, não uma regra da HubSpot.

- Chat de pré-visualização para verificar o tom, as fontes e o painel Testing Insights, que mostra por que o agente respondeu de certa forma e o que ele citou.
- Teste em lote com um conjunto das perguntas que sua equipe responde todos os dias, mais um conjunto das arriscadas.
- Uma reprodução de histórico real, o que os testes em lote não fazem. É aqui que o eesel entra, e eu cubro isso mais abaixo.
- Um lançamento ao vivo restrito, começando com um único canal. O artigo da HubSpot sobre implantação em canais cobre onde o agente pode operar.
Um comentário no Reddit, na mesma thread sobre créditos, descreveu sua implantação assim:
"I think the key for this working was that we started using customer agent in April, so by August, we had enough data to understand how many credits we needed, and we had already optimized our KB to be best suited for AI use."
Relataram 40% das consultas de suporte resolvidas, com mais de 15.000 por mês. Esse é o relato de um único usuário, não uma referência, mas mostra o padrão: meses de dados, e uma base de conhecimento otimizada primeiro. Ambos são exatamente o tipo de coisa que um bom ciclo de teste revela, e meus guias sobre base de conhecimento com IA e gestão de base de conhecimento cobrem a segunda parte.
Em que a reprodução de tickets passados difere de um conjunto de teste?
Um conjunto de teste faz as perguntas que você escolheu, uma reprodução roda o agente sobre tickets que sua equipe já respondeu. A diferença está em de onde vêm as perguntas e contra o que a resposta é julgada.

Segundo sua documentação de skills, a skill de Simulação do eesel roda o agente contra centenas dos seus tickets passados ou casos de teste gerados, avalia cada resposta e sugere mudanças nas instruções. Ela avalia respostas contra o que sua equipe realmente enviou. Ela não prevê uma taxa de resolução nem um custo, então é uma verificação de qualidade, não um business case. Meu guia de testes de simulação de suporte com IA mostra como eu configuraria um.
Aqui vai minha avaliação justa. A versão da HubSpot é nativa, fica bem ao lado das configurações do agente e permite treinar na mesma tela, o que é difícil de superar em velocidade. Uma reprodução custa mais configuração, mas testa a redação real e desorganizada que uma pergunta de exemplo gerada costuma suavizar. Eu usaria as duas: os testes em lote da HubSpot para o ciclo de regressão, e uma reprodução uma vez antes do lançamento. Meu guia sobre prevenção de alucinação de IA explica por que tickets reais capturam o que perguntas limpas deixam passar, e o verbete do glossário sobre alucinação de IA define o termo.
Como é, na prática, uma implantação com rascunhos primeiro?
É como a MentorShow, uma plataforma francesa de aprendizado online que roda toda a equipe de suporte dentro da HubSpot e disse ao eesel que recebe entre 5.000 e 13.000 tickets por mês. Cada nova conversa ou ticket na caixa de entrada aciona o eesel, que lê a conversa e o registro de HubSpot do membro, e então deixa uma nota interna com uma análise e um rascunho de resposta no idioma do membro.
No mês de 8 de agosto a 8 de setembro de 2026, o eesel leu cerca de 1.200 conversas e tickets da HubSpot e escreveu 432 rascunhos, segundo a história. Uma pessoa lê, edita e envia cada um deles, e verificações de reembolso e cobrança são entregues a uma pessoa imediatamente. As regras sobre quais tipos de ticket pular, nove delas, foram escritas conforme os casos surgiam.
Isso não é um teste em lote, e eu não vou chamar assim. É uma rede de segurança diferente: o agente está ativo desde o primeiro dia, mas nada chega a um membro sem a revisão de uma pessoa, então um rascunho errado custa uma edição em vez de uma resposta errada. Equipes que ainda não estão prontas para um lançamento autônomo podem aprender muito com esse modelo. Guias relacionados: transferência de agentes de IA, taxa de escalonamento e meu artigo explicativo sobre taxa de resolução.
Quais perguntas devem entrar nos seus primeiros conjuntos de teste?
Comece com as que sua equipe responde todos os dias, e depois adicione as que podem custar dinheiro. Assim eu dividiria os 8 conjuntos:
| Conjunto | O que entra | Por quê |
|---|---|---|
| Perguntas principais | Os temas que a HubSpot gera a partir de chats ao vivo | Cobre o volume |
| Preço e cobrança | Preços de planos, renovações, reembolsos, descontos | Respostas erradas custam dinheiro |
| Transferência | Clientes irritados, pedidos de um humano, ameaças legais | Testa os gatilhos de transferência |
| Casos extremos | Políticas com exceções, perguntas de múltiplas partes | Testa a profundidade do conhecimento |
| Fora de escopo | Perguntas que o agente deveria recusar | Testa as diretrizes |
| Erros do mês passado | Perguntas reais que a equipe precisou corrigir | Conjunto de regressão |
Rode o conjunto de erros novamente após toda mudança nas fontes de conhecimento ou nas regras de transferência. Meus guias sobre desvio vs. resolução e medição da taxa de contenção de IA cobrem as métricas ao vivo depois do lançamento, e o verbete do glossário sobre base de conhecimento explica por que a qualidade da fonte é o que mais importa.
E se você quiser uma ferramenta totalmente diferente?
O agente da HubSpot é construído para equipes que já estão no ecossistema da HubSpot, e seus testes em lote refletem isso. Se você está avaliando opções, meus guias de alternativas ao HubSpot Breeze e alternativas à HubSpot comparam isso, e alternativas de software de suporte ao cliente com IA amplia o leque. Para complementos específicos da HubSpot, veja IA para o HubSpot Service Hub e como adicionar IA à HubSpot.
Dentro do Service Hub, outras duas peças afetam como um agente testado se comporta uma vez ao vivo: os limites de capacidade decidem qual humano recebe a transferência, e as conexões de canais decidem onde o agente aparece. Os posts sobre desvio de tickets da HubSpot e base de conhecimento com IA do Service Hub cobrem o resto da stack.
Teste o eesel para o seu help desk da HubSpot

Se você já testou em lote o Customer Agent e ainda quer uma prova com base no seu histórico real, o eesel para HubSpot funciona como um novo membro da equipe no Service Hub. Ele aprende com sua base de conhecimento da HubSpot e tickets passados, reproduz centenas desses tickets contra suas próprias respostas, e depois lê cada ticket ao vivo com o registro de contato e deixa uma nota interna com um rascunho de resposta para sua equipe revisar. Os preços são planos de créditos mensais fixos, de um nível gratuito de 100 créditos até $299 por mês por 500 créditos, em que um ticket ou chat atendido é um crédito, segundo a página de preços do eesel.
Eu começaria com o nível gratuito em uma cópia dos seus temas de pergunta mais comuns, compararia as respostas avaliadas com os resultados de teste da HubSpot, e veria onde os dois discordam. Conectar a HubSpot em si ainda exige que alguém com acesso de administrador aprove no navegador, e as respostas são testadas antes de qualquer coisa ir ao ar.