Testes em lote do HubSpot Customer Agent: como funcionam e seus limites

Rama Adi
Escrito por

Rama Adi

Katelin Teen
Revisado por

Katelin Teen

Última edição 8 de novembro de 2026

Verificado por especialista
Ilustração desenhada à mão de um membro da equipe de suporte com um tablet e um gestor revisando três cartões de chat de um pequeno robô, ao lado da engrenagem da HubSpot sobre uma forma laranja
TL;DR

Os testes em lote do HubSpot Customer Agent são um conjunto salvo de perguntas que você roda no agente antes de ele tocar um cliente. Você precisa de Professional ou Enterprise em um hub elegível, da permissão de editor do customer agent e de um assento atribuído. Você tem até 8 conjuntos de teste, cada um formado por perguntas que você escreve ou geradas a partir de temas de conversas ao vivo. Cada resposta recebe uma marca de Boa ou Ruim, e uma resposta ruim pode ser treinada na hora. Isso testa perguntas, não o seu histórico real de tickets, por isso eu combinaria com uma reprodução de tickets passados. O eesel faz essa reprodução, e com a CLI do eesel um agente de codificação com IA pode enviar conhecimento aprovado e fazer perguntas de teste antes do lançamento, embora alguém com acesso de administrador da HubSpot ainda precise aprovar a conexão.

O que são os testes em lote do HubSpot Customer Agent?

É uma área de testes dentro do Customer Agent onde administradores rodam muitas perguntas de uma vez e revisam cada resposta. O artigo de testes em lote da HubSpot, atualizado por último em 13 de outubro de 2026, diz que administradores podem testar o agente em escala antes de implantá-lo em canais ativos, e treiná-lo a partir dos resultados.

Eu não rodei isso em um portal real da HubSpot. Tudo aqui vem da própria documentação da HubSpot, e marco todo ponto em que ela fica em silêncio. Leio isso como quem constrói integrações: o que entra, o que sai e o que a tela não promete. Se você quer o produto primeiro, meus guias sobre o HubSpot Customer Agent e o agente de IA da HubSpot cobrem isso, e a avaliação da HubSpot o posiciona dentro do Service Hub.

A ferramenta mais simples fica um nível abaixo. O artigo de configuração da HubSpot, atualizado em 26 de outubro de 2026, descreve um botão Test que abre um único chat de pré-visualização por e-mail ou chat ao vivo, e diz que a pré-visualização não consome créditos da HubSpot. Os testes em lote são para onde você migra quando um chat por vez já não é suficiente.

De qual plano, assento e permissão você precisa?

Você precisa de Professional ou Enterprise em um hub elegível, da permissão de editor do customer agent e de um assento atribuído. Os três vêm do artigo de testes em lote da HubSpot, que lista Marketing Hub, Sales Hub, Service Hub, Data Hub, Content Hub e Smart CRM em Professional e Enterprise.

RequisitoO que a HubSpot diz
AssinaturaProfessional ou Enterprise no Marketing, Sales, Service, Data ou Content Hub, ou Smart CRM
PermissãoEditor do customer agent, que também cobre as ações de coaching
AssentoUm assento atribuído para editar e gerenciar o agente
CréditosNecessários para implantar nos canais, consumidos apenas em uma resolução
Conjuntos de testeAté 8

Fonte: o artigo de testes em lote da HubSpot. Para o Service Hub, a página de preços da HubSpot mostra o Professional a $90 por assento por mês e o Enterprise a $150, mais uma taxa de onboarding obrigatória. Meu post sobre preços da HubSpot detalha como assentos e créditos se somam.

A primeira configuração tem uma porta mais suave. A HubSpot diz que você pode ativar 14 dias de acesso gratuito na primeira vez que configura o agente, sem consumo de créditos nesse período. Eu rodaria seus primeiros conjuntos de teste dentro dessa janela.

Como rodar um teste em lote, passo a passo?

Você cria um conjunto de teste, clica em executar e revisa cada resposta. Os passos da HubSpot:

  1. Na HubSpot, vá em Service > Customer Agent (em More, se estiver lá).
  2. No menu à esquerda, clique em Test > Batch testing.
  3. Clique em + New test set e escolha From live conversations ou Blank test.
  4. Para conversas ao vivo, marque os temas desejados e clique em Generate questions. Para um teste vazio, digite cada pergunta e salve.
  5. Se você entrou no beta do Customer Agent Segments, clique em Add segment para testar como um segmento específico.
  6. Clique em Run test. O agente responde a cada pergunta do conjunto.
Fluxo de cinco cartões desenhados à mão: escrever ou gerar perguntas, executar o teste, marcar como Boa ou Ruim, treinar o agente com as abas Conhecimento, Ações, Transferência e Experiência, e executar novamente
Fluxo de cinco cartões desenhados à mão: escrever ou gerar perguntas, executar o teste, marcar como Boa ou Ruim, treinar o agente com as abas Conhecimento, Ações, Transferência e Experiência, e executar novamente

O ciclo é o ponto principal. Conjuntos de teste e resultados são salvos automaticamente, então você pode voltar depois de editar o agente e rodar as mesmas perguntas de novo. Isso transforma uma verificação única em um teste de regressão, que é como eu usaria.

De onde vêm as perguntas de teste?

Elas vêm de dois lugares: perguntas que você escreve, ou perguntas que a HubSpot gera a partir das suas conversas ao vivo. O gerador agrupa conversas passadas de visitantes em temas, e você marca os que quer testar.

Diálogo Generate questions from live conversations da HubSpot listando temas como Pet Service Pricing and Payments e Pet Grooming Services com caixas de seleção, retirado do guia de testes em lote da HubSpot
Diálogo Generate questions from live conversations da HubSpot listando temas como Pet Service Pricing and Payments e Pet Grooming Services com caixas de seleção, retirado do guia de testes em lote da HubSpot

Dois limites estão escritos no artigo da HubSpot. Um tema precisa de 5 ou mais conversas sobre um tópico semelhante antes de aparecer, então uma pergunta rara nunca se torna um tema. E o diálogo é construído sobre conversas reais de visitantes, então o gerador só pode refletir o que já perguntaram ao agente. Um agente novinho em folha tem pouco de onde tirar, e é aí que o teste vazio mostra seu valor.

Minha recomendação: escreva você mesmo as perguntas que podem te prejudicar, como regras de reembolso, exceções de preço e qualquer coisa jurídica. Os temas gerados vão cobrir bem as perguntas comuns, mas as arriscadas costumam ser as incomuns. Meus guias de testes de agentes de IA e testes adversariais mostram como escrevê-las.

Como revisar respostas e treinar o agente?

Você abre cada pergunta, lê a resposta e a marca como Boa ou Ruim. As respostas começam em Not reviewed, e passam para uma lista de Boa ou Ruim conforme você as marca.

Página de resultados de teste da HubSpot para uma execução de Pet Service Pricing and Payments com três perguntas em Not reviewed e seções vazias de Ruim e Boa, retirada do guia de testes em lote da HubSpot
Página de resultados de teste da HubSpot para uma execução de Pet Service Pricing and Payments com três perguntas em Not reviewed e seções vazias de Ruim e Boa, retirada do guia de testes em lote da HubSpot

Em uma resposta marcada como Ruim, a HubSpot oferece duas opções. Write note registra um feedback para um administrador, e a HubSpot diz que uma nota isolada não atualiza o agente. Coach agent abre um painel à direita com as abas Knowledge, Actions, Handoff e Experience, onde você pode adicionar um gatilho de transferência ou criar uma resposta curta.

Essa divisão importa para as equipes. Um líder de suporte pode sinalizar uma resposta ruim em uma nota sem precisar da permissão de editor para mudar nada, e um administrador pode agrupar as notas em uma única sessão de coaching. A regra de permissão trabalha a seu favor aqui: só editores mudam o agente.

A avaliação é manual. Não vi nada na documentação da HubSpot sobre uma nota automática ou uma taxa de acerto, então as contagens de Boa e Ruim são o seu próprio julgamento. Isso é tranquilo para 10 perguntas e cansativo para 100, então reserve tempo de revisor.

Como os conjuntos de teste são salvos e executados de novo?

Eles se salvam sozinhos, e você pode executar de novo, duplicar ou excluir qualquer um deles. Na aba Test sets, Run executa um conjunto de novo, e os três pontinhos oferecem Duplicate e Delete. Os resultados ficam em uma aba separada, Test results.

Tabela de Test sets da HubSpot listando três conjuntos com contagem de perguntas, segmentos, criadores, um botão Run e um menu de Duplicate e Delete, retirada do guia de testes em lote da HubSpot
Tabela de Test sets da HubSpot listando três conjuntos com contagem de perguntas, segmentos, criadores, um botão Run e um menu de Duplicate e Delete, retirada do guia de testes em lote da HubSpot

Com apenas 8 conjuntos permitidos, eu os nomearia por risco, não por tema: um para preço e cobrança, um para gatilhos de transferência, um para as perguntas que erraram no mês passado, e assim por diante. Duplicar um conjunto antes de mudar o agente te dá um antes e um depois.

Quanto custa um teste em créditos?

As páginas da HubSpot dizem que testar não consome créditos, e que a implantação ao vivo é cobrada por resolução. O guia de configuração diz que pré-visualizar e testar o customer agent não consome créditos da HubSpot. O artigo de compreensão, atualizado em 16 de setembro de 2026, diz que créditos são consumidos só quando o agente chega a uma resolução.

A pegadinha é a regra das 72 horas. Uma resolução é uma resposta que compartilha uma fonte de conteúdo ou executa uma ação, sem transferência iniciada pelo visitante, e o status é definido 72 horas após a última resposta do visitante. Se seus créditos acabarem, a HubSpot diz que o agente para de receber novas conversas em todos os canais conectados, até o próximo reset. O artigo de testes em lote não repete a linha de isenção de créditos especificamente para execuções em lote, então eu confirmaria isso no seu portal antes de rodar um teste de 100 perguntas.

Reddit

"I don't know how many credits I'll need, so I'm less likely to test things, not more."

Essa citação, de uma thread do Reddit de dezembro de 2025 sobre preço de créditos, mostra por que a linha de isenção importa. Uma equipe que teme o medidor testa menos, não mais, e um agente não testado é o que custa caro. Para a conta completa de créditos, veja meu detalhamento de preços do agente de IA da HubSpot.

O que os testes em lote não cobrem?

Eles cobrem as perguntas do seu conjunto, e a documentação deixa várias lacunas. Estas são as que eu verificaria antes de confiar nela:

  • Nenhuma reprodução de tickets passados. Os temas vêm de conversas reais de visitantes, e o gerador produz perguntas de exemplo. As páginas da HubSpot não descrevem reproduzir um ticket passado específico e comparar a resposta com o que sua equipe enviou.
  • Nenhuma nota automática. A marcação é manual, e não encontrei taxa de acerto nem visão de tendência no artigo.
  • Uma nota não muda o agente. Só o caminho de Coach agent o edita, e só para editores.
  • Oito conjuntos é o limite indicado. O artigo não indica um limite de perguntas por conjunto.
  • O uso de créditos em execuções em lote não é repetido. A linha de isenção de créditos está no artigo de configuração.
  • Ações são testadas na pré-visualização. O guia de configuração descreve testar ações como agendar uma reunião no chat de pré-visualização único, e o artigo de lote não as menciona.

Nenhuma dessas é exatamente uma falha, mais uma descrição do trabalho da ferramenta: um conjunto de perguntas que você controla. Isso é útil para testes de regressão. É um trabalho diferente de perguntar: "esse agente teria lidado com os tickets do trimestre passado?"

Como implantar um HubSpot Customer Agent com segurança?

Suba quatro degraus, e só avance para o próximo quando o de baixo estiver limpo. Essa é a ordem que eu usaria, e a segunda metade é minha opinião, não uma regra da HubSpot.

Escada desenhada à mão de quatro degraus: chat de pré-visualização sem créditos, teste em lote com um conjunto de perguntas, reprodução de tickets passados com histórico real, e canal ao vivo com créditos por resolução
Escada desenhada à mão de quatro degraus: chat de pré-visualização sem créditos, teste em lote com um conjunto de perguntas, reprodução de tickets passados com histórico real, e canal ao vivo com créditos por resolução
  1. Chat de pré-visualização para verificar o tom, as fontes e o painel Testing Insights, que mostra por que o agente respondeu de certa forma e o que ele citou.
  2. Teste em lote com um conjunto das perguntas que sua equipe responde todos os dias, mais um conjunto das arriscadas.
  3. Uma reprodução de histórico real, o que os testes em lote não fazem. É aqui que o eesel entra, e eu cubro isso mais abaixo.
  4. Um lançamento ao vivo restrito, começando com um único canal. O artigo da HubSpot sobre implantação em canais cobre onde o agente pode operar.

Um comentário no Reddit, na mesma thread sobre créditos, descreveu sua implantação assim:

Reddit

"I think the key for this working was that we started using customer agent in April, so by August, we had enough data to understand how many credits we needed, and we had already optimized our KB to be best suited for AI use."

Relataram 40% das consultas de suporte resolvidas, com mais de 15.000 por mês. Esse é o relato de um único usuário, não uma referência, mas mostra o padrão: meses de dados, e uma base de conhecimento otimizada primeiro. Ambos são exatamente o tipo de coisa que um bom ciclo de teste revela, e meus guias sobre base de conhecimento com IA e gestão de base de conhecimento cobrem a segunda parte.

Em que a reprodução de tickets passados difere de um conjunto de teste?

Um conjunto de teste faz as perguntas que você escolheu, uma reprodução roda o agente sobre tickets que sua equipe já respondeu. A diferença está em de onde vêm as perguntas e contra o que a resposta é julgada.

Comparação desenhada à mão em duas colunas: conjunto de teste com temas de chats ao vivo, perguntas que você escreve e até 8 conjuntos, contra reprodução de tickets com centenas de tickets passados, avaliados contra o que sua equipe enviou, e mudanças de instrução sugeridas
Comparação desenhada à mão em duas colunas: conjunto de teste com temas de chats ao vivo, perguntas que você escreve e até 8 conjuntos, contra reprodução de tickets com centenas de tickets passados, avaliados contra o que sua equipe enviou, e mudanças de instrução sugeridas

Segundo sua documentação de skills, a skill de Simulação do eesel roda o agente contra centenas dos seus tickets passados ou casos de teste gerados, avalia cada resposta e sugere mudanças nas instruções. Ela avalia respostas contra o que sua equipe realmente enviou. Ela não prevê uma taxa de resolução nem um custo, então é uma verificação de qualidade, não um business case. Meu guia de testes de simulação de suporte com IA mostra como eu configuraria um.

Aqui vai minha avaliação justa. A versão da HubSpot é nativa, fica bem ao lado das configurações do agente e permite treinar na mesma tela, o que é difícil de superar em velocidade. Uma reprodução custa mais configuração, mas testa a redação real e desorganizada que uma pergunta de exemplo gerada costuma suavizar. Eu usaria as duas: os testes em lote da HubSpot para o ciclo de regressão, e uma reprodução uma vez antes do lançamento. Meu guia sobre prevenção de alucinação de IA explica por que tickets reais capturam o que perguntas limpas deixam passar, e o verbete do glossário sobre alucinação de IA define o termo.

Como é, na prática, uma implantação com rascunhos primeiro?

É como a MentorShow, uma plataforma francesa de aprendizado online que roda toda a equipe de suporte dentro da HubSpot e disse ao eesel que recebe entre 5.000 e 13.000 tickets por mês. Cada nova conversa ou ticket na caixa de entrada aciona o eesel, que lê a conversa e o registro de HubSpot do membro, e então deixa uma nota interna com uma análise e um rascunho de resposta no idioma do membro.

No mês de 8 de agosto a 8 de setembro de 2026, o eesel leu cerca de 1.200 conversas e tickets da HubSpot e escreveu 432 rascunhos, segundo a história. Uma pessoa lê, edita e envia cada um deles, e verificações de reembolso e cobrança são entregues a uma pessoa imediatamente. As regras sobre quais tipos de ticket pular, nove delas, foram escritas conforme os casos surgiam.

Isso não é um teste em lote, e eu não vou chamar assim. É uma rede de segurança diferente: o agente está ativo desde o primeiro dia, mas nada chega a um membro sem a revisão de uma pessoa, então um rascunho errado custa uma edição em vez de uma resposta errada. Equipes que ainda não estão prontas para um lançamento autônomo podem aprender muito com esse modelo. Guias relacionados: transferência de agentes de IA, taxa de escalonamento e meu artigo explicativo sobre taxa de resolução.

Quais perguntas devem entrar nos seus primeiros conjuntos de teste?

Comece com as que sua equipe responde todos os dias, e depois adicione as que podem custar dinheiro. Assim eu dividiria os 8 conjuntos:

ConjuntoO que entraPor quê
Perguntas principaisOs temas que a HubSpot gera a partir de chats ao vivoCobre o volume
Preço e cobrançaPreços de planos, renovações, reembolsos, descontosRespostas erradas custam dinheiro
TransferênciaClientes irritados, pedidos de um humano, ameaças legaisTesta os gatilhos de transferência
Casos extremosPolíticas com exceções, perguntas de múltiplas partesTesta a profundidade do conhecimento
Fora de escopoPerguntas que o agente deveria recusarTesta as diretrizes
Erros do mês passadoPerguntas reais que a equipe precisou corrigirConjunto de regressão

Rode o conjunto de erros novamente após toda mudança nas fontes de conhecimento ou nas regras de transferência. Meus guias sobre desvio vs. resolução e medição da taxa de contenção de IA cobrem as métricas ao vivo depois do lançamento, e o verbete do glossário sobre base de conhecimento explica por que a qualidade da fonte é o que mais importa.

E se você quiser uma ferramenta totalmente diferente?

O agente da HubSpot é construído para equipes que já estão no ecossistema da HubSpot, e seus testes em lote refletem isso. Se você está avaliando opções, meus guias de alternativas ao HubSpot Breeze e alternativas à HubSpot comparam isso, e alternativas de software de suporte ao cliente com IA amplia o leque. Para complementos específicos da HubSpot, veja IA para o HubSpot Service Hub e como adicionar IA à HubSpot.

Dentro do Service Hub, outras duas peças afetam como um agente testado se comporta uma vez ao vivo: os limites de capacidade decidem qual humano recebe a transferência, e as conexões de canais decidem onde o agente aparece. Os posts sobre desvio de tickets da HubSpot e base de conhecimento com IA do Service Hub cobrem o resto da stack.

Teste o eesel para o seu help desk da HubSpot

Ticket do HubSpot Service Hub em que um e-mail de cliente sobre um curso que não publica fica acima de uma nota interna do eesel com um rascunho de resposta para revisão da equipe, retirado da documentação de configuração do eesel para HubSpot
Ticket do HubSpot Service Hub em que um e-mail de cliente sobre um curso que não publica fica acima de uma nota interna do eesel com um rascunho de resposta para revisão da equipe, retirado da documentação de configuração do eesel para HubSpot

Se você já testou em lote o Customer Agent e ainda quer uma prova com base no seu histórico real, o eesel para HubSpot funciona como um novo membro da equipe no Service Hub. Ele aprende com sua base de conhecimento da HubSpot e tickets passados, reproduz centenas desses tickets contra suas próprias respostas, e depois lê cada ticket ao vivo com o registro de contato e deixa uma nota interna com um rascunho de resposta para sua equipe revisar. Os preços são planos de créditos mensais fixos, de um nível gratuito de 100 créditos até $299 por mês por 500 créditos, em que um ticket ou chat atendido é um crédito, segundo a página de preços do eesel.

Eu começaria com o nível gratuito em uma cópia dos seus temas de pergunta mais comuns, compararia as respostas avaliadas com os resultados de teste da HubSpot, e veria onde os dois discordam. Conectar a HubSpot em si ainda exige que alguém com acesso de administrador aprove no navegador, e as respostas são testadas antes de qualquer coisa ir ao ar.

Perguntas frequentes

O que são os testes em lote do HubSpot Customer Agent?
É uma ferramenta que permite a um administrador rodar um conjunto salvo de perguntas no Customer Agent e revisar cada resposta antes de implantar nos canais ativos. Segundo a documentação da HubSpot, você pode escrever as perguntas você mesmo ou gerá-las a partir de conversas já existentes. Veja meu guia sobre o agente de IA da HubSpot para o produto como um todo.
De qual plano da HubSpot preciso para os testes em lote?
A HubSpot exige Professional ou Enterprise no Marketing Hub, Sales Hub, Service Hub, Data Hub, Content Hub ou Smart CRM. Você também precisa da permissão de editor do customer agent e de um assento atribuído. Meu detalhamento de preços da HubSpot cobre o custo de cada nível.
Quantos conjuntos de teste posso criar nos testes em lote da HubSpot?
O artigo da HubSpot diz que você pode criar até 8 conjuntos de teste. Ele não indica um limite de perguntas por conjunto nas páginas que li. Os conjuntos são salvos automaticamente, então planeje quais temas merecem um conjunto próprio, e leia meu guia de verificações antes de lançar um agente de IA para uma estrutura.
Os testes em lote da HubSpot consomem créditos?
O guia de configuração da HubSpot diz que pré-visualizar e testar o Customer Agent não consome créditos da HubSpot, e que os créditos só são consumidos quando o agente chega a uma resolução. O artigo de testes em lote não repete isso especificamente para execuções em lote, então confirme em um portal de teste. Meu post sobre preços do agente de IA da HubSpot traz a conta de créditos.
Posso testar o HubSpot Customer Agent com tickets passados?
A HubSpot pode gerar perguntas a partir de temas de conversas ao vivo, e um tema precisa de ao menos 5 conversas semelhantes para aparecer. Isso é um gerador de perguntas, não uma reprodução de cada ticket passado com nota. A skill de Simulação do eesel reproduz tickets passados reais, o que meu guia de testes de simulação de suporte com IA explica.
O que acontece quando marco uma resposta de teste da HubSpot como Ruim?
Você pode escrever uma nota para um administrador revisar depois ou clicar em Treinar agente para editar as configurações de Conhecimento, Ações, Transferência ou Experiência do agente. A HubSpot diz que uma nota isolada não atualiza o agente. Para o design de transferências, veja as melhores práticas de transferência de agentes de IA.
Existe uma forma gratuita de testar o HubSpot Customer Agent antes de pagar?
A HubSpot oferece 14 dias opcionais de acesso gratuito na primeira vez que você configura o agente, sem consumo de créditos nesse período. É uma boa janela para rodar seus primeiros conjuntos de teste. Se você também quiser uma comparação do chatbot da HubSpot, eu cubro isso separadamente.
O eesel consegue testar suas respostas antes de ir ao ar na HubSpot?
Sim. Segundo a documentação do eesel, a skill de Simulação roda o agente contra centenas dos seus tickets passados ou casos de teste gerados, avalia cada resposta e sugere mudanças nas instruções. Ela não prevê uma taxa de resolução. Veja a integração do eesel com a HubSpot para as ações do Service Hub.

Share this article