Garantia de qualidade com IA da Kustomer: como o AI QA pontua as conversas, quanto custa e o que verificar

Rama Adi
Escrito por

Rama Adi

Katelin Teen
Revisado por

Katelin Teen

Última edição 22 de novembro de 2026

Verificado por especialista
Ilustração desenhada à mão de um agente de suporte com fone de ouvido em um laptop enquanto um colega aponta para uma caixa de entrada de conversas com ícones de chat, e-mail e telefone, ao lado do logo sorridente de chat da Kustomer sobre uma forma azul
TL;DR

A garantia de qualidade com IA da Kustomer (AI QA), lançada em 14 de outubro de 2026, pontua toda conversa encerrada, atendida por uma pessoa ou por um agente de IA, segundo um scorecard ponderado que você escreve em linguagem simples, e mostra seu raciocínio junto a cada pontuação. No Enterprise e Ultimate, é um complemento de US$ 0,05 por execução, e a Kustomer não diz o que conta como uma execução, então calcule o seu volume antes de ativá-lo. Diferente do Gorgias Auto QA, você pode escrever seus próprios critérios, então verificar respostas contra suas próprias políticas está ao seu alcance; a questão em aberto é confiança, então leia as pontuações mais baixas e corrija-as manualmente. O eesel não tem integração com a Kustomer, então na Kustomer eu usaria o recurso nativo e manteria o eesel para filas no Zendesk, Freshdesk, Gorgias ou Help Scout. Com a CLI do eesel, um agente de codificação com IA pode escrever uma rubrica de QA no eesel e testá-la em tickets de amostra antes de qualquer coisa ir ao ar, embora uma conexão de helpdesk ainda precise da aprovação de um administrador.

O que é a garantia de qualidade com IA da Kustomer?

A garantia de qualidade com IA da Kustomer é uma revisão automatizada de conversas. Em sua página de AI QA, a Kustomer diz que ela "pontua toda conversa de agente de IA e toda conversa de representante humano contra um scorecard que você define, automaticamente", com o raciocínio da IA anexado a cada pontuação. Ela chegou junto com o Conversation Intelligence em um lançamento de outubro de 2026.

O argumento é sobre cobertura. Uma pesquisa CSAT só ouve os 2-3% dos clientes que respondem, o número que o CEO da Kustomer, Brad Birnbaum, usa no comunicado de lançamento, e a garantia de qualidade manual lê apenas uma pequena amostra por cima disso. Pontuar toda conversa encerrada é a parte que nenhum líder consegue fazer manualmente. Trabalho do lado de produto na eesel, então leio isso como leria nosso próprio recurso: o que ele pontua, o que precisa, quanto custa, e o que a documentação deixa de fora.

O cartão de AI Quality Assurance da Kustomer mostra uma pontuação de 48% com o raciocínio de que o agente disse "Considere resolvido!" sem verificar se o pedido era elegível para uma mudança de endereço
Toda pontuação carrega seus motivos, como mostrado na página de AI QA da Kustomer.

O que o Kustomer AI QA pontua?

Ele pontua quaisquer critérios que você escrever, cada um com um peso. O artigo de lançamento da Kustomer diz que você define os critérios "em linguagem simples" e atribui um peso a cada um, e que um único scorecard cobre tanto agentes de IA quanto representantes humanos, então você não mantém duas rubricas.

Os exemplos da Kustomer mostram como isso se parece:

  • Para agentes de IA: adesão ao procedimento, resolução e qualidade da transferência. O exemplo de 48% acima perdeu pontos em resolução completa porque o agente confirmou uma mudança de endereço sem verificar se o pedido era elegível.
  • Para representantes humanos: a mesma rubrica, com raciocínio de aprovado ou reprovado por critério. O scorecard de amostra na página da Kustomer pondera quatro critérios a 25% cada (primeira resposta qualificada, entendimento completo, resolução completa e comunicação clara), com categorias de avaliação como Excellent, Acceptable e Poor.
  • Para uma transferência: o artigo diz que a conversa completa é pontuada como uma única unidade, incluindo como foi a transferência de IA para humano.
O criador de scorecards da Kustomer com quatro critérios a 25% cada da pontuação e categorias de avaliação Excellent 100, Acceptable 60 e Poor 0
Pesos e categorias de avaliação que você mesmo escreve, como mostrado na página de AI QA da Kustomer.

Essa é a diferença que importa se você ler minhas notas sobre a garantia de qualidade com IA da Gorgias: a Gorgias fixa sete critérios e deixa a IA pontuar três. A Kustomer deixa você escrever a rubrica, então "o agente verificou a elegibilidade antes de prometer um reembolso" é uma linha que você pode adicionar. O blog da Kustomer também diz que as avaliações são "fundamentadas em suas próprias bases de conhecimento, políticas e procedimentos", embora as páginas não detalhem como uma base de conhecimento se conecta a um scorecard.

Como uma pontuação é gerada, e o que acontece depois?

Uma conversa é encerrada, o AI QA a pontua segundo seus critérios ponderados, e a pontuação cai como um campo normal. A atualização de produto de outubro da Kustomer diz que uma pontuação "é um atributo normal", então ela alimenta relatórios e o Data Explorer, e você pode filtrar as conversas com pontuação mais baixa, humanas ou de IA.

Fluxo desenhado à mão de uma conversa encerrada, passando por critérios ponderados, até uma pontuação de 48% com motivos, e então para alertar um administrador ou atualizar o procedimento
Da conversa encerrada até a correção: o caminho que a Kustomer descreve para uma pontuação baixa de um agente de IA.

O artigo de lançamento dá dois desdobramentos. Uma pontuação baixa em um agente de IA pode acionar um workflow que alerta um administrador, e o raciocínio mostra qual etapa o agente errou, para que você possa reescrever suas instruções. Uma pontuação incomumente alta em um representante pode marcar um gerente, de modo que a conversa se torne um exemplo de treinamento. Ambos dependem de um workflow que você mesmo constrói.

Como você configura o AI QA na Kustomer?

A configuração é breve, e as páginas da Kustomer a descrevem em quatro passos. Isso vem da atualização de produto, porque não encontrei um artigo de ajuda passo a passo para o AI QA em si.

  1. Ative o campo pré-configurado. A Kustomer diz que um campo de AI QA já pronto "é ativado com um único clique".
  2. Edite-o para corresponder aos seus padrões. Escreva cada critério em linguagem simples e dê a ele um peso.
  3. Escolha quando ele roda. Toda conversa encerrada é pontuada assim que o campo é configurado para rodar.
  4. Faça verificações por amostragem e corrija. Os administradores podem substituir qualquer pontuação manualmente, e o artigo diz que um valor corrigido "não será sobrescrito silenciosamente na próxima vez que o campo for executado."

Se você quiser mais do que uma pontuação de qualidade, como motivos de contato ou números de pedido extraídos para campos, essa é a função irmã, o Conversation Intelligence. O artigo de ajuda sobre atributos de IA da Kustomer lista seus três tipos de atributo: Classifier, Score e Extractor. Minhas notas sobre análise de sentimento do Kustomer AI percorrem a construção de um deles, e como configurar a IA na Kustomer cobre o restante da configuração de IA.

Quanto custa o Kustomer AI QA?

O AI QA é cobrado por consumo. A página de detalhes de preços da Kustomer (verificada em 22 de novembro de 2026) o lista como complemento para os planos atuais Enterprise e Ultimate:

ItemEnterpriseUltimatePlanos antigos
AI QAUS$ 0,05 por execução (20 execuções por crédito)US$ 0,05 por execução (20 execuções por crédito)Não listado
Conversation IntelligenceUS$ 0,02 por execução (50 por crédito)US$ 0,02 por execução (50 por crédito)Não listado
Sentiment TrackingIncluídoIncluídoIncluído
Preço da plataforma"Fale com o Vendas""Fale com o Vendas""Fale com o Vendas"
Pilha desenhada à mão de três camadas no Enterprise e Ultimate: Sentiment incluído, Conversation Intelligence a US$ 0,02 por execução, AI QA a US$ 0,05 por execução
Três camadas nos mesmos planos: só as duas de cima são cobradas por consumo.

A Kustomer não define "execução". Se uma execução significa uma conversa pontuada, o custo é fácil de estimar. Se um scorecard com vários critérios conta como várias, não é. Experimente a estimativa abaixo, e trate-a como um piso até a Kustomer confirmar a unidade no seu contrato.

Quantas conversas são encerradas por mês?
US$ 100 por mês
Execuções2.000
Créditos a 20 por crédito100
US$ 400 por mês
Execuções8.000
Créditos a 20 por crédito400
US$ 1.000 por mês
Execuções20.000
Créditos a 20 por crédito1.000
US$ 2.500 por mês
Execuções50.000
Créditos a 20 por crédito2.500
Assume uma execução por conversa encerrada, à taxa de pagamento por uso de US$ 0,05. A Kustomer não informa o preço do crédito nem define uma execução, e isso exclui o preço da plataforma.

Para uma equipe que encerra 8.000 conversas por mês, isso dá cerca de US$ 400 por mês em AI QA, mais os US$ 0,02 por execução de qualquer atributo de Conversation Intelligence que você rode junto. Preços da Kustomer cobre o lado da plataforma, e uma comparação de custo por ticket coloca o número em contexto.

O que a Kustomer deixa sem documentar?

As páginas da Kustomer são específicas sobre a ideia e magras sobre os limites. Aqui está o que não consegui encontrar em nenhuma página da Kustomer:

  • O que é uma execução. Só a taxa de US$ 0,05 e "20 execuções por crédito" estão listadas.
  • Quem pode comprar. A atualização de produto diz que o Conversation Intelligence está disponível "como complemento pago para clientes existentes", e não informa a disponibilidade do AI QA para novos clientes. Pergunte à sua equipe de conta.
  • Canais cobertos. As páginas dizem "conversas" e não listam canais omnichannel como telefone ou redes sociais.
  • A escala de pontuação. A atualização de produto documenta de 0 a 100 para as pontuações do Conversation Intelligence, não especificamente para o AI QA. As capturas de tela mostram porcentagens.
  • Precisão. Não há número de precisão publicado nem teste independente. A afirmação de cobertura ("100%") vem da própria Kustomer.
  • Regras de reprovação automática. Um resumo de imprensa do lançamento as menciona. Não as encontrei nas próprias páginas de AI QA da Kustomer, então eu não planejaria em torno delas.

Nada disso é motivo para pular o recurso. É uma lista de perguntas para sua demo.

Como você confia nas pontuações do AI QA?

A confiança se conquista lendo as pontuações que parecem erradas. Uma pontuação de IA com um motivo é algo que você pode contestar, o que é uma vantagem real sobre um número isolado, e a correção da Kustomer permanece. O risco são critérios vagos: um modelo não consegue pontuar "bom tom" como seu melhor revisor faria, a menos que você diga como é o bom.

Ciclo desenhado à mão: a IA pontua todo chat encerrado, você lê as pontuações mais baixas, corrige manualmente, reescreve o critério vago, e a confiança cresce
O ciclo de calibração que eu seguiria no primeiro mês.

O que eu faria no primeiro mês:

  1. Comece com três a cinco critérios, cada um ligado a algo que você possa apontar em uma transcrição, como "verificou a elegibilidade do pedido antes de prometer uma mudança".
  2. Leia as 20 pontuações mais baixas e 20 aleatórias toda semana, e substitua qualquer uma com a qual você discorde.
  3. Reescreva os critérios que causaram as discordâncias. A calibração de QA de suporte e estes exemplos de feedback de QA ajudam com a redação.
  4. Mantenha sua pesquisa de CSAT real rodando. O AI QA julga o seu atendimento, e os clientes julgam o resultado. Eles podem discordar.
  5. Observe os resultados, não só as pontuações. Compare as tendências de QA com a resolução no primeiro contato e a escalonamento antes de treinar alguém com base em um número.

Garantia de qualidade com IA no suporte explica como julgar um agente de IA antes e depois do lançamento, e QA de suporte com IA cobre o lado humano. Se você usa o próprio agente da Kustomer, minhas notas sobre Kustomer AI e Kustomer AI deflection explicam o que ele atende.

Você pode fazer QA em conversas da Kustomer fora da Kustomer?

Sim, por meio de conectores, e este é o lugar honesto para o eesel dar um passo atrás. A Kustomer lista ferramentas de QA de terceiros em suas páginas de integrações:

  • Scorebuddy diz que vai "sincronizar automaticamente as interações da Kustomer" para suas próprias avaliações de garantia de qualidade com IA.
  • Intryc diz que a configuração precisa de "uma chave de API com as permissões certas e o seu domínio Kustomer", e afirma que pode analisar até 100% das conversas, segundo sua página na Kustomer. Essas são afirmações do fornecedor sem dados de precisão publicados.
  • Solidroad também tem uma página na Kustomer.

A contrapartida é mais um fornecedor guardando conversas de clientes, o que sua revisão de segurança vai questionar. Meu panorama de ferramentas de QA de suporte as compara, e as listas melhor IA para QA de suporte e melhor assistente de QA com IA vão mais longe.

O eesel não é uma dessas opções para a Kustomer, porque não tem integração com a Kustomer, e prefiro dizer isso do que forçar a afirmação. Onde ele se encaixa é em uma equipe cuja fila está no Zendesk, Freshdesk, Gorgias ou Help Scout: ali, o eesel roda segundo uma programação, lê todo ticket encerrado, o pontua em uma rubrica que você escreve em palavras simples e deixa os motivos como nota interna. É a mesma ideia do recurso nativo da Kustomer, em um helpdesk que não o tem.

O eesel também move o QA para mais cedo no processo. A SaunaSpace faz o eesel redigir respostas no Gorgias com sua voz de marca calma e direta, a partir de cerca de 1.550 páginas, artigos e tickets anteriores, com uma pessoa sempre enviando: 180 rascunhos de resposta em 110 conversas em um mês. Um rascunho na sua voz precisa de menos correção depois, então sobra menos para qualquer QA encontrar.

O Kustomer AI QA vale a pena?

Para uma equipe já no Enterprise ou Ultimate, sim, com uma verificação de orçamento antes. O design é sólido: seus próprios critérios, motivos em cada pontuação, uma rubrica para pessoas e agentes de IA, correções que permanecem, e pontuações que são campos comuns que você pode reportar e automatizar. Isso supera amostrar manualmente 2-3% dos tickets.

Minha opinião: ative para uma fila, calcule a US$ 0,05 por conversa encerrada até a Kustomer dizer o contrário, e não treine ninguém com base em uma pontuação que você não leu. Se sua rubrica depende de fatos que as páginas não explicam como fornecer, como documentos de política, teste primeiro algumas conversas já conhecidas como ruins. E se você está comparando helpdesks parcialmente pelo QA, veja minha análise da Kustomer, a visão para empresas, ou alternativas à Kustomer.

Teste o eesel para QA além da Kustomer

Se parte do seu suporte roda em um helpdesk sem garantia de qualidade com IA própria, um colega de equipe de IA para helpdesk como o eesel pode revisar os tickets encerrados contra a sua rubrica todas as manhãs, marcar as falhas e publicar um resumo para o líder. Você escolhe o que ele pode fazer sozinho, e cada ação pode ser configurada como executar, perguntar antes ou desativada em ações e aprovações. Teste o eesel com uma semana de tickets encerrados e compare as notas dele com suas próprias revisões.

O formulário de nova tarefa agendada do eesel com um campo de prompt para o que o agente faz em cada execução, Diário selecionado às 9h00
Uma revisão diária dos tickets encerrados ontem é uma programação no eesel.

Perguntas Frequentes

A Kustomer tem garantia de qualidade com IA?
Sim. A Kustomer lançou o AI QA em outubro de 2026. Ele pontua toda conversa encerrada, atendida por uma pessoa ou por um agente de IA, segundo um scorecard ponderado que você escreve em linguagem simples, e mostra seu raciocínio. Garantia de qualidade com IA no suporte explica como o AI QA funciona em geral.
Quanto custa o Kustomer AI QA?
A página de detalhes de preços da Kustomer lista o AI QA como complemento para Enterprise e Ultimate a US$ 0,05 por execução, ou 20 execuções por crédito. Ela não define o que é uma execução nem publica os preços da plataforma. Preços da Kustomer explica os planos.
Posso escrever meus próprios critérios de QA na Kustomer?
Sim. A Kustomer diz que você define os critérios em linguagem simple e atribui um peso a cada um, e que um único scorecard cobre tanto os representantes humanos quanto os agentes de IA. A calibração de QA de suporte ajuda a redigir critérios para que as pontuações fiquem consistentes.
Posso corrigir uma pontuação do Kustomer AI QA?
Sim. Os administradores podem substituir qualquer pontuação manualmente, e a Kustomer diz que um valor corrigido não será sobrescrito silenciosamente na próxima vez que o campo for executado. Use isso para calibrar o scorecard, e veja estes exemplos de feedback de QA para a redação.
O Kustomer AI QA pontua o próprio agente de IA?
Sim. A Kustomer diz que o AI QA pontua toda conversa do agente de IA, incluindo adesão ao procedimento, resolução e qualidade da transferência. Kustomer AI explica o que esse agente atende.
O Kustomer AI QA é o mesmo que o Conversation Intelligence?
Não. O Conversation Intelligence classifica, pontua e extrai detalhes como motivo de contato ou números de pedido, a US$ 0,02 por execução. O AI QA avalia como uma conversa foi conduzida, a US$ 0,05. Análise de sentimento do Kustomer AI mostra a configuração de atributos.
Quais ferramentas de QA de terceiros funcionam com a Kustomer?
A Kustomer lista Scorebuddy, Intryc e Solidroad em suas páginas de integrações. O Scorebuddy sincroniza interações da Kustomer para sua própria garantia de qualidade com IA, e o Intryc precisa de uma chave de API e do seu domínio Kustomer. Veja ferramentas de QA para suporte ao cliente para uma comparação.
O eesel pode fazer garantia de qualidade com IA em conversas da Kustomer?
Hoje não: o eesel não tem integração com a Kustomer. Para filas no Zendesk, Freshdesk, Gorgias ou Help Scout, o eesel pode revisar os tickets encerrados segundo uma programação, com uma rubrica que você escreve em palavras simples. Garantia de qualidade com IA da Gorgias mostra o padrão.

Share this article