Garantia de qualidade com IA da Gladly: o que ela pontua, o que ela deixa de fora e como cobrir a lacuna

Riellvriany Indriawan
Escrito por

Riellvriany Indriawan

Katelin Teen
Revisado por

Katelin Teen

Última edição 22 de novembro de 2026

Verificado por especialista
Ilustração desenhada à mão de uma líder de equipe de suporte segurando uma prancheta de pontuação ao lado de um laptop, com a resposta de chat de um agente de IA passando por um portão de verificação, e o logo da Gladly em fundo verde-oliva
TL;DR

A Gladly realmente tem garantia de qualidade com IA, mas ela é voltada para a própria IA da Gladly, não para um scorecard da sua equipe. Os quality checks filtram cada resposta da Gladly AI antes do envio e entregam o chat a uma pessoa se algum falhar, e o Signals pontua sessões de IA de chat, SMS e e-mail de acordo com até cinco critérios que você escreve. Conversas de agentes humanos são pontuadas em ferramentas de parceiros como MaestroQA ou Calabrio, e a documentação da Gladly não nomeia nenhum plano ou preço para nada disso. O eesel não tem conexão embutida com a Gladly, então eu o usaria como revisor pela API REST da Gladly (não testei isso de ponta a ponta), ou como a escolha se você usa Zendesk, Freshdesk ou Gorgias.

Com a CLI do eesel, um agente de IA para código pode enviar sua rubrica de QA e suas páginas de política, depois fazer perguntas de teste e verificar as respostas antes de qualquer coisa entrar em produção. Uma pessoa ainda precisa aprovar qualquer conexão com um helpdesk.

A Gladly tem garantia de qualidade com IA?

Sim, em três camadas, e o que vale notar é quem cada camada observa. Eu trabalho na fila de suporte da eesel, então leio uma ferramenta de QA perguntando quem é pontuado e quem não é. Na Gladly, as camadas nativas olham para a IA. As pessoas ficam em uma trilha separada que a Gladly entrega a parceiros, e essa é a lacuna de que trata este artigo.

Mapa desenhado à mão com uma trilha superior para respostas da Gladly AI contendo quality checks antes do envio, revisão por polegar das sessões e pontuação de tendências do Signals, e uma trilha inferior para conversas de agentes humanos contendo MaestroQA e Calabrio como ferramentas de parceiros
As próprias ferramentas de QA da Gladly ficam na trilha da IA. Pontuar agentes humanos passa por um parceiro.
CamadaO que fazQuem vêLimite
Quality checksTesta cada resposta de IA antes do envioAdmins e Team Managers configuramVerifica a resposta, mas não dá uma pontuação
Review and InspectAvaliação por polegar e notas, mais uma visão passo a passo de por que a IA respondeu assimAdmins e Team Managers, não os agentesSem dados antes de 24 de fevereiro de 2026
SignalsA IA pontua sessões de acordo com seus critérios e agrega tendênciasAdmins, Team Managers, funções personalizadas com View Gladly AIApenas sessões de IA de chat, SMS e e-mail
QA de parceiroAvaliadores pontuam conversas e fazem coaching com agentesOs próprios usuários do parceiroFornecedor e contrato separados

A página de QA da Gladly descreve o lado humano como "sync seamlessly with your QA tool", o que mostra que o scorecard vive fora da Gladly. Se você quiser a ideia geral primeiro, meu guia sobre IA para QA de suporte cobre o que um programa completo verifica.

O que os quality checks da Gladly detectam?

Eles detectam problemas na resposta antes que o cliente os veja, o que é um trabalho diferente de pontuar. Segundo o resumo da Gladly (atualizado em 21 de fevereiro de 2026), um cliente envia uma mensagem, a Gladly gera uma resposta, e a resposta passa por checks automatizados. Se aprovada, é enviada. Se reprovada, a Gladly entrega a um agente em vez de enviar.

Os checks se dividem em três categorias voltadas ao cliente:

CategoriaO que ela marcaExemplo de falha da documentação da Gladly
Missing ActionAfirmações sobre ações que a Gladly não executou ou não pode executar"Your order has been cancelled" quando nenhum cancelamento foi executado
Missing InformationInformação insuficiente para responder"Reach out to our customer service team" dentro de uma conversa que já é de atendimento ao cliente
Unverified InformationDatas, políticas, e-mails, telefones ou URLs que não estão no contexto"Our return policy is 90 days" quando a regra real é de 30 dias

Por baixo, a Gladly mistura checks de LLM (Implied Mutation, Unfulfilled Action, Transfer Claim, Contact Us, Hallucination) com checks de código (Invalid Phrase, alucinação de e-mail e telefone). Hallucination é o que eu acompanharia de perto: ele divide a resposta em frases e pergunta se cada afirmação factual é respaldada por resultados de ações, resultados de busca ou conteúdo do Guide. Auto-Correction é uma configuração padrão que remove frases sem respaldo até um limite configurado, corrige a gramática, repara URLs e verifica novamente antes de entregar.

Revisão de conversa da Gladly mostrando um quality check marcado por falta de informação, com a resposta proposta, a explicação e uma entrega a um agente, retirado da documentação de ajuda da Gladly
Um check reprovado impede que a resposta proposta chegue ao cliente e mostra o motivo, segundo a documentação de quality checks da Gladly.

Isso pode ser ajustado por Guide. Um Admin ou Team Manager pode ativar ou desativar checks individuais para um Guide, e o ponto de partida recomendado pela Gladly é específico: para um Guide que responde a partir de fontes de conhecimento, manter Hallucination ativado e desativar Implied Mutation e Invalid Phrase, porque eles "may flag valid instructions and cause unnecessary handoffs". Isso mostra que o custo de um check estrito é uma entrega, então uma configuração sensível demais aparece como trabalho extra para seus agentes. Leia minhas notas sobre boas práticas de handoff se isso for importante para você.

Como você revisa conversas da Gladly AI?

Você as abre uma a uma, ou extrai os relatórios agregados. No Review and Inspect (atualizado em 7 de novembro de 2026), você abre uma sessão de IA, dá um polegar para cima ou para baixo com uma nota, e clica em qualquer resposta de IA para ver o Guide seguido, as fontes consultadas, os passos executados e o resultado do quality check.

Resumo do Inspect da Gladly para um turno respondido mostrando o agente, o Guide, as Sections, as fontes de conhecimento e um quality check aprovado, retirado da documentação de ajuda da Gladly
O Inspect mostra por que uma resposta foi escrita. Este turno passou no quality check.

Quatro detalhes moldam como você rodaria isso como uma rotina de QA:

  • É para gestores. Review and Inspect são visíveis para Admins e Team Managers, não para agentes, e o Inspect não está disponível para conversas anteriores a 24 de fevereiro de 2026.
  • As avaliações são um diário. A Gladly diz que a página de Reviews "is an internal tool for your team, it is not sent to or acted on by Gladly". As avaliações não retreinam nada por conta própria.
  • Você pode exportá-las. O Feedback Report gera uma linha por review com o comentário, o ID da sessão e o link da conversa, em CSV.
  • Há um painel de resultados. O Improvement Opportunities acompanha taxas de resposta, resolução, handoff e recontato em 24 horas, e classifica motivos de handoff como QC Failure, Transfer Detector e Hallucinated Argument.

A Gladly também tem um Simulator para testar antes do lançamento. Você escreve um cenário com critérios de sucesso de sim ou não, e cada critério precisa passar para que o teste passe. Ele está em Early Access, então você entra em contato com o suporte da Gladly para saber mais. Para o método geral, veja testes de simulação de suporte com IA.

O que o Gladly Signals pode pontuar?

O Signals é o que a Gladly tem de mais próximo de pontuação automatizada, e é útil com limites claros. Segundo a documentação da Gladly (atualizada em 20 de novembro de 2026), ele "uses AI to evaluate AI-handled Sessions against criteria you define", e depois agrega os resultados em tendências. Você monta um Signal com um a cinco critérios, cada um com dois a cinco labels (até 30 caracteres cada), e opcionalmente marca um label como Goal ou Risk.

Visão geral do Gladly Signals para um critério de conversa respeitosa mostrando uma taxa média de 40,8 por cento "highly respectful" em 149 sessões e um gráfico de linhas de resultados por execução, retirado da documentação de ajuda da Gladly
A aba Overview de um Signal, com uma taxa para o label de Goal e uma contagem de sessões por execução, da documentação de review da Gladly.

Você escolhe como ele funciona:

  • Amostragem. A taxa é de 5%, 20% (padrão), 50% ou 100%, com 100, 1.000 ou 10.000 sessões por execução.
  • Agendamento. Pontual, ou contínuo diário ou semanal. Não há opção mensal, e a Gladly diz que o Signals roda sob demanda ou agendado, não em tempo real.
  • Revisão. Cada sessão avaliada traz o label da IA, seu raciocínio e uma citação de apoio. Você aprova ou marca cada uma, e um cartão de taxa de concordância mostra com que frequência sua revisão coincidiu com a da IA.

O conselho da Gladly é a parte que eu copiaria. Prefira menos labels, já que "Binary (Yes/No) or a short list of named categories" produz resultados mais consistentes do que uma lista mais longa, e nunca use uma escala de 1 a 5. Comece com menos de 50 sessões antes de escalar. A Gladly mantém seus próprios critérios integrados em uma barra de ">90% accuracy" e diz que você deve definir a sua.

Gráfico desenhado à mão listando o que o Signals lê: sessões de IA de chat, SMS e e-mail, a transcrição da mensagem e um a cinco critérios, e o que o Signals deixa de fora: conversas de agentes humanos, chamadas de ferramentas e resultados de API, e chamadas de voz
O que um Signal pode e não pode ler, segundo a documentação da Gladly.

Dois limites importam mais para uma líder de QA. Primeiro, as boas práticas do Signals dizem que ele "only reads the Conversation transcript", então não consegue ver chamadas de ferramentas nem respostas de API, e "conversations led by human Agents aren't included yet". O próprio exemplo da Gladly: você não pode perguntar se a IA realizou com sucesso um cancelamento, apenas se ela disse ao cliente que o pedido foi cancelado. Segundo, é uma ferramenta de tendências. A Gladly diz que ele "not a replacement for human review".

Quem pontua agentes humanos na Gladly?

Um parceiro faz isso. A lista de integrações da Gladly inclui MaestroQA e Calabrio, ambos construídos e mantidos pelo parceiro, não pela Gladly.

  • MaestroQA se descreve como uma plataforma para entender "support quality beyond CSAT", onde avaliadores veem e-mails e escutam chamadas. Segundo o kit de integração da Gladly, ele faz requisições somente leitura, então "no data comes to Gladly from MaestroQA". Ele traz todas as conversas e depois usa regras para restringir o que os avaliadores veem. Os canais são e-mail, voz e todos os canais de mensagens, e a configuração exige um token de API de um usuário dedicado da Gladly.
  • Calabrio permite levar os dados de desempenho por agente da Gladly para programas de coaching e QA, com a Calabrio Professional Services cuidando da implementação.

Se você permanecer dentro da Gladly, também há uma via manual. Admins, Team Managers e usuários Agent Plus podem escutar, treinar ou entrar em chamadas telefônicas em tempo real, e as gravações ficam disponíveis para práticas de QA. Uma QA Analyst no Capterra descreve essa via assim:

Capterra

"It's great that the call is always recorded and that we can stop the recording when we need it. It helps us to keep track of every call very easy. Not only that, but it has the option to listen other call to monitoring in case is needed."

A profundidade de relatórios é onde alguns avaliadores querem mais. Outro avaliador no Capterra escreve:

Capterra

"While this platform performs flawlessly at organizing customer communications and straightening out all chat content, its built-in data reporting function is far from sufficient to meet our marketing team’s needs."

Esse avaliador está falando de análise de marketing, não de QA, então eu não estenderia demais essa leitura. Mas ela combina com o padrão: o relatório da Gladly é amplo, e sua pontuação de sentimento e qualidade de conversas humanas vive em outro lugar. Minhas notas sobre análise de sentimento com IA da Gladly cobrem a outra metade.

Qual ferramenta da Gladly cobre qual check?

Use isto para organizar suas próprias perguntas de QA. Toque em uma para ver o que a cobre.

A Gladly consegue verificar isso nativamente?
As respostas vêm da documentação de ajuda da Gladly, atualizada até novembro de 2026.
A IA inventou uma política ou uma data?
Sim, antes do envioO check Hallucination testa cada frase factual contra resultados de ações, resultados de busca e conteúdo do Guide.Uma falha entrega o chat a um agente em vez de enviá-lo.
A IA disse que fez algo que não fez?
Sim, antes do envioImplied Mutation e Unfulfilled Action comparam a resposta com as ações que realmente foram executadas.Transfer Claim cobre uma entrega prometida que nunca aconteceu.
O tom da IA está piorando ao longo de um mês?
Sim, como SignalEscreva um critério como conversa respeitosa com dois a cinco labels, e então execute-o em uma amostra de sessões de IA.Apenas sessões de chat, SMS e e-mail, sob demanda ou diário ou semanal.
A IA usou os dados de pedido corretos?
ParcialmenteO Inspect mostra o Guide, as fontes e os passos de cada resposta, para que um revisor possa verificar manualmente.O Signals não consegue ver chamadas de ferramentas nem resultados de API, então não pode pontuar isso.
Um agente humano seguiu a política de devolução?
Não nativamenteO Signals ainda não inclui conversas conduzidas por agentes humanos.Use um parceiro como MaestroQA ou Calabrio, ou um revisor que leia a conversa contra sua política.
A chamada de telefone foi bem conduzida?
Não pontuadaVocê pode escutar gravações e ler Voice Summaries, mas voz não está listada entre os canais do Signals.O MaestroQA lista voz entre seus canais suportados para a Gladly.

Toque em cada check para ver qual ferramenta da Gladly, se houver alguma, o cobre.

Qual plano da Gladly inclui QA, e quanto custa?

Não consegui confirmar nenhuma das duas coisas nas próprias páginas da Gladly. A documentação descreve os quality checks, o registro de Reviews e o Signals sem nomear um plano, embora o Signals diga estar disponível "for any organization using Gladly AI". O Simulator está em Early Access por solicitação. A Gladly não publica preços de plataforma em sua página de preços, então o número vem de uma ligação de vendas. Meu guia de preços da Gladly cobre o pouco que é público.

Pergunte quatro coisas à sua equipe de conta antes de planejar algo em torno disso:

  1. O Signals está no meu contrato, e como suas execuções são cobradas se eu elevar a taxa de amostragem para perto de 100%?
  2. Os quality checks estão ativos por padrão em cada Guide, e posso ver a taxa de handoff que eles causam?
  3. Qual ferramenta de QA de parceiro outros clientes da Gladly usam nos meus canais, e o que esse contrato adiciona?
  4. Quando o Signals vai ler conversas conduzidas por agentes humanos?

MaestroQA e Calabrio precificam seus próprios produtos, e eu não precifiquei nenhum dos dois, então não vou arriscar um número.

Como cobrir as lacunas no QA da Gladly?

Comece pelo que a Gladly já faz bem, e depois adicione uma trilha para agentes humanos. Esta é a rotina que eu seguiria, com cerca de 30 minutos para configurar:

  1. Mantenha os quality checks padrão ativados. Desative apenas os que a própria Gladly recomenda remover em um Guide baseado apenas em conhecimento, e observe sua taxa de handoff depois.
  2. Escreva três Signals binários. Escolha perguntas de sim ou não ligadas às suas políticas, execute cada uma em menos de 50 sessões, e depois amplie. Comece com "disse ao cliente que uma ação foi feita" e "informou uma data ou política".
  3. Revise toda sessão marcada ou com pontuação baixa. Use a taxa de concordância para encontrar critérios que precisam ser ajustados. Minha rotina de revisão de conversas de IA mostra o que procurar.
  4. Coloque um scorecard nas conversas humanas. Use uma ferramenta de parceiro, ou uma equipe calibrada de revisores. Calibração de QA de suporte e critérios de scorecard de QA ajudam você a começar.
  5. Devolva os erros encontrados. A nota de um revisor só é útil se alguém editar o Guide ou a política. Exemplos de feedback de QA mantêm as notas concretas.

Adicione o CSAT como um segundo sinal de onde olhar primeiro, e um registro de escalonamento para as conversas que precisaram de uma pessoa de qualquer forma.

Onde o eesel se encaixa no QA da Gladly?

O eesel não tem uma conexão embutida com a Gladly, então aqui está o que posso e não posso dizer. O eesel é uma plataforma de colegas de equipe com IA, e o que importa aqui é o colega de equipe de helpdesk com IA. Para QA, eu penso nele como um revisor que lê as conversas que você entrega a ele e as verifica contra regras que você escreve em palavras simples.

A Gladly tem uma API REST, e o eesel tem uma página Your APIs onde você autoriza um domínio e adiciona um cabeçalho de autenticação. Autenticação básica é suportada, as credenciais ficam nas configurações, e a IA nunca as vê. A própria documentação da Gladly diz que um usuário de API cria um token de API, que é mostrado uma única vez e está vinculado a um usuário e a um ambiente, e que o MaestroQA lê conversas pelos endpoints /conversations e /conversation-items. Então trazer uma conversa para revisão parece possível. Eu não testei o eesel contra a API da Gladly, então trate isso como uma rota a confirmar em uma demo, não como um recurso já entregue.

Se isso funcionar, você daria a ele IDs de conversa, e ele leria as mensagens, as verificaria contra sua política e sua base de conhecimento, e relataria os motivos a um líder. Nas ações e aprovações do eesel, cada ação pode rodar por conta própria, perguntar antes ou ficar desativada, o que mantém um humano no loop.

Fluxo desenhado à mão com quatro cartões: IDs de conversa que você escolhe, ler as mensagens, verificar contra suas regras escritas, e um veredito com motivos para um líder, com um pequeno cartão de "perguntar antes" ou "ativado" sob o passo de verificação
O fluxo de revisão que eu configuraria. Quais ações rodam por conta própria é uma configuração sua.

A mesma forma já funciona para clientes do eesel. A Cactus Club Cafe opera dois agentes no Zendesk. A Tixie lê o ticket inteiro, abre a política de emergência e a matriz de roteamento antes de qualquer outra coisa, e segue o runbook correspondente sem passos improvisados. Cerca de 790 de suas respostas em um mês foram rascunhos para a equipe enviar, contra 51 enviadas diretamente. Um segundo agente audita o extrato financeiro diário, verifica cada loja e o total, e então resolve o ticket como equilibrado ou o deixa aberto com a diferença indicada. Uma revisão de QA também é uma verificação contra regras escritas.

Para os outros helpdesks, veja meus guias de Dixa, Freshchat, Gorgias, Kustomer e Zoho Desk.

O QA da Gladly é suficiente?

Para a IA, sim, e os quality checks antes do envio são a parte que eu avalio mais alto. Eles impedem uma resposta com uma data sem respaldo ou uma ação prometida que nunca aconteceu, e explicam o motivo. Para pessoas, não: você precisa de um parceiro ou de um revisor humano, e deveria perguntar quando o Signals vai cobrir conversas conduzidas por agentes.

Minha opinião: se você usa a Gladly AI, mantenha os quality checks ativados, use o Signals para as tendências que você conseguir nomear em uma pergunta de sim ou não, e pontue seus humanos no MaestroQA ou Calabrio. Lembre-se do que significa um check aprovado. Significa que a resposta foi respaldada pelo contexto, não que a política estava certa. Para verificações mais profundas entre ferramentas, veja meu panorama de IA para QA de suporte e minhas notas sobre observabilidade de agente de suporte com IA e permissões. Para o resto da IA da Gladly, leia resumos com IA da Gladly, respostas de rascunho, roteamento, tradução e deflection. Está avaliando uma troca? Veja as melhores alternativas à Gladly, a melhor IA para Gladly e Kustomer vs Gladly.

Testar o eesel como seu revisor de políticas

Se o check que está faltando para você é "isso estava certo segundo nossa política?", o eesel é o revisor que eu testaria a seguir, ao lado das próprias ferramentas da Gladly. Ele lê as conversas que você entrega a ele, as verifica contra as regras que você escreve e sua central de ajuda, e diz por que elas passaram ou falharam. Se você usa Zendesk, Freshdesk ou Gorgias, ele se conecta diretamente. Se você usa Gladly, pergunte primeiro sobre a rota de API. Comece com dez conversas que sua equipe já pontuou, e veja se o eesel concorda. O guia de QA de call center cobre voz.

A lista de atividades do eesel mostrando conversas de um helpdesk Zendesk conectado com status resolvido e aguardando aprovação
A lista de atividades do eesel, com pendências aguardando a aprovação de uma pessoa. Este workspace está conectado ao Zendesk.

Teste o eesel gratuitamente, ou agende uma demo para perguntar como ele revisaria suas conversas da Gladly.

Perguntas frequentes

A Gladly tem garantia de qualidade com IA?
Sim, mas voltada para a própria IA da Gladly. Os quality checks filtram cada resposta de IA antes do envio, um registro de Reviews reúne feedback de polegar para cima e para baixo, e o Signals pontua sessões de IA de acordo com critérios que você escreve. Para uma visão mais ampla, veja garantia de qualidade com IA no suporte.
A Gladly pode pontuar conversas de agentes humanos?
Não nativamente. A documentação da Gladly diz que o Signals ainda não inclui conversas conduzidas por agentes humanos, e sua página de QA direciona as equipes para ferramentas de QA integradas. MaestroQA e Calabrio são os dois parceiros que levam dados da Gladly para programas de QA e coaching. Ferramentas de QA de suporte compara opções dedicadas.
Quanto custa o QA da Gladly?
A documentação da Gladly não nomeia preço ou plano para os quality checks, o registro de Reviews ou o Signals, e a empresa não publica preços de plataforma, então pergunte à sua equipe de conta. MaestroQA e Calabrio são fornecedores separados com contratos próprios. Meu guia de preços da Gladly cobre o que é público.
O que os quality checks da Gladly detectam?
Eles detectam três tipos de problema em uma resposta de IA: afirmar uma ação que nunca foi executada, não ter informação suficiente para responder, e declarar fatos não verificados como datas, políticas, e-mails, telefones ou links. Um check reprovado entrega a conversa a uma pessoa em vez de enviar a resposta. Prevenção de alucinação de IA cobre o problema mais amplo.
Quais canais da Gladly o Signals pode avaliar?
Sessões de chat, SMS e e-mail tratadas pela Gladly AI. Chamadas de voz e conversas de agentes humanos não estão listadas, e o Signals lê apenas a transcrição da mensagem, não chamadas de ferramentas nem resultados de API. Veja meu panorama da Gladly AI para o resto da plataforma.
Posso testar a Gladly AI antes de ela entrar em produção?
A Gladly tem um Simulator que executa cenários de clientes roteirizados contra seu Gladly Agent e os classifica como aprovado ou reprovado, mas ele está em Early Access e você entra em contato com o suporte da Gladly para participar. Um guia sobre testar um agente de IA antes do lançamento cobre a mesma ideia de forma geral.
O eesel se conecta à Gladly para QA?
Não como integração embutida. O eesel pode chamar uma API REST que você autorizar, e a Gladly tem uma, então revisar conversas dessa forma é possível, mas eu não testei isso de ponta a ponta. No Zendesk, Freshdesk ou Gorgias ele se conecta diretamente.

Share this article