Garantia de qualidade em call center: como funcionam os scorecards

O que realmente significa garantia de qualidade em call center

Todo time de suporte acaba se perguntando alguma versão de "estamos realmente fazendo um bom trabalho, ou só parece que sim?". Garantia de qualidade é a resposta a essa pergunta transformada em processo. É a revisão sistemática das interações de suporte - ligações, chats, e-mails, tickets - com base em um padrão definido, para que "bom atendimento" deixe de ser uma sensação e passe a ser uma nota que um gestor pode apontar.

O mecanismo por trás de quase todo programa de QA é o scorecard: um formulário de avaliação estruturado com categorias de pontuação ponderadas que um revisor - humano ou, cada vez mais, uma IA - preenche depois de ler ou ouvir uma conversa. Como a Zendesk coloca, os scorecards existem para "avaliar o desempenho do agente, identificar pontos de melhoria e garantir que seu time atinja as metas da organização". O QA fica ao lado do planejamento e da previsão de força de trabalho sob o termo guarda-chuva Workforce Engagement Management (WEM) - a maioria dos fornecedores, incluindo a Zendesk, vende o QA como um dos dois ou três módulos dessa suíte.

Isso importa por motivos que se acumulam à medida que um time cresce. Um time de três agentes pode ter QA feito por um gestor que simplesmente... lê tudo. Um time de trinta não consegue. Scorecards somados à amostragem são o que permite que uma função de QA produza notas comparáveis entre centenas de agentes sem que um gestor precise ler pessoalmente cada ticket. Eles também são a matéria-prima do coaching - apontar que um agente específico sempre pula a frase de encerramento, em vez de um comentário vago tipo "seja mais minucioso" em uma reunião individual. E em setores regulados (serviços financeiros, saúde, cobrança de dívidas), scorecards de QA costumam ter peso legal: uma divulgação que faltou não é uma observação de estilo, é uma falha de conformidade.

O argumento de negócio também não é abstrato. Na própria página do produto de QA da Zendesk, a rede de rádio Audacy relata um aumento de 19% na produtividade dos agentes e de 15% nas resoluções em um único contato após adotar QA estruturado; a Kahoot! viu o CSAT subir 5 pontos percentuais, junto com um salto de 150% em quantos tickets eram de fato revisados; a Liberty relatou +2,3% em CSAT e +4% em seu Internal Quality Score. Nenhum desses números é QA pelo QA em si - são o que acontece quando um time finalmente consegue enxergar seus próprios pontos cegos.

Como um scorecard de QA realmente funciona

Tirando os dashboards do fornecedor, um scorecard é apenas uma média ponderada. Cada categoria - precisão, tom, empatia, gramática, resolução, conformidade - recebe uma escala de pontuação e um peso de 0 a 100. A documentação da Zendesk é direta sobre a matemática: "Para calcular a nota de revisão de uma interação, você multiplica a nota de cada categoria pelo seu peso e depois divide o total pela soma dos pesos." Um time que se importa mais com o entendimento da causa raiz do que com o estilo da documentação simplesmente pondera mais a causa raiz - a fórmula faz o resto.

A escala que você escolhe troca velocidade por nuance. A Zendesk QA oferece quatro:

Dois mecanismos fazem a maior parte do trabalho pesado em um programa de QA maduro. O primeiro é a categoria crítica - marque "informou a taxa de cancelamento" como crítica, e uma nota reprovada ali zera a revisão inteira para 0%, não importa quão calorosa e bem escrita tenha sido o restante da resposta. Essa é a alavanca que times regulados usam para garantir que uma falha de conformidade não seja diluída por um bom tom. O segundo é a marcação de causa raiz: em vez de simplesmente pontuar "empatia: ruim", o revisor escolhe um motivo predefinido em uma lista, o que é o que realmente torna os dados de QA úteis para coaching, em vez de ser só um número que deixa o agente ressentido.

O próprio sistema AutoQA da Zendesk QA vem com oito categorias padrão que são pontuadas automaticamente no momento em que um ticket é fechado:

(Central de Ajuda da Zendesk)

Aqui está a matemática em miniatura: digamos que Precisão tenha peso 40, Tom peso 20 e Conformidade peso 40. Um agente obtém 90% em precisão, 100% em tom e 80% em conformidade. Ponderado, isso dá (90×40 + 100×20 + 80×40) ÷ 100 = 88%. Mude os pesos e o mesmo desempenho subjacente produz um número final diferente - exatamente por isso a calibração (abaixo) importa tanto.

Amostragem: a matemática que silenciosamente parou de funcionar

Durante a maior parte da história do QA, um revisor humano não conseguia ouvir ou ler cada interação, então os times construíram toda a disciplina em torno da amostragem aleatória - puxar um punhado de tickets por agente por semana, pontuá-los, extrapolar.

O problema é que a matemática parece boa no nível do time e desmorona no nível do agente. Leo Gasperin expôs isso claramente em uma publicação no LinkedIn descrevendo seu antigo time: eles gastavam 200 horas por mês revisando tickets contra critérios rígidos e mesmo assim só cobriam cerca de 5% do volume total. Revisar de 5 a 10 tickets por semana dos cerca de 500 tickets mensais de um agente não produz uma leitura estatisticamente confiável sobre esse agente, mesmo que a taxa geral de amostragem pareça aceitável em um dashboard de QA. A solução dele, literalmente: "Auditar 100% com agentes de IA configurados como avaliadores, e então revisar só os problemas." Uma pessoa que comentou na mesma publicação, Shubhashree S., resumiu essa falha em uma frase: "amostragem cria confiança, mas não clareza."

Não é uma reclamação isolada. No G2, uma avaliadora da MaestroQA que trabalha como Executive Director descreveu diretamente o estado anterior: "fazíamos QA em uma amostragem aleatória de tickets" antes de mudar para uma ferramenta que permitiu ao time "fazer QA direcionado" em vez disso. É a mesma história vista de outro ângulo na evaluagent, onde um Senior Advisor do suporte de aviação nomeou exatamente o problema que o AutoQA por IA busca resolver: ele "resolve o problema da visibilidade limitada da amostragem de QA, e reduz o tempo e o esforço gastos em revisões manuais."

Calibração: fazer os revisores realmente concordarem

Scorecards só funcionam se dois revisores pontuando o mesmo ticket chegarem ao mesmo lugar. Esse exercício de alinhamento é chamado de calibração, e a própria definição da Zendesk é exatamente o que parece: "a prática de fazer todos os seus revisores avaliarem o mesmo lote de conversas e compararem suas notas e comentários... garante que seus revisores estejam alinhados em suas avaliações, oferecendo feedback consistente aos agentes independentemente de quem conduz a revisão."

Mecanicamente, geralmente funciona como "revisar primeiro, discutir depois": os revisores pontuam de forma independente, um gestor marca uma revisão como linha de base, e o grupo se reúne para resolver as diferenças - muitas vezes com um líder de QA dando a palavra final em qualquer disputa. O que realmente precisa de alinhamento raramente são as coisas grandes; são os casos limite. Como pontuar uma categoria que nunca surgiu nesta conversa em particular? Qual deve ser o tamanho do feedback escrito? As notas de calibração são deliberadamente mantidas fora do Internal Quality Score ao vivo do agente e vivem em seu próprio dashboard, justamente para que o exercício continue focado em treinar revisores, em vez de se tornar um segundo canal de pontuação oculto. A maioria dos times faz isso mensalmente.

A virada para IA revisando 100% das conversas

Todo grande fornecedor de QA que analisei está convergindo para o mesmo discurso, e vale a pena nomear isso claramente: IA revisando cada interação, substituindo totalmente a amostragem manual, mantendo a estrutura de scorecard e calibração como espinha dorsal por baixo.

Zendesk QA (antes Klaus) lidera com o AutoQA - pontuando 100% das conversas de voz, chat, e-mail e transcrições de agentes de IA, com administradores podendo escrever categorias personalizadas baseadas em prompts em linguagem simples em vez de código. Seu recurso Spotlight sinaliza automaticamente risco de churn e lacunas de conhecimento sem que um humano precise ler cada conversa sinalizada, e o Real-time QA traz à tona problemas enquanto a conversa ainda está ao vivo, em vez de depois.

A parte que considero mais reveladora é o AI Agent QA - os mesmos padrões de pontuação usados em agentes humanos, aplicados a bots. A Zendesk compara explicitamente as notas de agentes humanos e de IA lado a lado para ver onde o bot precisa melhorar, o que confirma silenciosamente algo que vale a pena assumir: assim que um agente de IA passa a lidar com tickets reais, ele também precisa de um processo de QA, não de uma isenção só por ser software.

MaestroQA se afastou ainda mais do rótulo "ferramenta de QA" e hoje se chama de plataforma de dados de conversa - a própria home page enquadra essa virada diretamente: "Começamos como uma empresa de QA para contact centers... Desde a chegada do ChatGPT em 2023, analisar dados de conversa se tornou uma prioridade de nível C." Seu case da DraftKings é apresentado como uma substituição total das revisões manuais de QA, e a Brex relata 20 vezes mais clientes em risco identificados depois de reconstruir seu processo de QA em torno da plataforma - um salto grande o bastante para que, segundo o case, a COO da Brex tenha dito à equipe "chega de QA manual" depois de uma única prévia.

A Playvox, agora parte da NICE, desempenha um papel semelhante dentro de uma suíte mais ampla de workforce engagement - scorecards flexíveis, calibração e integrações nativas com Zendesk/Salesforce - embora suas páginas de marketing bloqueiem ativamente scraping, então trate os detalhes sobre a Playvox como direcionais, não verificados.

Profissionais na prática reforçam mais a visão de coaching do que a de nota. Uma avaliadora da MaestroQA que trabalha como contratada independente colocou bem: "para de tratar as revisões de qualidade como um simples teste de 'aprovado/reprovado' e transforma isso em uma forma real de fazer coaching com as pessoas." E uma analista de QA de verdade - não uma gestora, mas a pessoa que de fato faz a pontuação no dia a dia - descreveu dois anos e meio usando a MaestroQA "primeiro como agente, monitorando minhas próprias notas de qualidade, e agora como Quality Analyst, fazendo toda a pontuação", chamando o processo de "extremamente simples".

Não é livre de atrito. Um Founder do setor de telecomunicações apontou um problema real de custo no G2: "os recursos de IA exigem uma compra adicional que aumenta o custo de forma significativa" - reserve orçamento para a pontuação por IA como um item extra além do produto de QA básico, não como uma atualização gratuita. E um executivo de Operações na evaluagent apontou uma reclamação de UX menor, mas real, do lado do agente: e-mails de notificação de nota que só dizem que uma revisão aconteceu, sem o resultado real, algo que ele descreveu como "inquietante" e que "me deixa ansioso, me levando a abrir o Evaluagent imediatamente." Um programa de QA tecnicamente rigoroso ainda pode ser mal recebido se o lado voltado ao agente parecer uma convocação à sala da diretoria.

Quando o agente avaliado é uma IA, não uma pessoa

Aqui é onde eu tenho números próprios e reais para colocar na mesa, porque é exatamente a pergunta que um programa de QA precisa responder assim que um agente de IA entra na fila: não "a IA soa bem", mas "ela se sustenta contra o mesmo scorecard que você aplicaria a uma pessoa".

Em um teste com validação cruzada que fizemos sobre tráfego real da Zendesk para um time de e-commerce, a IA da eesel atingiu 93% de precisão de triagem e 100% de detecção de spam sem falsos positivos, em uma caixa de entrada onde spam representava 22% do volume total. A precisão direcional dos rascunhos chegou a 88%, o que significa que a substância da resposta estava no caminho certo em quase nove de cada dez vezes. Mas apenas 12% dos rascunhos foram enviados tal como estavam pelos agentes, e a taxa de erro factual ficou em 7%. O desempenho por categoria variou bastante: rascunhos de devoluções e reembolsos foram avaliados como úteis 93,8% das vezes, reclamações de garantia 96,4%, e tanto consultas sobre produtos quanto buscas de status de reembolso atingiram 100%.

A diferença entre 88% de precisão direcional e 12% de adoção tal como está é a parte que vale a pena analisar com calma. Não era que os agentes não confiassem no julgamento da IA - o padrão dominante era "olhar rápido e reescrever": os agentes pegavam um rascunho de 8 a 15 frases e cortavam para 1 a 3 frases antes de enviar. Ao decompor esse padrão de reescrita, cerca de 65% era pura edição de comprimento e tom, corrigível treinando o agente com as respostas realmente enviadas pelo time no passado. Outros 20% precisavam de dados aos quais a IA simplesmente ainda não estava conectada, como status ao vivo de ERP ou logística. Só cerca de 5% das reescritas aconteceram porque o rascunho estava simplesmente errado do ponto de vista factual. Treinar com uma amostra de 200 respostas recentes de agentes moveu a adoção tal como está de 12% para a faixa de 30-40% em testes de acompanhamento.

Trago isso porque é exatamente o tipo de padrão que um scorecard de QA de verdade é feito para revelar - e exatamente o tipo de padrão que fica invisível se você só amostra 5% dos tickets. Se o seu programa de QA não consegue te dizer se os rascunhos do seu agente de IA estão errados ou só estilisticamente diferentes de como seu time escreve, você não está de fato medindo qualidade - está medindo uma impressão com passos extras.

Essa distinção aparece mesmo antes de um cliente ver uma resposta ao vivo. Um prospect avaliando a eesel - um líder de suporte em uma empresa belga - construiu sua própria avaliação de 67 testes antes de confiar na ferramenta com tickets reais, classificando as respostas de conhecimento como "sólidas" no geral (ele acabou desistindo por um motivo não relacionado: a velocidade do widget de chat, não a qualidade das respostas). Isso é um processo de QA em miniatura, conduzido por um comprador em vez de um fornecedor, e é exatamente o instinto que eu gostaria que todo time avaliando um agente de IA tivesse: não tome "faz uma boa demonstração" como seu scorecard.

Um scorecard de QA prático que você pode montar esta semana

Você não precisa de uma plataforma de WEM para começar. Um primeiro scorecard funcional precisa de quatro coisas:

1. Escolha de 4 a 6 categorias que mapeiem o que realmente importa para o seu negócio - precisão, tom, resolução, e uma categoria crítica de conformidade se você estiver em um setor regulado. Poucas categorias bem escolhidas superam um formulário inchado de 15 itens que ninguém preenche de forma consistente.
2. Escolha escalas binárias ou de 3 pontos para começar. Escalas nuançadas de 5 pontos soam rigorosas, mas deixam as revisões mais lentas e geram mais divergência entre revisores - exatamente o que a calibração existe para corrigir. Comece simples, adicione nuance depois que o programa estiver rodando.
3. Pondere o que realmente impulsiona os resultados, não o que é mais fácil de pontuar. Se o diagnóstico de causa raiz importa mais para sua taxa de renovação do que uma resposta perfeitamente pontuada, pondere dessa forma - a fórmula não se importa com o que é conveniente de avaliar.
4. Calibre antes de dar coaching. Faça uma sessão de calibração com seus revisores sobre os mesmos 10 tickets antes que a primeira nota real de alguém saia. A divergência aqui é normal e esperada - é exatamente o propósito de fazer isso primeiro.

Depois que esse scorecard existir para seus agentes humanos, aplique-o também ao seu agente de IA - incluindo qualquer parte da sua stack que lida com escalonamentos ou automação de call center. As mesmas categorias ponderadas, a mesma regra crítica de conformidade, a mesma disciplina de calibração. Um agente de IA que nunca foi submetido ao seu scorecard real está funcionando no instinto, tal como um funcionário novo sem treinamento estaria.

eesel e a garantia de qualidade

Eu trabalho na fila de suporte da eesel, e a resposta honesta para "devo confiar nas respostas de um agente de IA sem verificar" é não - você não deveria confiar nas respostas de ninguém sem verificar, humano ou IA. É por isso que a eesel constrói QA dentro do próprio rollout, em vez de tratá-lo como um programa separado acrescentado depois. Antes de um agente responder a um ticket ao vivo, o modo de simulação o executa contra seus próprios tickets históricos, para que você possa ver a cobertura por tema e identificar lacunas antes que um cliente as veja - o mais próximo que existe de um scorecard de QA rodado antes do lançamento em vez de depois. Uma vez ao vivo, o roteamento baseado em confiança atua como um portão de QA contínuo em cada resposta: respostas de baixa confiança ficam retidas como rascunho para um humano revisar, em vez de serem enviadas às cegas, que é a mesma lógica que o AI Agent QA da Zendesk aplica depois do fato, só que movida para mais cedo no processo.

Se você já roda um programa de QA para o seu time humano e está avaliando se um agente de IA aguentaria a mesma régua, essa é exatamente a conversa que vale a pena ter - a eesel é grátis para testar, e o preço é por uso, por ticket, em vez de uma taxa fixa por assento, então testá-la contra o seu próprio scorecard não exige passar antes por um ciclo de compras.