Como medir o ROI do suporte com IA?

Resumo

Para medir o ROI do suporte com IA, atribua um valor em dólares ao que a IA recupera cada mês e subtraia o que lhe custa. Valor recuperado = tickets que resolve totalmente + horas de agente que devolve + cobertura fora de horário que já não precisa de cobrir. Subtraia o custo da IA e da configuração, e o que sobrar é o seu retorno.

A armadilha está em medir as coisas erradas. A taxa de deflexão por si só fica ótima numa demo e não prova quase nada sobre dinheiro. As métricas que realmente movem o orçamento são a taxa de resolução completa, o custo por ticket resolvido e o tempo de primeira resposta, com o CSAT como salvaguarda que mantém o número de deflexão honesto.

E a razão mais comum para os números de ROI saírem errados: nenhuma referência. Se não registou os seus números de antes, os de depois não têm nada com que se comparar. A solução é capturar primeiro a referência e depois simular a IA com os seus próprios tickets históricos para que a previsão seja baseada no seu volume real, não num slide de um fornecedor.

Comece pelo que o ROI realmente significa aqui

Passei mais de três anos a assistir equipas de suporte a tentar atribuir um número à IA, e a conversa quase sempre começa no lugar errado. As pessoas recorrem a "quantos tickets deflectiu?" porque é o número que o painel mostra primeiro. Mas a deflexão é uma métrica de atividade, não de valor. O departamento financeiro não aprova renovações com base em atividade.

A versão honesta da pergunta é: por cada dólar que invisto nesta IA, quantos dólares voltam? Isso reformula tudo. Não está a medir o quão ocupada a IA está. Está a medir a diferença entre o valor que recupera e o que custa operá-la.

Eis como se apresenta.

O "valor recuperado" tem três partes, e a maioria das equipas só conta a primeira:

• Tickets resolvidos totalmente. A IA geriu toda a conversa, nenhum humano a tocou. Multiplique esses pelo seu custo total por ticket.
• Horas de agente devolvidas. Mesmo nos tickets que um humano fecha, um copiloto de IA que redige a resposta ou prioriza a fila poupa minutos por ticket. Esses minutos são dinheiro real em milhares de tickets.
• Cobertura fora de horário e em picos. O trabalho que a IA absorve às 2 da manhã, ou durante um pico da Black Friday, que de outra forma pagaria em horas extra ou pessoal temporário, ou simplesmente deixaria cair.

Se falhar o segundo e o terceiro, estará a subestimar significativamente o seu próprio ROI. A outra face, à qual voltarei, é que é igualmente fácil sobreestimá-lo contando encerramentos automáticos de spam e respostas "não sei" como vitórias.

As métricas que realmente o provam

Se a fórmula é o destino, as métricas são o caminho. Precisa de um conjunto pequeno e honesto, não de um painel de 40 linhas que ninguém lê. Após implantações suficientes, esta é a lista curta a que continuo a voltar.

Taxa de deflexão. A proporção do volume de entrada que a IA gere sem intervenção humana. Útil, mas o número mais abusado na categoria, porque é trivial inflá-lo (mais sobre isso abaixo). Acompanhe-o, mas nunca o deixe viajar sozinho.

Taxa de resolução completa. A proporção de tickets que a IA realmente fechou com o cliente satisfeito, não apenas respondeu. Esta é a que mapeia claramente para o custo poupado. A diferença entre deflexão e resolução completa é normalmente onde a verdade vive.

Custo por ticket resolvido. O seu gasto total em IA dividido pelos tickets que resolveu totalmente, ao lado do seu custo humano por ticket. Esta é a linha que um CFO lê primeiro. O nosso próprio comparativo de custo de agente IA vs. agente humano aprofunda o lado humano dessa relação, e a comparativa offshore cobre a alternativa de mão de obra mais barata contra a qual a maioria das equipas a avalia.

Tempo de primeira resposta. A IA responde em segundos, por isso isto geralmente cai a pique. É a vitória mais fácil de mostrar aos stakeholders e está diretamente ligada ao desempenho do SLA.

Depois a salvaguarda: CSAT. Esta é a única métrica que pode vetar todas as outras. Uma taxa de deflexão de 70% com CSAT em queda não é 70% de deflexão — é uma medida de quantos clientes desistiram. Um operador expressou-o perfeitamente durante uma chamada:

"A IA nunca conseguirá responder a 100% das perguntas, mas se tentar e simplesmente responder 'desculpe, não sei isso', não posso verificar todos os meus 7.000 tickets para ver se a IA deu realmente uma boa resposta — então o ponto perde-se um pouco. Preciso de uma IA que só gira os tickets que tem confiança para gerir e que deixe todos os outros em paz."

É um responsável de CX numa marca direta ao consumidor a gerir cerca de 7.000 tickets por mês, e ele está a descrever exatamente porque é que o CSAT e a resolução completa estão acima da deflexão bruta. Uma IA que responde com confiança a tudo, incluindo as coisas que deveria escalar, vai estragar ambos. Se quiser o menu completo do que observar, os nossos guias de métricas de atendimento ao cliente com IA e métricas de desempenho de IA vão mais a fundo do que esta lista curta.

Um exemplo calculado que pode copiar

Os rácios abstratos não conseguem aprovação de orçamento. Um número calculado consegue. Então vamos trabalhar com uma equipa a gerir 1.000 tickets por mês, um volume de mercado médio comum.

Digamos que a IA resolve totalmente 73% do volume de nível 1 no seu primeiro mês. Não é um teto hipotético: uma app de análise de condutores de gig economy a correr no Zendesk fez exatamente isso num teste de 7 dias e manteve-o. Portanto, 730 tickets geridos do início ao fim, 270 encaminhados para humanos.

Agora os dois lados do livro de contas:

Isso é apenas o lado da deflexão, e já mostra uma poupança mensal significativa. O valor por ticket importa aqui: os modelos pay-as-you-go e por ticket mantêm este número baixo e previsível, enquanto os preços por resolução cobram mais exatamente nos meses em que a IA funciona melhor e durante os picos sazonais que não pode controlar. (Os preços da eesel são pay-as-you-go por tarefa sem taxa de plataforma, o que faz com que a fatura de novembro se pareça com a de março.)

Agora adicione as partes que a maioria das equipas esquece: os 270 tickets humanos são geridos mais rapidamente porque a IA os redige e prioriza, por isso os seus agentes demoram menos tempo. E o volume fora de horário que a IA agora cobre é volume pelo qual não está a pagar horas extra. Essas duas linhas geralmente valem tanto quanto a poupança bruta de deflexão. Essa é a diferença entre um caso de ROI sólido e um fraco.

A armadilha da referência e outras formas como o número mente

Este é o modo de falha que vejo com mais frequência, e não tem nada a ver com a qualidade da IA. As equipas lançam, veem o número de deflexão subir, sentem-se bem e depois não conseguem responder à única pergunta que o departamento financeiro faz: "comparado com quê?" Ninguém escreveu os números de antes.

Não pode calcular o retorno sem uma referência. Antes de ligar qualquer coisa, registe o seu custo atual por ticket, o tempo médio de primeira resposta, a taxa de resolução e o CSAT durante pelo menos um mês representativo. Esse é o seu "antes". Tudo o que medir depois só é significativo em comparação com isso. Uma análise de tickets de suporte dos seus últimos meses é a hora mais barata que vai gastar em todo o projeto.

Algumas outras formas como o número mente silenciosamente:

• Contar spam como deflexão. Se 20% da sua caixa de entrada é spam e a IA o "deflecte" fechando-o automaticamente, isso é higiene, não valor. Num teste real, o spam era 22% da caixa de entrada. Desconte-o antes de celebrar a percentagem.
• Contar "não sei" como resolução. Uma resposta não é uma resolução. Se a IA responde mas o cliente ainda escala, esse ticket custou-lhe mais, não menos. É por isso que a taxa de resolução completa supera a taxa de resposta.
• Ignorar o caminho de escalada. Os tickets que a IA transfere devem chegar rapidamente ao humano certo. Se a escalada for confusa, perde as poupanças de tempo que contabilizou no lado dos tickets resolvidos.
• Esquecer a manutenção do conhecimento. O ROI decai se a base de conhecimento ficar desatualizada. Orçamente algum tempo contínuo para manter as respostas atualizadas e contabilize-o no lado dos custos.

Nenhuma destas é razão para desconfiar do suporte com IA. São razões para medi-lo como um operador em vez de um profissional de marketing.

Como tornar o ROI mensurável desde o primeiro dia

A forma mais limpa de evitar a armadilha da referência é fazer uma previsão antes do lançamento e depois acompanhar essa previsão com relatórios reais. Esta é a parte em que vou mencionar o que construímos, porque foi construído exatamente em torno deste problema.

A eesel executa uma simulação sobre os seus tickets passados reais antes de qualquer coisa entrar em produção. Em vez de adivinhar uma taxa de deflexão a partir de um slide de um fornecedor, obtém uma previsão baseada no seu próprio volume histórico: quantos tickets teria resolvido, onde teria escalado e o que isso se traduz em custo. Fazemos isso porque assistimos a bots de aparência confiante a dar respostas erradas silenciosamente, e a única forma honesta de saber como uma IA se vai comportar na sua fila é executá-la contra a sua fila.

Uma vez em produção, o painel de relatórios acompanha as mesmas métricas que esta publicação defende: taxa de resolução, deflexão e onde os clientes ainda estão a escalar, para que possa ver o ROI acumular-se em vez de inferir na renovação. Integra-se em plataformas de suporte como o Zendesk e no resto do seu stack em minutos, treina na sua base de conhecimento e tickets passados, e permite-lhe começar no modo copiloto (a redigir para agentes) antes de lhe dar a resolução completa. Essa rampa gradual é ela própria uma tática de ROI: acumula as poupanças de produtividade do agente enquanto constrói confiança em direção à automação completa.

Experimente a eesel

Se está a tentar medir o ROI do suporte com IA, a parte mais difícil é obter um número honesto antes de gastar dinheiro real. A simulação da eesel fornece exatamente isso: executa um agente de IA contra os seus próprios tickets passados e mostra a previsão de deflexão e custos antecipada, para que o caso de negócio seja construído sobre os seus dados, não sobre um benchmark genérico. Pode treiná-lo na sua base de conhecimento em minutos, ver as métricas de resolução no painel de relatórios e manter a fatura previsível com preços pay-as-you-go. É gratuito experimentar, e a simulação por si só geralmente responde à questão do ROI mais rapidamente do que uma folha de cálculo.