IA para análise de NPS: como ler todos os comentários sem ler todos os comentários

Por que os comentários de NPS ficam sem leitura?

Porque a nota é fácil e os comentários não. Um painel transforma 2.000 respostas em um número em um segundo. Os comentários abaixo levam um dia inteiro de uma pessoa todo mês, e essa pessoa geralmente também está cuidando da fila.

Eu trabalho na fila de suporte da eesel todos os dias, e o padrão que vejo nas equipes com quem converso é o mesmo: o número do NPS vai para a apresentação mensal ao lado dos outros KPIs de suporte, os comentários vão para um CSV que ninguém abre, e o detrator que escreveu três parágrafos sobre um reembolso quebrado nunca recebe resposta. A Bain, que criou o NPS, diz com clareza que "averages hide the detail that is most instructive" em seu artigo sobre o ciclo interno.

Um gerente de produto no Reddit descreveu a versão manual melhor do que eu poderia:

"Every week, I spend a couple of hours scanning user responses to open ended questions... I manually make notes of opportunities, big pain points and anything else that stands out, but I don't really have a great quantitative view to show for these."

How do you all analyze qualitative NPS data?, Reddit

As ferramentas de pesquisa também sabem disso. O SurveyMonkey está aposentando sua nuvem de palavras e indicando a Thematic Analysis, porque uma nuvem de palavras diz que "suporte" apareceu muito, sem dizer se as pessoas amaram ou odiaram.

A IA resolve o problema de leitura. Não resolve o problema de decisão e cria um novo: um resumo polido que soa certo e não está. O resto deste guia é sobre obter o primeiro sem o terceiro.

O que a IA realmente consegue fazer com comentários de NPS?

Cinco tarefas, mais ou menos na ordem em que dão retorno:

1. Etiquetar temas. Cada comentário recebe um ou mais rótulos como "cobrança", "onboarding" ou "velocidade do suporte", mesmo quando os clientes usam palavras diferentes para a mesma coisa. Isso é classificação de texto, a mesma tarefa de etiquetar tickets.
2. Pontuar o sentimento por tema, não por comentário. "Ótimo suporte, app terrível" é um positivo e um negativo. Ferramentas que dão só um rótulo por comentário fazem a média como "misto" e você perde os dois sinais.
3. Separar por grupo de nota. O que os detratores reclamam é uma lista diferente da dos neutros, e os neutros são os mais baratos de mover.
4. Perceber mudanças ao longo do tempo. "As reclamações de onboarding foram de 8% para 21% este mês" é a frase que marca uma reunião.
5. Sinalizar os urgentes. Um comentário que menciona cancelamento (um sinal de risco de churn), uma ameaça legal ou um problema de segurança deve chegar a uma pessoa hoje, não no relatório do mês que vem.

No que a IA é ruim: decidir o que importa para o seu negócio, saber que "o novo plano" significa a mudança de preço de março e admitir que um tema é fino demais para ser reportado. Isso continua com você.

A Qualtrics mostra bem a ideia por tema. Na sua documentação de sentimento do Text iQ, o exemplo "The service and the food were excellent, but everything was very overpriced" recebe uma pontuação positiva para Serviço e uma negativa para Preço. Um comentário, dois sinais opostos.

Por que a nota e o comentário nem sempre concordam?

Porque a nota responde "você nos recomendaria" e o comentário responde ao que o cliente quis contar. Os dois se sobrepõem menos do que se espera, e os comentários mais úteis estão onde eles discordam.

Dois quadrantes merecem um olhar todo mês:

• Promotores com um problema. Um 10 que diz "a cobrança falhou duas vezes" ainda gosta de você, por enquanto. São alertas precoces sobre clientes que você odiaria perder, e nunca aparecem se você só lê os detratores.
• Notas baixas com palavras gentis. "Ótima equipe, caro demais" é um problema de preço ou de pacote, não de atendimento. Mandar isso para o líder de suporte desperdiça a semana de todo mundo.

E às vezes a nota não significa nada. Um customer success manager no Reddit perguntou a um cliente sobre uma nota mediana:

"I've had customers give a 5 and then when asked about it, responded 'Oh... I love the software, I just wasn't taking this seriously when it popped up because I don't think anyone really does anything with these things, so when I saw it, I just put 5 because it's my favorite number.'"

u/UghWhyDude, Reddit

Uma armadilha para conhecer: algumas ferramentas rotulam o "sentimento" pela nota, não pelo texto. A propriedade Sentiment embutida do HubSpot nas respostas de pesquisa, por exemplo, é derivada da resposta de 0 a 10 (0-6 é Detrator), então não consegue captar nenhum dos dois quadrantes acima. Mantenha uma coluna separada para o que o comentário realmente diz.

Como analisar comentários de NPS com IA, passo a passo?

Este é o fluxo que eu seguiria para uma equipe com algumas centenas a alguns milhares de comentários por mês. Precisa de uma planilha, um modelo de IA aprovado pela sua empresa e cerca de uma hora na primeira vez.

1. Exporte nota e comentário. Uma linha por resposta: um ID, a nota, o comentário, a data e um ou dois segmentos (plano, região, canal). Remova nomes e e-mails antes de qualquer coisa sair da sua ferramenta de pesquisa.
2. Escreva primeiro a lista de temas. De 10 a 15 temas, cada um com uma definição de uma linha e um balde "outros". Leia 50 comentários você mesmo para montá-la. Deixar a IA inventar temas todo mês significa "Problemas de cobrança" em setembro e "Problemas de pagamento" em outubro, e sua linha de tendência quebra.
3. Etiquete cada comentário. Peça ao modelo uma linha por comentário: temas (vários permitidos), sentimento por tema e um motivo curto. Um prompt que se sustenta:

You are tagging NPS survey comments. Use ONLY the themes below; if none fit, use "other".
A comment can have several themes. For each theme, give sentiment: positive, negative or mixed.
Return one row per comment: response_id | themes | sentiment per theme | one-line reason | urgent (yes/no).
Mark urgent only for cancellation, legal, safety or data-loss mentions.
Do not use the NPS score to decide sentiment. Read the text only. Never invent counts.

Themes:
- billing: charges, invoices, refunds, plan prices
- onboarding: setup, first week, getting started
- reliability: crashes, outages, bugs
- support speed: wait times, slow replies
- support quality: wrong answers, rudeness, great help
...

Envie os comentários em lotes de 50 a 100, não o arquivo inteiro de uma vez. Um desenvolvedor no Hacker News teve exatamente esse problema:

"If I dump the whole spreadsheet into ChatGPT, I found that because of the context window, it can get 'lazy'; while with a local LLM, I could just literally prompt it one row at a time to accomplish my goal..."

alex43578, Hacker News

4. Confira 50 linhas manualmente. Escolha entre detratores, neutros, promotores e qualquer coisa marcada como "outros". Se mais do que algumas estiverem erradas, corrija as definições dos temas e rode de novo. Este é o passo que evita um relatório errado e confiante.
5. Separe e conte. Uma tabela dinâmica de tema por grupo de nota mostra o quadro real: a parcela de detratores que menciona cada tema e como isso mudou desde o mês passado.
6. Priorize e atribua um responsável. Só a frequência engana; uma reclamação rara de perda de dados vence um pedido comum de mudar a fonte. Cada tema principal recebe um responsável e uma data, ou é só um CSV mais bonito.

O mesmo método funciona em tickets de suporte, o que importa mais adiante. Se quiser se aprofundar na lista de temas, meu guia de análise de feedback de clientes com IA cobre codebooks com mais detalhes.

Qual configuração combina com o seu volume de NPS?

A ferramenta certa depende principalmente de quantos comentários você recebe e de onde eles já estão. Escolha seu volume mensal:

O que as ferramentas de pesquisa e feedback oferecem para análise de NPS?

A maioria das ferramentas de pesquisa já traz alguma IA para texto livre. A divisão real está em saber se o sentimento é pontuado por tema ou uma vez por comentário, e se você consegue ver um preço antes de uma ligação de vendas.

Alguns detalhes por trás da tabela:

• A Delighted acabou. Muitas equipes pequenas rodavam NPS na Delighted. A página dela agora diz que não está mais disponível e indica a Qualtrics; se você está com uma exportação dela, planeje a migração.
• O Typeform roda o Smart Insights em uma cópia privada do modelo Claude da Anthropic e agrupa os tópicos nas abas Positivo, Negativo, Neutro e Misto, com até três citações por tópico. Precisa de pelo menos 10 respostas e de uma conta em inglês, segundo seu artigo de ajuda.
• O SurveyMonkey rotula cada resposta como Positiva, Neutra, Negativa ou Não detectada, e sua análise de sentimento dá um rótulo por resposta. Bom para uma leitura rápida, mais fraco para comentários do tipo "ótimo suporte, app ruim".
• A Thematic diz funcionar melhor com pelo menos 2.000 linhas e conta uma avaliação, uma resposta de pesquisa ou um ticket de suporte como um comentário, o que a torna adequada para equipes que querem NPS e tickets em um só lugar.
• O Gainsight exige mais de 20 comentários, pontua o sentimento apenas em comentários de 6 a 25 palavras e roda uma vez por dia, segundo sua documentação de análise de texto.

As ferramentas corporativas acrescentam algo que vale pagar em grande escala: ligar os temas à nota. A visão de impacto da Chattermill mostra quantos pontos de NPS cada tema custa, uma forma mais precisa de priorizar correções do que a contagem bruta de menções.

Se você está pesquisando, meu comparativo de ferramentas de IA para feedback de clientes vai além. Para o método por trás, veja meu guia de análise de pesquisas.

O que o seu helpdesk já faz com feedback?

Menos em NPS do que você espera, mais em tickets. Dos seis helpdesks que verifiquei, só HubSpot e Salesforce documentam IA que resume comentários de pesquisa. Zendesk, Freshdesk e Gorgias aplicam, em vez disso, análise de sentimento com IA nas mensagens dos tickets.

Os detalhes que mudam decisões:

• O Zendesk listou "Net Promoter Score (NPS)" como removido em 30 de abril de 2023. Sua triagem inteligente rotula cada ticket de Muito positivo a Muito negativo e é "calibrated for customer service contexts", então um ticket não é negativo só porque o cliente tem um problema. Mais no meu guia de triagem de tickets do Zendesk com IA.
• O HubSpot roda pesquisas NPS, CSAT e CES no Service Hub Professional e Enterprise, e o Breeze pode resumir as respostas quando há pelo menos três. É a configuração de NPS mais helpdesk mais completa desta lista.
• O Gorgias detecta intenção e sentimento em toda mensagem recebida em todos os planos. A própria sugestão dele para "por que o CSAT caiu" é conectar o Claude ou o ChatGPT pelo Gorgias MCP e pedir que agrupe por tema os tickets mal avaliados. Até o fornecedor faz essa análise fora do helpdesk.
• O Freshdesk pontua o sentimento da última mensagem de 0 a 100 e pode rotear com base nisso, como parte do complemento Freddy AI Copilot.

O padrão: helpdesks analisam tickets, ferramentas de pesquisa analisam comentários, e quase ninguém junta os dois. Essa é a lacuna que eu fecharia primeiro.

Por que analisar tickets de suporte junto com o NPS?

Porque o comentário de NPS diz quantos clientes estão incomodados com reembolsos, e o ticket diz quais reembolsos, há quanto tempo e o que o cliente já tentou. Um é a manchete, o outro é a história.

De onde eu me sento na fila, esta é a parte que a maioria dos guias de NPS ignora. Um detrator que escreve "o suporte é lento" em uma pesquisa geralmente já abriu dois ou três tickets antes. Esses tickets têm carimbos de data e hora, números de pedido, o artigo de ajuda que ele leu e o momento exato em que algo deu errado. O comentário da pesquisa é o resumo que ele escreveu depois de desistir.

Equipes com volume sentem isso diretamente. Um operador que lia todos os comentários manualmente pediu ajuda no Reddit:

"We receive about 10,000 to 15,000 comments to read each month... We read every comment on our surveys, code them (with our coding) and then look for trends, things that bubble up, etc."

Customer surveys and AI, Reddit

No mesmo post, ele disse que o que escolhesse precisava funcionar com o sistema de tickets do Zendesk. Esse é o instinto certo.

Então a jogada é simples: use uma única lista de temas para os dois. Se "reembolsos" significa a mesma coisa nas suas etiquetas de NPS e nas suas etiquetas de tickets, você pode colocá-los lado a lado:

• O NPS diz que reembolsos são o principal tema dos detratores, com alta de 6 pontos neste trimestre.
• Os tickets dizem 300 tickets de reembolso por mês, a maioria sobre pagamentos após uma devolução, e o artigo de ajuda sobre isso tem dois anos, o tipo de coisa que uma análise de lacunas de conhecimento detecta.
• Agora você sabe o que corrigir, e o suporte pode medir se funcionou antes de a próxima pesquisa sair.

É também aqui que está o volume. Um momento de uma ligação de vendas a que sempre volto: um líder de CX de uma marca DTC de suplementos no Gorgias, com cerca de 7.000 tickets por mês, contestou a análise por relatório mensal em uma ligação com a equipe da eesel. O argumento dele, mais ou menos: o cliente não quer esperar por um relatório mensal. O NPS é o relatório mensal. Os tickets são o fluxo ao vivo. Meu guia de IA para relatórios de suporte cobre o lado dos tickets com mais profundidade. Para receber isso toda semana na caixa de entrada, veja os alertas de voz do cliente.

Como a eesel se encaixa na análise de NPS?

Deixo o limite claro primeiro: a eesel não envia pesquisas de NPS nem calcula a sua nota. Mantenha sua ferramenta de pesquisa. O que a eesel faz é a metade de suporte do quadro, que é onde a maioria dos temas de detratores nasce e onde muitos são corrigidos.

A eesel é uma colega de helpdesk com IA que trabalha dentro do Zendesk, Freshdesk, Gorgias e outros helpdesks. Três partes dela se encaixam no trabalho de NPS:

• Etiquetagem a partir da sua própria lista. O agente do Zendesk pode ler os campos dos seus tickets e seus valores permitidos antes de etiquetar, então usa a sua lista de temas, não uma inventada. A smava roda isso em um Zendesk compartilhado para duas marcas: 27.000 tickets por mês, 14.600 deles categorizados em campos do Zendesk, em alemão. A Rúngne faz isso no Gorgias, com 880 tickets etiquetados por tópico "from a fixed list, nothing invented".
• Relatórios sobre o que os clientes continuam perguntando. A skill Analyze ticket trends extrai "recurring topics, sentiment, volume and resolution patterns" das suas conversas, e um relatório semanal de suporte pode chegar à sua caixa de entrada toda segunda-feira.
• Responder às perguntas repetidas. O detrator mais barato de corrigir é aquele cuja pergunta nunca precisou de uma pessoa. A eesel responde a essas a partir da sua central de ajuda e de tickets anteriores, e repassa o resto. Mais sobre isso no meu guia de deflexão de FAQ.

Esse relatório é o gêmeo do lado de tickets de um resumo de temas de NPS: tópicos, contagens, a evidência e o que corrigir primeiro. Coloque-o ao lado dos seus temas de detratores e a sobreposição geralmente é óbvia.

Se você prefere rodar isso a partir de um terminal ou deixar um agente de código conduzir, a CLI da eesel conversa com o mesmo agente do painel e imprime JSON. eesel chat "analyze our ticket trends for last month" roda a skill de tendências, eesel automations agenda um relatório e eesel files ls lista os relatórios salvos. E se você quiser os comentários de pesquisa no mesmo lugar, uma automação por webhook aceita dados de Zapier, Make ou do seu próprio backend, então você pode enviar comentários de detratores e fazer o agente etiquetá-los ou abrir um ticket. Essa é uma configuração que você mesmo conecta, não uma integração de NPS embutida.

Um limite honesto: o "CSAT com IA" da eesel é uma avaliação feita por uma IA das respostas do agente, e sua documentação de relatórios diz que ele é "not a substitute for asking your customers". É por isso que eu manteria a pesquisa.

Como fechar o ciclo com os detratores do NPS?

A Bain divide isso em dois ciclos, e a IA ajuda em ambos de maneiras diferentes.

O ciclo interno é uma pessoa retornando ao cliente, rápido. A visão da Bain em seu artigo sobre o ciclo interno é que o retorno "can't be delegated to a third party or some central corporate group". O papel da IA aqui é a triagem: sinalizar os comentários urgentes (cancelamento, jurídico, perda de dados) e encaminhá-los hoje para a pessoa certa. A resposta em si é trabalho humano, e um líder de CS no Reddit colocou a barra mais alto do que a maioria das equipes:

"First, never reach out via email to someone dropping a zero (or anything below your target # for NPS). Call and keep calling or in a normal circumstance show up in person."

u/pj1897, Reddit

A Qualtrics agora redige respostas com IA ao feedback de pesquisas e abre tickets no Zendesk, ServiceNow ou Salesforce, como mostrado em seus fluxos de fechamento de ciclo.

O ciclo externo é corrigir a causa. O ciclo externo da Bain começa com "all inner loop feedback" e procura "patterns, trends and changes in frequency", que é exatamente o trabalho de etiquetagem de temas acima. O resultado é uma lista curta de correções, cada uma com um responsável.

O exemplo mais limpo de um ciclo assim que posso apontar é um cliente da eesel, uma empresa de automação industrial. Uma avaliação fica sob cada resposta do chat de documentação, e um resumo regular vai para a equipe de documentação com o que foi perguntado, quais respostas foram mal avaliadas e onde havia lacunas de conhecimento. As lacunas vão direto para o backlog de documentação. Troque "chat de documentação" por "pesquisa de NPS" e esse é o ciclo externo rodando toda semana em vez de todo trimestre.

Para o lado dos tickets no fechamento do ciclo, comece pelo meu guia de prevenção de churn com IA. Se o tema são reclamações, veja IA para reclamações de clientes.

Que erros evitar?

Os que mais vejo, mais ou menos na ordem do estrago que causam:

• Deixar a IA escolher temas novos todo mês. Sua linha de tendência zera a cada vez. Escreva a lista uma vez e amplie de propósito.
• Reportar percentuais sem conferir uma amostra. Um modelo que rotula errado 15% dos comentários ainda produz um gráfico organizado. Confira 50 linhas antes de qualquer coisa entrar em uma apresentação.
• Tratar sentimento como a nota. Um 9 pode descrever um bug grave. Leia os quadrantes de divergência.
• Priorizar só por frequência. Cinco comentários sobre dados perdidos valem mais do que cinquenta sobre cor de botão.
• Subir comentários brutos com nomes e e-mails. Remova os dados pessoais primeiro e confira os termos de dados do seu provedor de IA. O SurveyMonkey, por exemplo, diz que sua Thematic Analysis roda em modelos da Anthropic e da OpenAI que não treinam com os seus dados; a sua própria configuração deve ser igualmente clara.
• Analisar o NPS em uma sala que nunca conversa com o suporte. As correções de muitos temas de detratores estão na fila, atrás da sua triagem de tickets. Veja minhas notas sobre como montar um programa de voz do cliente que inclua os dois.

Experimente a eesel para o lado de suporte do NPS

Se os temas dos seus detratores continuam apontando para reembolsos, respostas lentas ou "não consegui achar como fazer X", esses são problemas de ticket antes de tudo. A eesel entra no seu helpdesk como uma nova colega: etiqueta cada ticket a partir da sua própria lista de tópicos, responde às perguntas repetidas a partir da sua central de ajuda e de tickets anteriores, e envia um relatório semanal do que os clientes continuam perguntando, para que a correção chegue antes de a próxima pesquisa sair. A smava usa a eesel para categorizar 14.600 tickets do Zendesk por mês.

Os planos começam em US$ 299/mês por 500 créditos, com relatórios incluídos em todos os planos, conforme a página de preços, e você pode testar de graça primeiro com seus próprios tickets anteriores. Experimente a eesel.