Analise de pesquisas: como transformar respostas em decisoes

O que a analise de pesquisas realmente e

Toda pesquisa faz dois tipos de perguntas, e cada uma precisa de um tipo diferente de analise.

Perguntas fechadas (escalas de avaliacao, multipla escolha, sim/nao) dao numeros que voce pode contar, tirar media e comparar com benchmarks. Perguntas abertas (a caixa de comentarios) dao as razoes por tras desses numeros, mas chegam como texto nao estruturado, entao voce precisa codifica-las em temas antes de conseguir contar qualquer coisa.

As duas nao sao intercambiaveis, e a diferenca entre elas e maior do que a maioria espera. A Pew Research fez a mesma pergunta das duas formas e descobriu que, quando "a economia" era explicitamente oferecida como opcao, 58% escolhiam ela, contra apenas 35% que a mencionavam por conta propria. Impressionantes 43% dos respondentes de perguntas abertas deram uma resposta que nem sequer estava na lista fechada. Se voce pula o texto aberto, fica sistematicamente cego para as coisas que nem pensou em perguntar.

Aqui esta o ciclo completo, do inicio ao fim.

Comece pela metrica que corresponde a pergunta

Antes de analisar qualquer coisa, saiba qual metrica voce esta realmente calculando, porque NPS, CSAT e CES respondem perguntas muito diferentes.

• NPS (Net Promoter Score) pergunta a probabilidade de alguem recomendar voce, em uma escala de 0 a 10. Voce subtrai o percentual de Detratores (0 a 6) dos Promotores (9 a 10), o que leva a algo entre -100 e +100. Ele le o relacionamento como um todo.
• CSAT (Customer Satisfaction Score) pergunta o quao satisfeito alguem ficou, geralmente numa escala de 1 a 5. Voce conta as duas caixas mais altas (4 e 5) como percentual de todas as respostas, porque os dois valores mais altos sao o preditor mais preciso de retencao. Ele le uma experiencia unica e recente.
• CES (Customer Effort Score) pergunta o quao facil foi resolver algo. Ja em 2010, pesquisadores da CEB descobriram que reduzir o esforco prediz lealdade melhor do que "encantar" clientes, relatando que 96% dos clientes com uma interacao de alto esforco ficaram mais desleais. Ele le friccao.

Nenhuma delas e "a" metrica de cliente, e escolher a errada distorce silenciosamente toda a sua analise. Se voce quiser a versao mais longa de como elas se encaixam, detalhamos isso no nosso guia de KPIs de atendimento ao cliente e nos detalhes de CSAT e do customer effort score.

A etapa quantitativa: contar, fatiar e nao se enganar

O lado numerico e a parte facil, e sao basicamente tres movimentos.

Tabulacao e simplesmente contar: quantas pessoas escolheram cada opcao, como frequencia e percentual. Tabulacao cruzada fatia uma pergunta por outra, para que voce possa comparar, digamos, a satisfacao entre clientes antigos e novos. A regra pratica da SurveyMonkey e que a pergunta que afeta a outra vai nas colunas, e a que esta sendo explicada vai nas linhas. O teste de significancia (geralmente um teste qui-quadrado) diz se uma diferenca entre grupos e real ou apenas ruido.

Essa ultima etapa e onde as equipes se enganam. Uma diferenca em uma tabulacao cruzada que voce nao testou quanto a significancia pode ser variacao aleatoria, e uma amostra pequena carrega uma margem de erro grande, entao uma diferenca aparente pode desaparecer na proxima rodada.

O que levanta a pergunta que todo mundo faz tarde demais: quantas respostas eu realmente preciso? Insira seus numeros.

O detalhe nao tao obvio: o tamanho de amostra necessario se estabiliza para populacoes grandes. Depois de cerca de 100.000 pessoas, voce precisa de aproximadamente o mesmo numero de respostas completas, nao importa o quanto o publico cresca. E mantenha sua taxa de resposta honesta, porque o percentual que envia uma resposta completa e um numero diferente do percentual que comeca.

Uma regra sobrevive a toda analise: correlacao nao e causalidade. Um teste qui-quadrado e um teste de correlacao para variaveis categoricas; ele diz que duas coisas se movem juntas, nao que uma causa a outra. Clientes de longa data relatando maior satisfacao nao significa que o tempo de casa cria satisfacao.

A etapa qualitativa: onde a maior parte da analise morre silenciosamente

A caixa de comentarios guarda o seu melhor insight e da mais trabalho, e e exatamente por isso que ela e pulada. O metodo manual e codificacao de verdade: ler cada resposta, agrupa-las em temas recorrentes e depois contar os temas.

Quem ja fez isso sabe como e brutal em volume. Da comunidade de pesquisa:

"I'd expect a survey of that size to probably take a week or more for analysis and reporting. That's with one person doing that work... and a moderate level of grinding work like coding free responses."

a UX researcher on r/userexperience

E aqui que a IA realmente se justifica. Ferramentas como o Qualtrics Text iQ aplicam processamento de linguagem natural para agrupar texto aberto em topicos e marcar sentimento em milhares de respostas ao mesmo tempo. A pegadinha, direto de um usuario da Qualtrics, e que o sentimento "may not be 100% accurate for every survey response due to subtle nuances", e ele e mais poderoso em agregado. Entao trate uma lista de temas gerada por IA como uma primeira passagem forte que um humano revisa, nao como verdade absoluta. Se voce esta avaliando opcoes aqui, comparamos as melhores ferramentas de IA para feedback de clientes e como a analise de sentimento com IA funciona na pratica.

Cuide do design das suas perguntas, ou voce estara analisando ruido

Nenhuma analise por mais esperta que seja conserta uma pergunta mal formulada, porque a propria redacao move a resposta. A Pew documenta isso ha decadas: apresentar uma acao militar de forma neutra gerou 68% de apoio, mas acrescentar "even if it meant that U.S. forces might suffer thousands of casualties" derrubou para 43%. A mesma opiniao de fundo, um numero radicalmente diferente.

Uma checklist rapida dos erros de design que envenenam a analise antes mesmo de comecar, todos apontados pela Pew:

• Redacao tendenciosa ou carregada. "Assistencia social" versus "ajuda aos pobres" muda o apoio em mais de 20 pontos para uma pergunta identica em tudo o mais.
• Perguntas de dupla intencao. Perguntar sobre duas coisas ao mesmo tempo ("politica domestica e externa") e impossivel de responder com clareza e impossivel de interpretar.
• Vies de aquiescencia. Em formatos concordo/discordo, respondentes indecisos tendem a "concordar". Uma escolha forcada entre duas afirmacoes e mais segura.
• Opcoes demais. Para perguntas de opiniao, mantenha quatro ou cinco opcoes; as pessoas nao conseguem guardar mais do que isso na cabeca ao mesmo tempo.
• Mudar a redacao no meio de um acompanhamento. Se voce esta comparando com pesquisas anteriores, mantenha a redacao identica, ou voce estara medindo suas edicoes, nao seus clientes.

O verdadeiro gargalo nao e a analise, e agir sobre ela

Aqui esta a descoberta desconfortavel. Voce pode acertar a etapa quantitativa, codificar cada comentario e desenhar perguntas impecaveis, e mesmo assim nao tirar nada disso, porque os dados simplesmente ficam parados. O numero de 2% a 3% de fechamento de ciclo e o jogo inteiro.

Isso tambem aparece como uma lacuna de percepcao. O Qualtrics XM Institute encontrou uma lacuna de 31 pontos percentuais entre o quao bem os executivos acham que usam o feedback dos clientes e como os consumidores avaliam isso. E os clientes estao percebendo: a proporcao que se da ao trabalho de compartilhar feedback apos uma experiencia muito boa caiu cerca de 5 pontos desde 2021.

Seus respondentes sentem o silencio:

"Survey fatigue is very real and one of the main contributors to it, particularly in B2C is lack of any feedback once you've completed the survey."

a CX practitioner on r/CustomerSuccess

E tambem por isso que as taxas de resposta continuam caindo. A NiCE estima a pesquisa media de relacionamento enviada por email em 32% no B2B e 13% no B2C, e atribui o declinio ao cansaco a medida que mais empresas empilham mais pesquisas. Analise sobre a qual voce nunca age nao e apenas esforco desperdicado, ela ativamente treina os clientes a parar de responder.

Sua fila de suporte e uma pesquisa que voce ja esta rodando

Esta e a parte que mais me importa, e e a peca que os programas formais de pesquisa deixam passar. Cada ticket de suporte e uma resposta de pesquisa nao solicitada e sem filtro, e vem com algo que uma pesquisa nunca tem: as palavras reais do cliente, no exato momento em que ele encontra um problema. Sem cansaco, sem perguntas tendenciosas, sem amostragem. Sao dados de voz do cliente que voce ja possui.

O problema e a escala. Ninguem consegue ler 5.000 tickets por mes e tirar temas manualmente, e a mesma parede que mata a analise de texto aberto de pesquisas. E exatamente isso que passamos anos construindo na eesel: um helpdesk com IA que le a fila inteira, agrupa problemas recorrentes, marca sentimento e redige respostas com base na sua propria base de conhecimento. Antes mesmo de entrar no ar, voce pode simula-lo contra milhares de tickets passados para ver os temas e a cobertura que ele encontra. E como ele reporta da mesma forma que uma ferramenta de pesquisa, a pergunta "com o que os clientes realmente estao lutando" deixa de levar uma semana.

A mesma abordagem de LLM que agrupa texto aberto de pesquisas e o que transforma um backlog de tickets em temas legiveis. Se voce quiser o angulo de relatorios especificamente, escrevemos sobre metricas de atendimento ao cliente com IA, um modelo de painel de analytics para suporte, e um guia mais amplo de analytics de chatbot.

E, uma vez que os temas estao claros, voce pode agir diretamente sobre eles fazendo um agente de helpdesk com IA resolver os recorrentes, encaminhar o restante com triagem de tickets, e escalar de forma limpa quando ele nao deve responder.

Experimente a eesel para a analise que realmente move o ponteiro

A analise de pesquisas vale a pena ser feita bem, mas o feedback de maior alavancagem que a maioria das equipes de suporte tem e a propria fila. A eesel se conecta ao seu helpdesk (Zendesk, Freshdesk, HubSpot, Gorgias, Front e mais), aprende com seus tickets e documentos de ajuda passados desde o primeiro dia, e transforma milhares de conversas brutas em temas recorrentes mais respostas ja redigidas. Voce pode simula-la nos seus tickets historicos para ver exatamente o que ela detectaria e resolveria antes de tocar em um cliente real, e ela e baseada em uso, sem taxas por assento, gratis para testar.

Se uma maratona de codificacao de texto aberto de uma semana soa familiar, esse e exatamente o problema que vale a pena apontar uma IA primeiro.