Analyse de sondages : comment transformer les reponses en decisions

Ce qu'est vraiment l'analyse de sondages

Chaque sondage pose deux types de questions, et chacune necessite un type d'analyse different.

Les questions fermees (echelles de notation, choix multiple, oui/non) donnent des chiffres que l'on peut compter, moyenner et comparer a des references. Les questions ouvertes (le champ commentaire) donnent les raisons derriere ces chiffres, mais elles arrivent sous forme de texte non structure, donc il faut les coder en themes avant de pouvoir compter quoi que ce soit.

Les deux ne sont pas interchangeables, et l'ecart entre elles est plus grand que ce que la plupart des gens attendent. Pew Research a pose la meme question des deux facons et a constate que lorsque « l'economie » etait explicitement proposee comme choix, 58 % la choisissaient, contre seulement 35 % qui la mentionnaient spontanement. Fait frappant, 43 % des repondants aux questions ouvertes ont donne une reponse qui ne figurait meme pas sur la liste fermee. Si vous sautez le texte libre, vous etes systematiquement aveugle aux choses auxquelles vous n'aviez pas pense demander.

Voici la boucle complete, du debut a la fin.

Commencez par l'indicateur qui correspond a la question

Avant d'analyser quoi que ce soit, sachez quel indicateur vous calculez vraiment, car le NPS, le CSAT et le CES repondent a des questions tres differentes.

• Le NPS (Net Promoter Score) demande la probabilite que quelqu'un vous recommande, sur une echelle de 0 a 10. Vous soustrayez le pourcentage de Detracteurs (0 a 6) de celui des Promoteurs (9 a 10), ce qui vous place quelque part entre -100 et +100. Il lit la relation dans son ensemble.
• Le CSAT (Customer Satisfaction Score) demande a quel point quelqu'un a ete satisfait, generalement sur une echelle de 1 a 5. Vous comptez les deux cases superieures (4 et 5) en pourcentage de toutes les reponses, car les deux valeurs les plus hautes sont le predicteur le plus precis de la retention. Il lit une experience unique et recente.
• Le CES (Customer Effort Score) demande a quel point il a ete facile de faire aboutir quelque chose. Des 2010, des chercheurs du CEB ont decouvert que reduire l'effort predit mieux la fidelite que « ravir » les clients, rapportant que 96 % des clients ayant vecu une interaction a fort effort sont devenus plus infideles. Il lit la friction.

Aucun de ces indicateurs n'est « le » indicateur client, et en choisir un mauvais fausse silencieusement toute votre analyse. Si vous voulez la version plus longue de la facon dont ils s'articulent, nous l'avons detaillee dans notre guide des KPI du service client ainsi que dans les details du CSAT et du customer effort score.

La passe quantitative : compter, decouper, et ne pas se raconter d'histoires

Le volet numerique est la partie facile, et c'est surtout trois mouvements.

La tabulation consiste simplement a compter : combien de personnes ont choisi chaque option, en frequence et en pourcentage. Le tri croise decoupe une question par une autre, pour que vous puissiez comparer, par exemple, la satisfaction entre clients de longue date et nouveaux clients. La regle empirique de SurveyMonkey veut que la question qui influence l'autre aille en colonnes, et celle qu'on explique aille en lignes. Le test de significativite (generalement un test du Chi carre) indique si une difference entre groupes est reelle ou n'est que du bruit.

C'est a cette derniere etape que les equipes se racontent des histoires. Une difference dans un tri croise que vous n'avez pas testee pour sa significativite peut n'etre qu'une variation aleatoire, et un petit echantillon porte une grande marge d'erreur, si bien qu'un ecart apparent peut disparaitre au prochain passage.

Ce qui souleve la question que tout le monde pose trop tard : de combien de reponses ai-je vraiment besoin ? Entrez vos chiffres.

Le point non evident : la taille d'echantillon requise se stabilise pour les grandes populations. Au-dela d'environ 100 000 personnes, vous avez besoin d'a peu pres le meme nombre de reponses completes, quelle que soit la taille de l'audience. Et gardez votre taux de reponse honnete, car le pourcentage qui soumet une reponse complete est un chiffre different du pourcentage qui commence.

Une regle survit a toute analyse : correlation n'est pas causalite. Un test du Chi carre est un test de correlation pour variables categorielles ; il indique que deux choses evoluent ensemble, pas que l'une cause l'autre. Le fait que les clients de longue date declarent une satisfaction plus elevee ne signifie pas que l'anciennete cree la satisfaction.

La passe qualitative : la ou la plupart des analyses meurent en silence

Le champ commentaire contient votre meilleur enseignement et demande le plus de travail, ce qui explique precisement pourquoi il est saute. La methode manuelle est un veritable codage : lire chaque reponse, les regrouper en themes recurrents, puis compter les themes.

Quiconque l'a deja fait sait a quel point c'est brutal a grand volume. Depuis la communaute des chercheurs :

"I'd expect a survey of that size to probably take a week or more for analysis and reporting. That's with one person doing that work... and a moderate level of grinding work like coding free responses."

a UX researcher on r/userexperience

C'est ici que l'IA gagne vraiment sa place. Des outils comme Qualtrics Text iQ appliquent le traitement du langage naturel pour regrouper le texte libre en sujets et taguer le sentiment sur des milliers de reponses a la fois. Le hic, selon un utilisateur de Qualtrics lui-meme, est que le sentiment « may not be 100% accurate for every survey response due to subtle nuances », et qu'il est le plus puissant en agrege. Traitez donc une liste de themes generee par IA comme une premiere passe solide qu'un humain relit, pas comme une verite absolue. Si vous comparez des options ici, nous avons compare les meilleurs outils IA de retours clients et explique comment fonctionne en pratique l'analyse de sentiment par IA.

Surveillez la conception de vos questions, sinon vous analysez du bruit

Aucune analyse, aussi ingenieuse soit-elle, ne rattrape une question mal formulee, car la formulation elle-meme deplace la reponse. Pew le documente depuis des decennies : presenter une action militaire de maniere neutre a recueilli 68 % de soutien, mais ajouter « even if it meant that U.S. forces might suffer thousands of casualties » l'a fait chuter a 43 %. La meme opinion sous-jacente, un chiffre radicalement different.

Une check-list rapide des erreurs de conception qui empoisonnent l'analyse avant meme qu'elle ne commence, toutes signalees par Pew :

• Formulation orientee ou chargee. « Aide sociale » contre « aide aux pauvres » fait varier le soutien de plus de 20 points pour une question par ailleurs identique.
• Questions a double detente. Poser deux questions a la fois (« politique interieure et exterieure ») rend la reponse impossible a donner clairement et impossible a interpreter.
• Biais d'acquiescement. Dans les formats d'accord/desaccord, les repondants incertains derivent vers « d'accord ». Un choix force entre deux affirmations est plus sur.
• Trop d'options. Pour les questions d'opinion, limitez-vous a quatre ou cinq choix ; les gens ne peuvent pas en garder davantage en tete a la fois.
• Changer la formulation en cours de suivi. Si vous comparez a des sondages anterieurs, gardez une formulation identique, sinon vous mesurez vos modifications, pas vos clients.

Le vrai goulot d'etranglement n'est pas l'analyse, c'est d'agir dessus

Voici le constat inconfortable. Vous pouvez parfaitement reussir la passe quantitative, coder chaque commentaire et concevoir des questions impeccables, et malgre tout n'en tirer aucun benefice, parce que les donnees restent simplement la, inutilisees. Le chiffre de 2 a 3 % de bouclage de boucle resume tout l'enjeu.

Cela se traduit aussi par un ecart de perception. Le Qualtrics XM Institute a trouve un ecart de 31 points de pourcentage entre la facon dont les dirigeants pensent utiliser les retours clients et la maniere dont les consommateurs l'evaluent. Et les clients le remarquent : la part de ceux qui prennent la peine de partager un retour apres une tres bonne experience a baisse d'environ 5 points depuis 2021.

Vos repondants ressentent ce silence :

"Survey fatigue is very real and one of the main contributors to it, particularly in B2C is lack of any feedback once you've completed the survey."

a CX practitioner on r/CustomerSuccess

C'est aussi pourquoi les taux de reponse continuent de baisser. NiCE situe le sondage relationnel moyen envoye par e-mail a 32 % en B2B et 13 % en B2C, et attribue ce declin a la lassitude, a mesure que de plus en plus d'entreprises accumulent de plus en plus de sondages. Une analyse sur laquelle vous n'agissez jamais n'est pas seulement un effort gaspille, elle entraine activement vos clients a arreter de repondre.

Votre file de support est un sondage que vous menez deja

C'est la partie qui me tient le plus a coeur, et c'est le morceau que les programmes de sondage formels laissent passer. Chaque ticket de support est une reponse de sondage non sollicitee et non filtree, et elle s'accompagne de quelque chose qu'un sondage n'a jamais : les mots reels du client, au moment exact ou il rencontre un probleme. Pas de lassitude, pas de questions orientees, pas d'echantillonnage. Ce sont des donnees de voix du client que vous possedez deja.

Le probleme, c'est l'echelle. Personne ne peut lire 5 000 tickets par mois et en degager des themes a la main, c'est le meme mur qui tue l'analyse du texte libre des sondages. C'est exactement ce que nous construisons depuis des annees chez eesel : un helpdesk IA qui lit l'integralite de la file, regroupe les problemes recurrents, tague le sentiment et redige des reponses a partir de votre propre base de connaissances. Avant meme sa mise en production, vous pouvez le simuler sur des milliers de tickets passes pour voir les themes et la couverture qu'il trouve. Et comme il rend compte de la meme facon qu'un outil de sondage, la question « avec quoi les clients ont-ils vraiment du mal » ne prend plus une semaine.

La meme approche de LLM qui regroupe le texte libre des sondages est celle qui transforme un arrieré de tickets en themes lisibles. Si vous voulez specifiquement l'angle reporting, nous avons ecrit sur les indicateurs de service client par IA, un modele de tableau de bord analytique pour le support, et un guide plus large de l'analytique des chatbots.

Et une fois les themes clairs, vous pouvez agir directement dessus en faisant en sorte qu'un agent de helpdesk IA traite les cas recurrents, qu'un tri des tickets achemine le reste, et qu'il escalade proprement quand il ne devrait pas repondre.

Essayez eesel pour l'analyse qui fait vraiment bouger les choses

L'analyse de sondages merite d'etre bien faite, mais le retour a plus fort levier que possede la plupart des equipes de support est la file elle-meme. eesel se branche sur votre helpdesk (Zendesk, Freshdesk, HubSpot, Gorgias, Front, et plus encore), apprend de vos anciens tickets et documents d'aide des le premier jour, et transforme des milliers de conversations brutes en themes recurrents plus des reponses redigees. Vous pouvez le simuler sur vos tickets historiques pour voir exactement ce qu'il ferait remonter et resoudrait avant qu'il ne touche un client reel, et il est base sur l'usage, sans frais par siege, gratuit a essayer.

Si un marathon de codage de texte libre d'une semaine vous parle, c'est exactement le probleme sur lequel il vaut la peine de pointer une IA en premier.