アンケート分析:回答を意思決定に変える方法

アンケート分析とは実際どういうものか

すべてのアンケートは2種類の質問を含み、それぞれ異なる種類の分析が必要です。

クローズドクエスチョン(評価スケール、多肢選択、はい/いいえ)は、数えたり、平均を取ったり、ベンチマークしたりできる数字を与えてくれます。オープンエンドクエスチョン(コメント欄)はその数字の背後にある理由を与えてくれますが、構造化されていないテキストとして届くため、何かを数える前にテーマごとにコーディングする必要があります。

この2つは互換性がなく、その差はほとんどの人が予想するより大きいものです。Pew Researchが同じ質問を両方の形式で尋ねたところ、「経済」を選択肢として明示的に提示された場合は58%が選び、自発的に挙げたのはわずか35%でした。驚くべきことに、自由回答の回答者の43%は、そもそもクローズドリストに存在しなかった回答をしていました。自由記述を読み飛ばせば、そもそも聞こうとも思わなかったことに対して、体系的に盲目になります。

以下が最初から最後までの完全なループです。

質問に合った指標から始める

何かを分析する前に、自分が実際に何の指標を計算しているのかを把握しましょう。NPS、CSAT、CESはそれぞれ全く異なる質問に答えるものだからです。

• **NPS(ネットプロモータースコア)**は、誰かがあなたを推薦する可能性を0~10のスケールで尋ねます。批判者(06)の割合を推奨者(910)の割合から引くことで、-100から+100の間のどこかに着地します。これは関係全体を読み取るものです。
• **CSAT(顧客満足度スコア)**は、通常1~5のスケールで満足度を尋ねます。上位2つの評価(4と5)を全回答に対する割合として数えます。なぜなら最上位2つの値がリテンションの最も正確な予測因子だからです。これは単一の直近の体験を読み取るものです。
• **CES(顧客努力指標)**は、何かを達成するのがどれだけ簡単だったかを尋ねます。2010年にさかのぼり、CEBの研究者たちは、労力を減らすことが顧客を「喜ばせる」ことよりもロイヤルティをよく予測すると発見し、労力の大きいやり取りをした顧客の96%がより不誠実になったと報告しています。これは摩擦を読み取るものです。

これらのどれも「唯一の」顧客指標ではなく、間違ったものを選ぶと分析全体が静かに歪みます。それぞれがどう組み合わさるかの詳しいバージョンが必要なら、カスタマーサービスKPIのガイドと、CSATおよび顧客努力指標の詳細で分解しています。

定量パス:数え、切り分け、自分をだまさないこと

数値面は簡単な部分で、主に3つの動きだけです。

集計は単純に数を数えることです。各選択肢を選んだ人数を、頻度と割合で表します。クロス集計は、ある質問を別の質問で切り分けることです。たとえば長期顧客と新規顧客の満足度を比較する場合などです。SurveyMonkeyの経験則では、他方に影響を与える質問を列に、説明される側の質問を行に置きます。有意性検定(通常はカイ二乗検定)は、グループ間の差が本物なのか、単なるノイズなのかを教えてくれます。

チームが自分をだますのは、まさにこの最後のステップです。有意性検定をしていないクロス集計の差は、単なるランダムな変動かもしれませんし、サンプルが小さいと誤差が大きくなるため、見かけ上の差は次の実行で消えることがあります。

これは誰もが手遅れになってから尋ねる疑問につながります。実際にどれだけの回答が必要なのか?自分の数字を入力してみてください。

わかりにくいポイントですが、必要なサンプルサイズは大規模な母集団では頭打ちになります。約10万人を超えると、対象がどれだけ大きくなっても必要な完了回答数はほぼ同じになります。また、回答率については正直でいてください。完了した回答を提出した割合は、開始した割合とは別の数字です。

すべての分析を通じて生き残るルールがあります。相関は因果関係ではありません。カイ二乗検定はカテゴリ変数の相関検定であり、2つのものが連動して動くことを示すだけで、一方が他方を引き起こすことは示しません。長期顧客がより高い満足度を報告しているからといって、在籍期間が満足度を生み出しているとは限りません。

定性パス:分析の大半が静かに息絶える場所

コメント欄には最も価値あるインサイトが眠っていますが、最も手間がかかるため、まさにそれが理由で読み飛ばされます。手作業の方法は本物のコーディングです。すべての回答を読み、繰り返し現れるテーマにグループ化し、それらのテーマを数えます。

これをやったことがある人なら、大量になるとどれほど過酷かを知っています。研究者コミュニティからの声です。

"I'd expect a survey of that size to probably take a week or more for analysis and reporting. That's with one person doing that work... and a moderate level of grinding work like coding free responses."

a UX researcher on r/userexperience

ここでAIが本当に真価を発揮します。Qualtrics Text iQのようなツールは自然言語処理を適用し、数千の回答を一度に自由記述をトピックにクラスタリングし、感情をタグ付けします。あるQualtricsユーザーによる注意点として、感情分析は「may not be 100% accurate for every survey response due to subtle nuances」であり、集計した場合に最も威力を発揮するとのことです。つまりAIが作成したテーマリストは、絶対的な真実ではなく、人間がレビューする強力な最初のパスとして扱うべきです。ここで選択肢を検討中であれば、最良のAIカスタマーフィードバックツールを比較し、実際にAI感情分析がどう機能するかもまとめています。

質問設計に気を配らないと、ノイズを分析することになる

どれだけ巧妙な分析をしても、まずい言い回しの質問は直せません。言い回し自体が回答を動かしてしまうからです。Pewは何十年にもわたってこれを記録してきました。軍事行動を淡々と提示すると支持率は68%でしたが、「even if it meant that U.S. forces might suffer thousands of casualties」を加えると43%に落ちました。根底にある意見は同じなのに、数字はまったく異なります。

分析が始まる前にそれを台無しにする設計ミスのチェックリストです。すべてPewが指摘しています。

• 誘導的または偏った言い回し。「福祉」と「貧困層への支援」では、それ以外は同一の質問であっても支持率が20ポイント以上変わります。
• 二重質問。「内政と外交」のように一度に2つのことを尋ねると、明確に答えることも解釈することも不可能になります。
• **黙従バイアス。**賛成/反対形式では、迷っている回答者は「賛成」に流れがちです。2つの主張から強制的に選ばせる方が安全です。
• **選択肢が多すぎる。**意見を問う質問では選択肢を4~5個に抑えましょう。人は一度にそれ以上を頭の中で保持できません。
• **追跡調査の途中で言い回しを変える。**過去のアンケートと比較しているなら、言い回しは同一に保ってください。そうしないと、顧客ではなく自分の編集内容を測定していることになります。

本当のボトルネックは分析ではなく、そこから行動することだ

ここに居心地の悪い発見があります。定量パスを完璧にこなし、すべてのコメントをコーディングし、非の打ちどころのない質問を設計しても、データがただそこに座っているだけなら、結局何も得られません。2~3%というループを閉じる割合が、まさにすべてを物語っています。

これは認識のギャップとしても現れます。Qualtrics XM Instituteは、経営幹部が顧客フィードバックをどれだけうまく活用していると考えているかと、消費者がそれをどう評価しているかの間に31ポイントのギャップがあることを発見しました。そして顧客も気づいています。非常に良い体験の後にわざわざフィードバックを共有する割合は、2021年以降約5ポイント低下しています。

回答者はその沈黙を感じ取っています。

"Survey fatigue is very real and one of the main contributors to it, particularly in B2C is lack of any feedback once you've completed the survey."

a CX practitioner on r/CustomerSuccess

これが回答率が下がり続けている理由でもあります。NiCEは、メールで送られる平均的な関係性アンケートの回答率をB2Bで32%、B2Cで13%としており、その低下の原因として、より多くの企業がより多くのアンケートを重ねることによる疲労を挙げています。決して行動に移されない分析は、単なる無駄な労力にとどまらず、顧客に回答をやめるよう積極的に訓練してしまうのです。

サポートキューは、あなたがすでに実施しているアンケートである

これは私が最も気にかけている部分であり、正式なアンケートプログラムが見落としている点です。すべてのサポートチケットは、依頼されていない、フィルタリングされていないアンケート回答であり、アンケートには決してない何かが伴っています。それは、問題に直面したまさにその瞬間の顧客の生の言葉です。疲労もなく、誘導的な質問もなく、サンプリングもありません。それはあなたがすでに保有している顧客の声データです。

問題は規模です。誰も月に5,000件のチケットを読んで手作業でテーマを引き出すことはできません。これは自由記述アンケート分析を機能不全にするのと同じ壁です。これこそまさに、eeselが何年もかけて構築してきたものです。キュー全体を読み、繰り返し発生する問題をクラスタリングし、感情をタグ付けし、あなた自身のナレッジベースに基づいて回答案を作成するAIヘルプデスクです。実際に稼働させる前に、何千もの過去のチケットに対してシミュレーションを行い、見つかるテーマとカバレッジを確認できます。そしてアンケートツールと同じように結果を報告してくれるため、「顧客が実際に何に苦労しているのか」という問いに1週間かかることはなくなります。

アンケートの自由記述をクラスタリングするのと同じLLMのアプローチが、チケットの積み残しを読みやすいテーマに変えます。レポーティングの観点を特に知りたい場合は、AIカスタマーサービス指標、サポート向けの分析ダッシュボードテンプレート、より広範なチャットボット分析ガイドについても記事にしています。

そしてテーマが明確になったら、AIヘルプデスクエージェントに繰り返し発生する問題を対応させ、残りはチケットトリアージでルーティングし、対応すべきでない場合はきれいにエスカレーションすることで、直接行動に移せます。

本当に成果を動かす分析にはeeselを試してみてください

アンケート分析はきちんと行う価値がありますが、ほとんどのサポートチームにとって最もレバレッジの高いフィードバックはキューそのものです。eeselはあなたのヘルプデスク(Zendesk、Freshdesk、HubSpot、Gorgias、Frontなど)と連携し、初日から過去のチケットとヘルプドキュメントから学習し、数千件の生の会話を繰り返し発生するテーマと作成済みの返信案に変えます。実際の顧客に触れる前に、過去のチケットでシミュレーションを行い、何を検出し解決するのかを正確に確認できます。席数課金なしの使用量ベースで、無料でお試しいただけます。

1週間かかる自由記述コーディングの苦行に心当たりがあるなら、それこそがまず最初にAIを向けるべき問題です。