AIでNPS分析：すべてのコメントを読まずに、すべてのコメントを把握する方法

なぜNPSのコメントは読まれないのか？

スコアは簡単で、コメントはそうではないからです。ダッシュボードは2,000件の回答を1秒で1つの数字にします。その下にあるコメントは、毎月丸1日、人手がかかります。しかもその担当者は、たいていキューの対応も兼ねています。

私は毎日eeselのサポートキューで働いており、話を聞くチームで見かけるパターンはどこも同じです。NPSの数字は他のサポートKPIと並んで月次資料に載り、コメントは誰も開かないCSVに入り、壊れた返金について3段落書いた批判者の1人には返事が届きません。NPSを生み出したBainは、内側のループについての記事で、「averages hide the detail that is most instructive」とはっきり述べています。

Redditのプロダクトマネージャーが、手作業の実態を私よりうまく説明していました。

"Every week, I spend a couple of hours scanning user responses to open ended questions... I manually make notes of opportunities, big pain points and anything else that stands out, but I don't really have a great quantitative view to show for these."

How do you all analyze qualitative NPS data?, Reddit

アンケートツール側もわかっています。SurveyMonkeyはワードクラウドを廃止し、Thematic Analysisへの移行を案内しています。ワードクラウドは「サポート」という言葉が何度も出てきたことは示しても、好かれたのか嫌われたのかは教えてくれないからです。

AIは「読む」問題を解決します。「決める」問題は解決しませんし、新しい問題を生みます。もっともらしく聞こえるのに間違っている、きれいな要約です。このガイドの残りは、1つ目を手に入れて3つ目を避ける方法についてです。

AIはNPSコメントで実際に何ができるのか？

効果が出る順に、5つの仕事があります。

1. テーマをタグ付けする。 顧客が同じことを違う言葉で言っていても、各コメントに「請求」「オンボーディング」「サポートの速さ」のようなラベルが1つ以上付きます。これはテキスト分類で、チケットのタグ付けと同じ仕事です。
2. コメント単位ではなく、テーマごとに感情をスコア化する。 「サポートは素晴らしいが、アプリはひどい」は、肯定が1つと否定が1つです。コメントごとに1つのラベルしか付けないツールは、それを平均して「混在」にしてしまい、両方のシグナルが失われます。
3. スコア群ごとに分ける。 批判者の不満と中立者の不満は別のリストで、中立者は最も安く動かせます。
4. 時間による変化を見つける。 「オンボーディングへの不満が今月8%から21%になった」は、会議を設定させる一文です。
5. 緊急のものにフラグを立てる。 解約に触れるコメント（解約リスクのシグナル）、法的な脅し、安全上の問題は、来月のレポートではなく、今日のうちに担当者へ届くべきです。

AIが苦手なこと：自社にとって何が重要かを決めること、「新プラン」が3月の価格改定のことだと知ること、テーマが薄すぎて報告できないと認めること。これらは人の仕事のままです。

Qualtricsは、テーマごとの考え方をうまく示しています。Text iQの感情ドキュメントでは、例文「The service and the food were excellent, but everything was very overpriced」に対して、サービスにはプラス、価格にはマイナスのスコアが付きます。1つのコメントに、正反対の2つのシグナルがあります。

なぜスコアとコメントはいつも一致しないのか？

スコアは「推奨しますか」への答えで、コメントは顧客が伝えたいと思ったことへの答えだからです。この2つは思ったより重なりません。そして最も役に立つコメントは、両者が食い違うところにあります。

毎月確認する価値のある象限が2つあります。

• 問題を抱えた推奨者。 「請求が2回壊れた」と言う10点は、今のところまだあなたを気に入っています。失いたくない顧客への早期警告ですが、批判者だけを読んでいると決して表に出てきません。
• 低スコアで好意的な言葉。 「素晴らしいチームだけど、高すぎる」は価格やパッケージの問題で、サービスの問題ではありません。これをサポートリーダーに送ると、全員の1週間が無駄になります。

そして、スコアにまったく意味がないこともあります。Redditのカスタマーサクセスマネージャーが、中途半端なスコアについて顧客に尋ねました。

"I've had customers give a 5 and then when asked about it, responded 'Oh... I love the software, I just wasn't taking this seriously when it popped up because I don't think anyone really does anything with these things, so when I saw it, I just put 5 because it's my favorite number.'"

u/UghWhyDude, Reddit

知っておくべき落とし穴が1つあります。一部のツールは、テキストではなくスコアから「感情」を付けます。たとえばHubSpotのアンケート回答に組み込まれたSentimentプロパティは、0〜10の回答から導かれる（0〜6が批判者）ため、上の2つの象限のどちらも検出できません。コメントが実際に述べていることを記録する別の列を用意しましょう。

AIでNPSコメントを分析するには、どう進めるのか？

月に数百件から2,000件程度のコメントがあるチームに私が勧めるワークフローです。必要なのは、スプレッドシート、会社が承認したAIモデル、そして初回は1時間ほどです。

1. スコアとコメントを書き出す。 回答1件につき1行：ID、スコア、コメント、日付、そして1〜2つのセグメント（プラン、地域、チャネル）。アンケートツールからデータが出る前に、名前とメールアドレスを削除します。
2. まずテーマリストを書く。 10〜15のテーマに、それぞれ1行の定義と「その他」の枠を付けます。作るために、自分で50件のコメントを読みましょう。AIに毎月テーマを作らせると、9月は「請求の問題」、10月は「支払いの問題」となり、トレンドラインが途切れます。
3. すべてのコメントにタグを付ける。 モデルに、コメントごとに1行を出力させます：テーマ（複数可）、テーマごとの感情、短い理由。実用に耐えるプロンプトはこちらです。

You are tagging NPS survey comments. Use ONLY the themes below; if none fit, use "other".
A comment can have several themes. For each theme, give sentiment: positive, negative or mixed.
Return one row per comment: response_id | themes | sentiment per theme | one-line reason | urgent (yes/no).
Mark urgent only for cancellation, legal, safety or data-loss mentions.
Do not use the NPS score to decide sentiment. Read the text only. Never invent counts.

Themes:
- billing: charges, invoices, refunds, plan prices
- onboarding: setup, first week, getting started
- reliability: crashes, outages, bugs
- support speed: wait times, slow replies
- support quality: wrong answers, rudeness, great help
...

コメントはファイル全体を一度に送らず、50〜100件ずつのバッチで送ります。Hacker Newsのある開発者が、まさにこの問題にぶつかっていました。

"If I dump the whole spreadsheet into ChatGPT, I found that because of the context window, it can get 'lazy'; while with a local LLM, I could just literally prompt it one row at a time to accomplish my goal..."

alex43578, Hacker News

4. 50行を手作業で確認する。 批判者、中立者、推奨者、そして「その他」とされたものから幅広く選びます。間違いが数件を超えるなら、テーマの定義を直して再実行します。これが、自信満々の間違ったレポートを防ぐステップです。
5. 分けて数える。 テーマ×スコア群のピボットテーブルで、実際の姿が見えます。各テーマに触れた批判者の割合と、先月からの変化です。
6. 順位付けして担当者を決める。 頻度だけでは判断を誤ります。まれなデータ消失の苦情は、よくあるフォントの要望に勝ちます。上位のテーマには担当者と期日を付けましょう。さもないと、見栄えのいいCSVにすぎません。

同じ方法はサポートチケットにも使え、これは後で重要になります。テーマリストをさらに掘り下げたい場合は、AIによる顧客フィードバック分析のガイドでコードブックをより詳しく扱っています。

NPSのボリュームに合う構成はどれか？

適したツールは、主にコメントの件数と、それがすでにどこにあるかで決まります。月間のボリュームを選んでください。

アンケートやフィードバックのツールは、NPS分析に何を提供するのか？

最近のアンケートツールの多くは、自由記述向けのAIを備えています。本当の分かれ目は、感情がテーマごとにスコア化されるのか、コメントごとに1回だけなのか、そして営業電話の前に価格が見られるかです。

表の裏にあるいくつかの詳細です。

• Delightedは終了しました。 多くの小規模チームがDelightedでNPSを運用していました。同社のページには現在、提供終了と書かれ、Qualtricsへ誘導されています。そこからのエクスポートを使っているなら、移行を計画しましょう。
• Typeformは、AnthropicのClaudeモデルのプライベートコピー上でSmart Insightsを動かし、トピックをポジティブ、ネガティブ、ニュートラル、混在のタブにまとめ、トピックごとに最大3つの引用を付けます。ヘルプ記事によると、最低10件の回答と英語のアカウントが必要です。
• SurveyMonkeyは、各回答をポジティブ、ニュートラル、ネガティブ、検出なしのいずれかにラベル付けし、その感情分析は回答ごとに1つのラベルです。ざっと把握するには良いものの、「サポートは素晴らしいがアプリは悪い」というコメントには弱いです。
• Thematicは、少なくとも2,000行あるときに最も力を発揮するとしており、レビュー、アンケート回答、サポートチケットを1つのコメントとして数えます。NPSとチケットを1か所で扱いたいチームに向いています。
• Gainsightは、テキスト分析のドキュメントによると、20件以上のコメントが必要で、6〜25語のコメントにだけ感情をスコア化し、1日1回実行されます。

エンタープライズ向けツールが、規模が大きいときにお金を払う価値のあるものを1つ加えます。テーマをスコアに結び付けることです。Chattermillのインパクトビューは、各テーマがNPSを何ポイント下げているかを示します。これは、生の言及数よりも鋭く改善の優先順位を付ける方法です。

ツールを探しているなら、AI顧客フィードバックツールの比較記事がより広くカバーしています。その背景にある方法については、アンケート分析のガイドをご覧ください。

ヘルプデスクは、すでにフィードバックで何をしているのか？

NPSについては期待するほどではなく、チケットについてはもっと多くをしています。私が調べた6つのヘルプデスクのうち、アンケートコメントを要約するAIを文書化しているのはHubSpotとSalesforceだけでした。Zendesk、Freshdesk、Gorgiasは、代わりにチケットメッセージにAI感情分析を実行します。

判断を左右する詳細です。

• Zendeskは、「Net Promoter Score (NPS)」が2023年4月30日に廃止されたと記載しました。そのインテリジェントトリアージは、各チケットを「非常にポジティブ」から「非常にネガティブ」までラベル付けし、「calibrated for customer service contexts」なので、顧客が問題を抱えているだけでチケットがネガティブになるわけではありません。詳しくはZendeskのAIチケットトリアージのガイドをご覧ください。
• HubSpotは、Service Hub ProfessionalとEnterpriseでNPS、CSAT、CESのアンケートを実行でき、3件以上の回答があればBreezeが回答を要約できます。このリストの中で、NPSとヘルプデスクの組み合わせとしては最も完成度が高いものです。
• Gorgiasは、全プランですべての受信メッセージのインテントと感情を検出します。「CSATが下がった理由」について自社が提案する対処法は、Gorgias MCP経由でClaudeやChatGPTをつなぎ、低評価のチケットをテーマごとにまとめてもらうことです。ベンダー自身も、この分析はヘルプデスクの外で行っています。
• Freshdeskは、Freddy AI Copilotアドオンの一部として、最新メッセージの感情を0〜100でスコア化し、それに基づいてルーティングできます。

パターンはこうです。ヘルプデスクはチケットを分析し、アンケートツールはコメントを分析し、その2つをつなぐ人はほとんどいません。私が最初に埋めたいのは、このギャップです。

なぜNPSと並行してサポートチケットを分析するのか？

NPSのコメントは、返金に困っている顧客がどれだけいるかを教えてくれ、チケットは、どの返金で、どれくらい待たされ、顧客がすでに何を試したかを教えてくれるからです。一方は見出しで、もう一方は物語です。

キューにいる私の立場から見て、ほとんどのNPSガイドが見落としているのがこの部分です。アンケートで「サポートが遅い」と書く批判者は、たいていその前に2〜3件のチケットを開いています。そのチケットには、タイムスタンプ、注文番号、読んだヘルプ記事、そしてうまくいかなくなった正確な瞬間が残っています。アンケートのコメントは、あきらめたあとに書いた要約です。

ボリュームのあるチームは、これを直接感じています。すべてのコメントを手作業で読んでいたある運用担当者が、Redditで助けを求めました。

"We receive about 10,000 to 15,000 comments to read each month... We read every comment on our surveys, code them (with our coding) and then look for trends, things that bubble up, etc."

Customer surveys and AI, Reddit

同じ投稿で、選ぶものはZendeskのチケットシステムと連携できなければならないとも書いていました。それは正しい直感です。

つまり、やることはシンプルです。両方に1つのテーマリストを使うこと。NPSのタグとチケットのタグで「返金」が同じ意味なら、並べて見られます。

• NPSは、返金が批判者の最大のテーマで、今四半期は6ポイント増えていると言います。
• チケットは、返金チケットが月に300件あり、大半は返品後の払い戻しについてで、それに関するヘルプ記事は2年前のものだと言います。これはナレッジギャップ分析が見つけるたぐいのものです。
• これで何を直すべきかがわかり、次のアンケートが出る前に、サポートが効果を測定できます。

ボリュームがあるのもここです。私が繰り返し思い出す営業通話の場面があります。Gorgiasを使い、月に約7,000件のチケットを扱うDTCサプリメントブランドのCXリードが、eeselチームとの通話で、月次レポートでの分析に異を唱えました。要点はおおよそこうです。顧客は月次レポートを待ちたくない。NPSは月次レポートで、チケットはライブフィードだ、と。チケット側については、サポートレポートのためのAIのガイドでより詳しく扱っています。毎週受信箱に届ける方法は、顧客の声アラートをご覧ください。

eeselはNPS分析にどう組み込めるのか？

まず境界をはっきりさせます。eeselはNPSアンケートを送りませんし、スコアも計算しません。アンケートツールはそのままお使いください。eeselが担うのは、全体像のサポート側の半分です。批判者のテーマの大半が生まれ、多くが解決される場所です。

eeselは、Zendesk、Freshdesk、Gorgiasなどのヘルプデスクの中で働くAIヘルプデスクチームメイトです。NPSの仕事に対応する部分が3つあります。

• あなた自身のリストでのタグ付け。 Zendeskエージェントは、タグ付けの前にチケットフィールドとその許可値を読めるので、勝手に作ったリストではなく、あなたのテーマリストを使います。smavaは、2ブランドで共有するZendeskでこれを運用しています。月に27,000件のチケットのうち14,600件がZendeskフィールドに分類され、しかもドイツ語です。RúngneはGorgiasで運用し、880件のチケットを「from a fixed list, nothing invented」でトピック別にタグ付けしています。
• 顧客が聞き続けていることのレポート。 Analyze ticket trendsスキルは、会話から「recurring topics, sentiment, volume and resolution patterns」を引き出し、毎週月曜に週次のサポートレポートを受信箱に届けられます。
• 繰り返しの質問への回答。 最も安く直せる批判者は、そもそも質問に人が必要なかった人です。eeselはヘルプセンターと過去のチケットからそれらに回答し、残りを引き継ぎます。詳しくはFAQデフレクションのガイドをご覧ください。

そのレポートは、NPSテーマ要約のチケット側の双子です。トピック、件数、根拠、そして最初に何を直すか。批判者のテーマの隣に置けば、重なりはたいてい明らかです。

ターミナルから実行したい、あるいはコーディングエージェントに任せたい場合、eesel CLIはダッシュボードと同じエージェントと対話し、JSONを出力します。eesel chat "analyze our ticket trends for last month"でトレンドスキルが動き、eesel automationsでレポートをスケジュールに載せ、eesel files lsで保存されたレポートを一覧できます。アンケートコメントも同じ場所に置きたいなら、Webhook自動化がZapier、Make、または自社のバックエンドからのデータを受け付けるので、批判者のコメントを送り込んで、エージェントにタグ付けやチケット作成をさせられます。これは自分で組む構成で、組み込みのNPS連携ではありません。

正直な限界を1つ。eesel自身の「AI CSAT」は、エージェントの回答に対するAIの評価であり、そのレポートのドキュメントでも「not a substitute for asking your customers」とされています。だからこそ、アンケートは続けるべきだと考えています。

NPSの批判者とのループはどう閉じるのか？

Bainはこれを2つのループに分けており、AIはそれぞれ違う形で役立ちます。

内側のループは、担当者がすばやく顧客に連絡を返すことです。Bainの内側のループの記事の見解は、折り返しの連絡は「can't be delegated to a third party or some central corporate group」というものです。ここでのAIの役割はトリアージです。緊急のコメント（解約、法的問題、データ消失）にフラグを立て、今日のうちに適切な担当者へ回します。返信そのものは人の仕事で、Redditのあるカスタマーサクセスリードは、ほとんどのチームが設ける基準より高い水準を示しました。

"First, never reach out via email to someone dropping a zero (or anything below your target # for NPS). Call and keep calling or in a normal circumstance show up in person."

u/pj1897, Reddit

Qualtricsは現在、アンケートのフィードバックにAI返信を下書きし、Zendesk、ServiceNow、Salesforceにチケットを作成します。クローズドループのワークフローに示されているとおりです。

外側のループは、原因を直すことです。Bainの外側のループは「all inner loop feedback」から始まり、「patterns, trends and changes in frequency」を探します。これは、上で述べたテーマのタグ付けの仕事そのものです。成果物は、それぞれに担当者が付いた短い修正リストです。

こうしたループの最もきれいな例として挙げられるのは、eeselの顧客の1社、産業オートメーション企業です。ドキュメントチャットの回答ごとに評価欄があり、何が質問されたか、どの回答が低く評価されたか、知識にどんな穴があったかをまとめたダイジェストが、ドキュメントチームに定期的に届きます。穴はそのままドキュメントのバックログに入ります。「ドキュメントチャット」を「NPSアンケート」に置き換えれば、外側のループが四半期ごとではなく、毎週回ることになります。

ループを閉じるチケット側については、AIによる解約防止のガイドから始めてください。テーマが苦情なら、顧客の苦情のためのAIをご覧ください。

避けるべき間違いは何か？

私がよく見るもので、おおよそ被害の大きい順です。

• AIに毎月新しいテーマを選ばせる。 そのたびにトレンドラインがリセットされます。リストは一度書き、追加するときは意図的に。
• サンプルを確認せずにパーセンテージを報告する。 コメントの15%を誤ってラベル付けしたモデルでも、きれいなグラフは作れます。資料に載せる前に、50行を確認しましょう。
• 感情をスコアとして扱う。 9点が重大なバグを述べていることもあります。食い違いの象限を読みましょう。
• 頻度だけで順位付けする。 データ消失についてのコメント5件は、ボタンの色についてのコメント50件に勝ります。
• 名前やメールアドレス付きの生のコメントをアップロードする。 先に個人情報を削除し、AIプロバイダーのデータ規約を確認しましょう。たとえばSurveyMonkeyは、そのThematic AnalysisがAnthropicとOpenAIのモデル上で動き、それらはあなたのデータで学習しないとしています。自社の構成も同じくらい明確であるべきです。
• サポートと一切話さない場でNPSを分析する。 批判者のテーマの多くの解決策は、チケットトリアージの先にある、キューの中にあります。両方を含む顧客の声プログラムの作り方についてのメモもご覧ください。

NPSのサポート側をeeselで試す

批判者のテーマが、返金、返信の遅さ、「Xのやり方が見つからなかった」ばかりを指しているなら、それらはまずチケットの問題です。eeselは新しいチームメイトのようにヘルプデスクに加わります。あなた自身のトピックリストですべてのチケットにタグを付け、ヘルプセンターと過去のチケットから繰り返しの質問に回答し、顧客が聞き続けていることを毎週レポートするので、次のアンケートが出る前に修正を出せます。smavaでは、月に14,600件のZendeskチケットをeeselが分類しています。

プランは500クレジットで月額$299から、レポートはすべてのプランに含まれます（料金ページより）。まずは自社の過去のチケットを使って、無料で試すこともできます。eeselを試す。