カスタマーサービスの測り方:本当に重要な指標とは

なぜカスタマーサービスの測定はチームをつまずかせるのか

私が何度も目にする光景があります。あるチームがダッシュボードを作り、ヘルプデスクが数えられるものを片っ端から詰め込みます。そして半年後、誰もそれを見なくなります。数字は右肩上がりでも、顧客は相変わらずイライラしたままです。

理由はほぼ毎回同じです。デフォルトのレポートのほとんどは活動を測定しています。エージェントが何件のチケットをクローズしたか、何通のメールを送ったか、平均チケットの対応がどれだけ速かったか。これらは数えやすいので、ツールがデフォルトで表示するのです。しかし活動は解決した問題と同じではありません。エージェントは、実際には何も解決しない定型文の返信を連発することで、1日に40件のチケットをクローズできます。そして「クローズしたチケット数」のグラフは見事な形になりますが、その裏で再オープン率は静かに上昇していきます。

平均対応時間は典型的な原因です。エージェントにこれを低く保つよう求めると、彼らは急いだり、他へ回したり、早めにクローズしたりします。そして本当のコスト、つまり顧客が2度目、3度目と戻ってくることが増えていくのに、あなたが見つめている指標は素晴らしく見えます。対応時間が下がって喜んでいるチームが、その隣で初回解決率も一緒に落ちていくのを、私は何度も見てきました。

これを修正する転換は、成果指標を先頭に置き、活動指標を補助的な文脈として扱うことです。まず「問題は初回で、顧客にあまり負担をかけずに解決したか?」を問い、それから活動の数字を使ってなぜ成果が動いたのかを説明します。

追う価値のある4種類の指標

30個もの指標は必要ありません。それぞれが違う質問に答える、ひと握りの指標があれば十分です。私はこれらを4つのファミリーに分類しており、健全なスコアカードには各ファミリーから少なくとも1つが含まれています。

満足度とロイヤルティ

これらは顧客に直接どうだったかを尋ねます。実際にサービスを提供している相手から得られるものなので、真実に最も近い指標です。

• **CSAT(Customer Satisfaction Score)**は、対応後のアンケートで、多くの場合「受けたサポートにどれくらい満足しましたか?」を1〜5段階で尋ねます。CSATは肯定的な回答(4と5)の割合です。たった今対応したチケットに直接対応する数字なので、最も始めやすい指標です。詳しい解説はCSATガイドにあります。
• **CES(Customer Effort Score)**は、問題解決がどれくらい簡単だったかを尋ねます。顧客は手間さえかけられなければ多くを許すため、満足度よりもロイヤルティの鋭い予測因子です。今年1つだけ指標を追加するなら、多くのチームにとってcustomer effort scoreが最適でしょう。
• **NPS(Net Promoter Score)**は「私たちを勧める可能性はどれくらいありますか?」を0〜10段階で尋ねます。1回のやり取りではなくブランド全体へのロイヤルティを測るため、サポート指標というより経営層向けの指標です。有用ですが、今週のサポートの調子と混同しないでください。

速度

速度指標は顧客がどれだけ待つかを測ります。回答が良かったかどうかは語りませんが、遅い回答は品質にかかわらず悪い体験です。

• **初回応答時間(FRT)**は、顧客が最初の人間(またはAI)の返信を待つ時間です。顧客が最も強く感じる指標です。FreshdeskやGorgiasのようなヘルプデスクは標準でこれをレポートします。
• **平均対応時間(AHT)**は、エージェントが1件のチケットに実際に費やす時間です。上記の警告のとおり、慎重に扱ってください。これはキャパシティ計画のための数字であり、品質の数字ではありません。
• 総解決時間は、オープンから実際に解決するまでの全時間です。「問題が消えるまでどれくらいかかったか」という顧客の実体験を追う数字なので、対応時間よりも私はこちらを信頼しています。

有効性

多くのチームが最も投資を怠るファミリーであり、本当のシグナルがここにあります。

• **初回解決率(FCR)**は、やり取りの往復なしに1回で解決した問題の割合です。高いFCRは、私が見てきた中で満足度への最も強力な要因です。多くのチームは70〜75%あたりに位置します。
• 解決率は、受信したすべての会話のうち実際に解決に至った割合です。自動化を加えると、これが最も重要な数字になります。そのため独立した解決率ガイドを用意しました。
• 再オープン率は「解決済み」チケットが戻ってくる割合です。他のすべての数字に対する誠実さのチェックです。再オープン率が上昇しているのに素晴らしいFCRがあるなら、それは問題を解決しているのではなく、チケットをクローズしているだけです。
• チケット件数とバックログは文脈を与えてくれます。件数の急増中のCSAT低下と、通常の週のCSAT低下は別の問題です。

自動化とAI

キューの一部がAI(チャットボット、自動応答、返信案を作成するAIコパイロットなど)によって処理されているなら、そのために作られた指標が必要です。ネイティブのヘルプデスクレポートは、これをきれいに分けて示すことがほとんどありません。

• デフレクション率は、人が一切介入せずに解決した会話の割合です。セルフサービスやチャットボットのセットアップにおける主要指標です。デフレクション率ガイドで、これを正直に読み解く方法を解説しています(顧客が諦めた末の「デフレクション」は勝利ではありません)。
• AI解決率は、デフレクションよりも厳しい基準の指標です。AIが対応した会話のうち、顧客の確認やフォローアップチェックによって本当に解決したと確認された割合です。
• AI CSAT - AIが対応したチャットに特化した満足度スコアで、人間の対応とは別に測定します。これにより、優れたボットが優秀なエージェントの陰に隠れる(あるいはその逆)ことを防げます。
• 感情のトレンドは、評価スコアでは見逃してしまうトーンの変化を捉えます。AIセンチメント分析は、悪いレビューになる前にフラストレーションを感じているスレッドにフラグを立てられます。

各ファミリーを一目で比較すると次のようになります。

これらの数字を実際にどう収集するか

指標を知ることは簡単な部分です。ここでは、それぞれが実際にどこから来るのかを見ていきます。

満足度ファミリーにはアンケート。 CSAT、CES、NPSはすべて質問することから生まれます。会話がクローズしたら自動的に質問1つだけのアンケートを送り、タップ1回で回答できるようにし、アンケートを送りすぎないようにしましょう。マイクロなやり取りのたびにアンケートを受け取る顧客は回答をやめてしまいます。CSATは解決済みチケットごとに送り、NPSはもっとゆっくりした四半期のペースで送りましょう。

速度と有効性にはヘルプデスクレポート。 初回応答時間、対応時間、解決率、再オープンはすでにヘルプデスクの分析画面にあります。落とし穴はFCRです。ほとんどのツールは、一貫したチケットトリアージとタグ付けなしにはこれをきれいに計算できず、「解決済み」対「エスカレーション済み」を正しくマークする必要があります。タグ付けを正しく整えれば、有効性指標の半分は自動的に手に入ります。

数字が見逃すものにはQAサンプリング。 毎週、チケットの小さなランダムサンプルを取り、実際に読んでみましょう。評価スコアは顧客が何を思ったかを教えてくれますが、トランスクリプトを読むことはなぜかを教えてくれます。これは、AIが自信満々だが間違った回答をしていることを見つける唯一の確実な方法でもあり、これはどんなダッシュボードも自動では検知できません。

自動化ファミリーにはAI分析。 デフレクションとAI解決率は、それらをレポートするツールを必要とし、まさにここでネイティブのヘルプデスクダッシュボードは物足りなくなります。AIが対応した部分は、人間の数字に平均化されて埋もれてしまわないよう、別々に測定する価値があります。

自分たちの数値でいくつか検算してみたいですか? 数字を入力してみましょう。

良い指標を嘘つきにしてしまう間違い

たとえ正しい指標であっても、収集方法が悪ければ誤った印象を与えます。私がよく出会う間違いは次のとおりです。

• 外れ値を平均でならしてしまう。 平均CSATが4.2でも、その裏に怒りの1が集まっていることがあります。平均だけでなく分布を見て、必ず低いスコアに目を通しましょう。
• 自分のトレンドではなくベンチマークを追いかける。 「良い」FCRはチャネル、製品、顧客層によって変わります。他人の数字よりも、自分たちの月次の変化の方向性の方が多くを語ってくれます。
• 対抗指標のない単一指標。 すべての効率指標には、隣に品質指標が必要です。対応時間は再オープン率と一緒に、デフレクションはAI CSATと一緒に追跡しましょう。単独で最適化された数字はゲーム化されます。
• ベースラインを一度も設定しない。 これは最大の問題で、特に自動化を展開する前に当てはまります。今日の解決率を知らなければ、AIが役立ったことを証明できませんし、害になったかどうかも分かりません。

最後の点は独立したセクションにする価値があります。これが最も痛烈にダメージを与えるからです。

自動化の前後で測定する

測定に関するアドバイスのほとんどは、完全に人間だけのチームを前提としています。キューにAIを加えた瞬間、問いは変わります。ボットは実際に問題を解決しているのか、それとも単に人々を諦めさせているだけなのか? AI CSATは人間のCSATに追いついているか? 実際の顧客に触れる前にAIを検証するベースラインと方法が必要です。

これは私が最も気にかけている部分です。なぜなら、そこに自分の時間を使っているからです。私はeeselのサポートチームに所属していますが、自信満々に聞こえるのに静かに間違った回答をするボットを十分に見てきたため、事前に測定せずにボットを稼働させることは今では拒否しています。そのために行っているのがシミュレーションです。AIエージェントが稼働する前に、あなたの実際の過去のチケット数千件に対して実行し、それが何をしていたかを正確にレポートします。チケットタイプ別の解決率、自信がある部分、ない部分、そして埋めるべきギャップです。

その予測こそが、他ではほとんど得られない正直なベースラインです。私たちが測定したあるトライアルコホートでは、実際の顧客に一度も返信する前に、あるAIセットアップが581件のチャットで96%の良質な回答を達成しました。月間約1,000件のチケットを扱うドイツのジュエリー小売業者では、実トラフィックでのトライアルにおいて93%のトリアージ精度と、誤検知なしの100%のスパム検出を示しました。これらは、ボットに自律的なルーティングを任せる前にチームに示すことができた数字です。

稼働してからも同じ数字が流れ続けます。eeselのレポートは解決率とデフレクションを分けて示すため、AIと人間の作業を一緒くたにしたネイティブのヘルプデスクダッシュボードを目を細めて見る必要がなくなります。

この「まず測定する」アプローチが機能する証拠は、成果の数字に表れています。Zendeskを使うギグエコノミーのドライバー分析アプリは、トライアル後にこう率直に述べています。

"In the first month, eesel is resolving 73% of our tier 1 requests... Our team implemented and achieved results quickly during our 7-day trial."

Kim Simpson, Gridwise, via the eesel helpdesk agent page

そして効率面では、ある決済企業のチーフ・イノベーション・オフィサーが、ナレッジが正しく測定・連携された後、回答探しとオンボーディングで最大80%の時間削減を報告しています(eesel)。これらの数字が意味を持つのは、既知の出発点に対して測定されたからこそです。

AIサポートの測定にeeselを試す

キューの中で最も測定が必要な部分が自動化された部分であるなら、eeselはまさにそのために作られています。既存のヘルプデスク(Zendesk、Freshdesk、Gorgias、Help Scoutなど)に接続し、解決済みチケットから学習します。そしてシミュレーションモードは、何かを有効にする前に、あなた自身の過去の履歴に対する本物の解決率予測を提供します。ベースラインとライブレポーティングを1つの場所で得られ、しかもクレジットカードなしで無料で試せます。顧客より先に自分の数字を知るという点で、私が見つけた中で最も近い方法です。