AI顧客サポートにおける精度と網羅性の説明

もしあなたがサポート部門のリーダーなら、おそらくプレッシャーを感じていることでしょう。自動化をさらに推進し、コストを削減し、顧客への返信を迅速化するよう、誰もが求めています。しかし、そこには落とし穴があります。苦労して築き上げてきた顧客の信頼を台無しにするような、でたらめな回答を始めるAIを野放しにするわけにはいかないのです。

これにより、あなたは困難な状況に陥り、不可能とも思える選択に直面します。すべてに答えようとする（しかし、多くを間違えるかもしれない）AIを使うべきか、それともいくつかのことだけを完璧に答える（そして、問い合わせのキューをほとんど減らせない）AIを使うべきか？

これは、古典的な精度とカバレッジの綱引きです。しかし、重要なのは、これが誤った二者択一であるということです。

どちらか一方を選ぶ必要はありません。このガイドでは、両方の長所を最大限に引き出し、AIを危険な賭けから、真に役立つチームの一員へと変える方法を解説します。

AIの精度とカバレッジのトレードオフとは？

カスタマーサポート向けAIを検討する際、精度とカバレッジは理解しておくべき2つの大きな指標です。これらは単純に見えますが、相互にどう影響し合うかによって、システム全体の成否が左右される可能性があります。

AIの精度は非常に分かりやすいものです。AIが正しい答えを返す頻度はどのくらいか？ということです。人間が介入して後始末をする必要のない、正確で、役に立ち、完全な回答を指します。これはAIの応答の質に関するすべてです。これを正しく行うことは、顧客の信頼を築く上で不可欠です。

AIのカバレッジは量に関するものです。これは、AIが実際に単独で処理しようとする、すべての受信サポート問い合わせの割合です。効率化とコスト削減という大きな約束はここから生まれます。AIが処理する量が多いほど、チームの負担は少なくなります。

問題はここから始まります。もし汎用的な既製のAIを導入し、問い合わせの100%を処理するように指示すれば、その精度は急降下するでしょう。AIは推測を始め、事実をでっち上げ、顧客を苛立たせることになります。しかし、安全策を取りすぎて、AIにいくつかの簡単な質問にしか答えさせなければ、精度は素晴らしいものになりますが、カバレッジが低すぎてチームの助けにはほとんどなりません。これが、多くのサポートリーダーを夜も眠れなくさせるトレードオフなのです。

指標	測定内容	重要性
精度	AIの回答の質。	顧客の信頼を築き、エージェントがAIのミスを修正する手間を省きます。
カバレッジ	AIが処理する問い合わせの量。	効率を高め、エージェントの負担を軽減し、コストを削減します。

バランスを間違えた場合の隠れたコスト

精度のみ、あるいはカバレッジのみに焦点を当てることは、ぎこちない顧客体験を生み出すだけでなく、ビジネスにとって深刻な頭痛の種を引き起こします。バランスが崩れたときに何が起こるかを見てみましょう。

高カバレッジ、低精度のAIのリスク

すべてに答えるAIに全面的に頼ることは、ROIへの近道のように聞こえますが、結果はかなり厄介なものになる可能性があります。

まず、「ハルシネーション（幻覚）」の問題があります。一部のAIモデルは、特に適切に制御されていない場合、自信満々に聞こえるがまったくの間違いである回答をすることで知られています。最高のモデルでさえ完璧ではありません。ある調査では、GPT-4 Turboが約2.5%の確率で事実と異なる回答をする可能性があることがわかっています。これは大したことではないように聞こえるかもしれませんが、AIが1,000件の問い合わせを処理するごとに、25人の顧客に誤った情報を与えている可能性があるということです。

これがブランドを毀損する方法です。たった一度のひどいAIチャットで、顧客はあなたへの信頼を失う可能性があります。返金ポリシーに関する誤った回答は、人間からの回答を少し長く待つことよりもはるかに悪い事態です。

そして皮肉なことに、低精度のAIは実際にはチームの仕事を増やすのです。エージェントは困難な問題に取り組む代わりに、AIのミスの後始末をし、不満を抱く顧客に謝罪し、なだめる役割を果たすことになります。これでは自動化の本来の目的がまったく意味をなさなくなります。これを避けるためには、あなたが主導権を握るシステムが必要です。制御不能な「ブラックボックス」ではなく、eesel AIのようなプラットフォームでは、AIにどのナレッジソースを使用するかを正確に指示できるため、あなたが承認した情報からのみ回答を生成するよう徹底できます。

高精度、低カバレッジAIの限界

スペクトルのもう一方の端には、過度に慎重なAIがあります。これは、3つの非常に基本的な質問にしか答えることを許可されていないため、100%正しいAIです。決して間違えることはないかもしれませんが、特に役立つわけでもありません。

私たちは皆、このような「お粗末なボット」体験に出くわしたことがあります。少し複雑な質問をすると、「申し訳ありませんが、それについてはお答えできません。エージェントにお繋ぎします。」と即座に返ってきます。これは本当の意味での自動化ではありません。顧客にとって煩わしいステップを一つ追加する、見栄えの良い障害物にすぎません。

この種のAIの投資収益率はひどいものです。ボットが問い合わせの5%しか自己解決に導けない（デフレクション）のであれば、設定に費やした時間と費用を回収することはまずないでしょう。エージェントの助けにもならず、キューを短縮することもできず、顧客をより幸せにすることもありません。

さらに悪いことに、顧客の仕事を増やしているだけです。彼らはAIを試し、それが失敗し、今度は最初からやり直して人間のエージェントに問題全体を説明し直さなければなりません。このような摩擦は、顧客ロイヤルティを損なう致命的な要因として知られています。

カスタマーサポートにおけるAIの精度とカバレッジのバランスを取る方法

精度とカバレッジの間の緊張関係は、一度きりで解決しなければならない問題ではありません。それは時間をかけて管理していくバランス調整です。重要なのは、それを選択肢として見るのをやめ、プロセスとして捉え始めることです。最善の進め方は、初日から高い精度を確保し、自信がつくにつれてゆっくりと賢くAIのカバレッジを拡大していくことです。

ステップ1：ナレッジを統合して精度から始める

AIは、学習する情報の質によってのみその性能が決まります。精度は偶然生まれるものではなく、信頼できる最新のナレッジをAIに継続的に与えることから生まれます。そして、それを行う最善の方法は、チームのノウハウがすでに存在するすべての場所にAIを接続することです。

本当に内容を理解しているAIは、いくつかの異なる場所から情報を引き出す必要があります：

• ヘルプセンター（Zendesk、Intercomなど）： これは公式の、一般公開されている信頼できる情報源です。承認された回答の出発点となります。

• 社内Wiki（Confluence、Googleドキュメント、Notion）： これらのドキュメントには、エージェントが困難な案件を解決するために使用する詳細な情報や社内プロセスがしばしば含まれています。

• 過去の問い合わせ履歴： これが本物の宝の山です。過去の会話には、あなたの最高のエージェントが実際の顧客の問題を、ブランドのトーンでどのように解決したかを示す何千もの例が詰まっています。

多くのAIツールはヘルプセンターしか参照しないため、その回答はロボットのように感じられることがあります。eesel AIのようなプラットフォームは、すべてのナレッジソースとのワンクリック連携を提供することで、高精度の基盤を簡単に構築できます。ヘルプドキュメント、社内メモ、過去の問い合わせから即座に学習し、最初からあなたのビジネスの全体像を把握することができます。

eesel AIが複数のナレッジソースと連携して回答の高精度を確保する方法を説明するインフォグラフィック。この記事で説明されているカスタマーサポートにおけるAIの精度とカバレッジを理解するのに役立ちます。

ステップ2：自動化の前にテストとシミュレーションを行う

新しいエージェントに、トレーニングや監督なしで顧客対応を始めさせることはないでしょう？では、なぜAIでそれをするのでしょうか？AIが実際の顧客とチャットする前に、安全な環境でその性能を徹底的に試す必要があります。簡単なセールスデモでは不十分です。あなたの実際の過去の問い合わせをどのように処理するかを確認する必要があります。

優れたシミュレーションツールは、以下のことを可能にするべきです：

• 過去の何千ものサポート問い合わせに対してAIを実行する。 これにより、AIの性能を確認するための大規模で現実的なサンプルサイズが得られます。

• AIが各問い合わせにどのように回答したかを正確に表示する。 推測は不要です。完全な、一語一句違わない応答を確認できます。

• 潜在的な自動化率やコスト削減など、期待できる結果の正確な予測を提供する。

• AIがつまずいた質問を示すことで、ナレッジベースのギャップを特定する。

このステップは非常に重要ですが、驚くほど多くのプラットフォームがこれを省略し、基本的に自社製品をあなたのライブ顧客でテストするように求めてきます。これはまた、私たちがeesel AIのシミュレーションモードを構築した大きな理由でもあります。確かなテスト機能を欠くツールとは異なり、私たちのシミュレーションではすべてを自信を持って確認できます。すべての潜在的な応答を確認し、一人の顧客も影響を受ける前に、そのパフォーマンスの明確な予測を得ることができます。数分で自分で設定することさえ可能です。

eesel AIシミュレーションモードのスクリーンショット。本番稼働前にAIのパフォーマンスをテストする方法を示しており、ここで説明されているカスタマーサポートにおけるAIの精度とカバレッジのバランスを取るための重要なステップです。

ステップ3：選択的な自動化で段階的に展開する

堅牢で正確な基盤を構築し、シミュレーションでその有効性を確認したら、いよいよ本番稼働です。しかし、賢明な方法は、スイッチを入れて問い合わせの100%に対してAIをオンにすることではありません。代わりに、ゆっくりと意図的にカバレッジを拡大していくべきです。

小さく始めましょう。AIが非常に信頼性が高いと証明された特定の種類の質問を選ぶのです。例えば、「注文はどこにありますか？」という問い合わせから始めることができます。これらは通常、一般的で単純だからです。特定のトピックを持つ問い合わせのみをAIに処理させ、それ以外はすべて人間に直接送るというルールを作成できます。

これにより、全体のリスクが取り除かれます。頻繁なトピックを自動化することで即座に成果を上げ、エージェントを解放し、AIの価値を示すことができます。その後、そのパフォーマンスを監視し、フィードバックを得て、そのデータを使って次に何を自動化するかを決定します。時間の経過とともにAIのカバレッジを構築していきますが、それは高い精度を維持できると確信できた場合に限ります。このレベルの制御はeesel AIの中核部分であり、AIがどの問い合わせを処理すべきかを正確に選択するための非常に具体的なルールを構築できます。

この画像はeesel AIのカスタマイズルールを示しており、自動化の段階的な展開を可能にします。これは、ここで説明されているカスタマーサポートにおけるAIの精度とカバレッジを管理するための重要な戦術です。

あなたにコントロールを与えるプラットフォームを選ぶ

適切なAIツールは、精度とカバレッジのどちらかを選ばせるのではなく、あなた自身でバランスを管理するための調整機能を提供します。さまざまなプラットフォームを検討する際には、画一的なアプローチにあなたを閉じ込めようとするものではなく、あなたに権限を与えるパートナーを探しましょう。

最新のAIプラットフォームに求めるべき主な機能

これまで話してきたアプローチに基づき、精度とカバレッジをうまく両立させるために必要となる必須機能を以下に示します：

1. 複数ソースのナレッジ統合： 一般公開されている一つのソースだけでなく、ヘルプデスク、Wiki、社内ドキュメント、過去の問い合わせなど、すべてに接続できる必要があります。

2. 強力なシミュレーション： 本番稼働前に、実際の過去の何千もの問い合わせでパフォーマンスをテストできる必要があります。

3. きめ細やかな自動化制御： どの種類の問い合わせを自動化し、どれを人間に回すかを正確に決定する権限が必要です。

4. カスタマイズ可能なAIペルソナとアクション： AIの口調を定義し、Shopifyで注文情報を検索したり、Jiraでチケットを作成したりするなど、実際に何ができるかを定義できるべきです。

5. 実用的なレポート機能： 分析機能は単に数を数えるだけでなく、ナレッジのギャップを指摘し、改善のための明確な方法を示すべきです。

これらは賢いAI戦略の構成要素であり、すべてeesel AIのAIエージェントの中核機能です。

「ブラックボックス」AIと解決単位の課金を避けるべき理由

選択肢を検討しているうちに、注意すべき2つの一般的なモデルに出会う可能性が高いです。

一つ目は**「ブラックボックス」型ソリューション**です。これらは、AIのトレーニング方法やその機能について、あなたにほとんど、あるいはまったく発言権を与えないプラットフォームです。あなたは基本的に彼らの汎用モデルに縛られ、それはあなたのビジネスにとって十分な精度ではないかもしれません。もし不正確な回答を始めたとしても、それに対してできることはほとんどありません。

二つ目は解決単位の課金です。これは良さそうに聞こえるかもしれません。解決したものにだけ支払うのですから。しかし、これはベンダーの目標があなたの目標と相反する状況を作り出します。彼らは、精度を犠牲にしてでも、できるだけ多くの問い合わせを解決して、あなたに大きな請求書を送ることで報酬を得ます。これにより、問い合わせを閉じることに積極的すぎるAIが生まれ、顧客をいらだたせ、チームが後始末をすることになります。また、手に負えなくなる可能性のある予測不可能な請求にもつながります。

これは、eesel AIの透明で予測可能な価格設定とは大きく異なるモデルです。私たちのプランは、AIが閉じた問い合わせの数ではなく、あなたが必要とするキャパシティに基づいています。つまり、想定外の請求はなく、私たちの目標はあなたの目標と一致しています。それは、できる限り最高で最も正確なサポートを提供することです。eesel AIを使えば、完全なコントロールと予測可能なコストが得られるため、AIはベンダーの利益のためではなく、あなたのために働きます。

eesel AIの透明性の高い価格設定ページのスクリーンショット。ベンダーとクライアントの目標を一致させることで、ここで説明されているカスタマーサポートにおけるAIの精度とカバレッジのバランスの取れたアプローチをサポートします。

選ぶのをやめ、コントロールを始める

カスタマーサポートにおけるAIの精度とカバレッジをめぐる議論は、常に誤った二者択一に基づいてきました。スピードのために品質を犠牲にする必要はありません。現代的な考え方は、どちらか一方を選ぶことではなく、あなた自身でバランスを管理するための適切なツールを持ち、主導権を握ることです。

高精度の基盤から始め、チームの既存のすべてのナレッジでAIをトレーニングすることで、初日から信頼を築きます。シミュレーションで徹底的にテストすることで、本番稼働前の不安を取り除きます。そして、カバレッジをゆっくりと慎重に拡大することで、顧客体験を損なうことなく効率をスケールアップできます。

このアプローチは、AIの実装を運任せから、実際に役立つ予測可能なプロジェクトに変えます。顧客が戻ってくる理由である人間品質のサービスを犠牲にすることなく、自動化のスピードと節約を手に入れることができます。

精度とカバレッジを完全にコントロールできるAIプラットフォームの準備ができているなら、**数分でeesel AIを自分でセットアップしてシミュレーションする**ことができます。どれだけの問い合わせを安全かつ正確に自動化できるか、ご自身の目で確かめてください。