Freshdesk Freddy AIを使って2025年にボットの知識ギャップを評価する方法

新しいAIボットを導入したものの、それがうまく機能しないのを見るほどのフラストレーションはありません。時間をかけ、ナレッジベースに接続し、スイッチを入れたのに、奇妙で役に立たない、あるいは全く間違った答えを返すという声が聞こえてくる。これは典型的な「ガベージイン、ガベージアウト」（ゴミを入れればゴミしか出てこない）のシナリオであり、AIが役立つために必要な情報を持っていないことの確かな兆候です。

これらのナレッジギャップを見つけて埋めることは、AIのパフォーマンスを向上させるためにできる最も重要なことです。これにより、顧客をいら立たせるボットが、実際に役立つボットへと変わります。

このガイドでは、Freshdesk Freddy AI内のツールを使い、ボットのナレッジギャップを評価する方法を具体的に解説します。Freshdeskが提供するネイティブ機能を取り上げますが、さらに何千もの実際の顧客からの質問に対してAIのパフォーマンスをシミュレーションすることで、はるかに良い結果を得るための高度な手法についても掘り下げていきます。

はじめに準備するもの

本題に入る前に、手元に準備しておくべきものを簡単に確認しましょう。このプロセス全体は、Freshdeskの設定内で特定の機能にアクセスできることが前提となります。

• Freshdeskアカウント: Freddy AI Agentにアクセスするには、ProまたはEnterpriseプランを利用している必要があります。

• Freddy AI Agentアドオン: これは有料機能です。Freshdeskの価格は「セッション」に基づいており、パックで購入します。参考までに、1,000セッションで約100ドルです。

• 管理者アクセス: Freddy AIの設定や分析機能を操作するには、Freshdeskアカウントの管理者である必要があります。

• 既存のナレッジベース: Freddy AIボットがFreshdeskのソリューション記事に接続されている必要があります。これにより、私たちが確認するための知識の出発点が与えられます。

Freshdeskのツールでナレッジギャップを見つける方法

Freshworksは、Freddy AIボットがどこで不足しているかを特定するのに役立つ機能をいくつか構築しています。その核心は、分析データを掘り下げ、組み込みの自己テストツールを使って弱点を特定することにあります。

その方法は以下の通りです。

1. Freddy AI Agentの分析ダッシュボードにアクセスする

まず、ボットが実際に現場でどのように機能しているかを確認する必要があります。Freshdeskの管理者パネルに移動し、Freddyの分析セクションを見つけます。このダッシュボードには、ナレッジギャップを示唆する主要な統計情報が表示されます。

次のような指標に注意してください：

• 解決率: ボットが単独で解決したチャットはいくつありますか？この数値が低い場合、それは大きな危険信号です。

• 役に立たなかった回答: ユーザーが手動でボットの回答が役に立たなかったとクリックした回数を追跡します。

• 未回答の質問: ボットが対応できず、エスカレーションしなければならなかったすべての問い合わせが表示されます。これらは、まさに銀の皿に乗せられた、最も明白なナレッジギャップです。

Freshdesk Freddy AIを使ってボットのナレッジギャップを評価するために使用される、Freshdeskの分析ダッシュボードのスクリーンショット。

2. 「自己評価」機能でボットをテストする

Freshdeskには、Freddyが自身の知識を自己テストする機能があります。これはFreddy AI Agentの設定で見つけることができます。これを開始すると、Freddyはヘルプ記事に基づいて関連性があると思われる質問のリストを作成し、それにどう答えるかを表示します。

これは、明白ないくつかの穴を見つけるのに適した方法です。たとえば、返品ポリシーに関する記事はあるが、交換に関する記事がない場合、自己評価で交換について質問されて失敗し、ドキュメントの明確なギャップが示されるかもしれません。

Freshdeskの自動チケットシステム内のFreddy AIアシスタント。Freshdesk Freddy AIを使ってボットのナレッジギャップを評価するのに役立ちます。

3. 「役に立たなかった」および「未回答」の返信を掘り下げる

正直なところ、最高のフィードバックはユーザーから直接得られます。分析ダッシュボードは、ボットの失敗を2つの有用なカテゴリに分類します：

• 役に立たなかった回答: これらは純金のようなものです。顧客がわざわざ「これは役に立たなかった」と伝えてくれたのです。これらを一つずつ調べてください。答えは技術的には正しかったが、ただ紛らわしかったのでしょうか？それとも完全に間違っていたのでしょうか？これにより、どの記事を書き直す必要があるかがわかります。

• 未回答の質問: これはFreddyが完全にお手上げになったケースです。このリストは、基本的に新しいナレッジベース記事のToDoリストです。もし10人以上の人が注文の追跡方法を尋ねてボットが答えられなかったなら、次にどの記事を書くべきかは明白です。

4. ソリューション記事を手動で追加または更新する

レポートや自己テストからギャップを見つけたら、最後のステップは実際にそれを修正することです。この部分はすべて手作業です。Freshdeskのナレッジベースにアクセスし、新しいソリューション記事を書くか、既存の記事を編集する必要があります。

見つけた個別のギャップごとに、焦点を絞った新しい記事を1つ作成するのが良い習慣です。これで、ナレッジギャップを見つけて修正するためのFreddyのネイティブなプロセスは完了です。

Freshdeskのネイティブ評価ツールの限界

上記の手順に従うことで、間違いなくいくつかの改善が見られるでしょう。しかし、サポートチケットのかなりの部分を自動化しようとしている場合、このアプローチではすぐに壁にぶつかる可能性があります。

• シミュレーションされた質問は本当の質問ではない: Freddyが自己テストするのは、学生が自分で試験問題を作成するようなものです。カリキュラムに既にあることしかテストできません。実際の顧客が助けを求める際の、乱雑で、奇妙で、全く予期しない方法を模倣することはできません。スラングを使ったり、スペルを間違えたり、発生したばかりの新しいバグについて質問したりはしません。

• 1つのナレッジソースしか参照しない: Freddyは、ほとんどの場合、公式のFreshdeskナレッジベースしか参照できません。しかし、会社の中で本当の答えがどこにあるかを考えてみてください。多くの場合、それらはGoogleドキュメントやConfluenceのページ、あるいは古いサポートチケットの解決メモに埋もれています。Freddyはそれらのいずれも見ることができず、大きな死角が残ります。

• 事後的であり、事前的ではない: プロセス全体が、顧客の前でAIが失敗するのを待つ（「未回答」の応答が得られる）か、手動でテストを実行することに基づいています。ボットが顧客と一度も話す前に、何千もの現実世界のシナリオでどのように機能するかについての真の予測を提供してはくれません。

ナレッジギャップを見つけるためのより良い方法

Freddyのツールは第一歩ですが、より効果的な解決策は、大規模なテストと深い知識の統合のために特別に構築されたプラットフォームです。推測する代わりに、AIがどのように機能し、どこでつまずくかを、ライブにする前に正確に示してくれるツールを使用できます。

何千もの実際の過去のチケットに対してテストする

ここでeesel AIのようなツールが真価を発揮します。AIに独自の質問を作成させる代わりに、eesel AIの強力なシミュレーションモードは、実際の過去の何千ものFreshdeskチケットに対してAIを実行します。

実際の顧客の質問を取り込み、AIがどのように答えたかを正確に示します。これにより、真の自動化の可能性について驚くほど正確な全体像が得られ、知識がどこで弱いかが即座にわかります。もはや推測ではなく、自分たちの過去の履歴を究極のカンニングペーパーとして使用するのです。

すべての知識を、どこにあっても接続する

多くの場合、「ナレッジギャップ」は全くギャップではありません。情報はそこにあるのですが、AIが見ることを許可されている1つの場所にないだけです。

eesel AIは100以上のソースと接続できるため、ヘルプセンターだけでなく、あらゆるものに接続できます。Googleドキュメント、Confluence、Notion、さらには過去のサポートチケットのテキストからも知識を取り込みます。これにより、AIは考えられるすべての答えにアクセスできるようになり、答えに窮する回数が大幅に減少します。

AIにギャップの自動的な穴埋めを任せる

ナレッジギャップの修正は、純粋に手作業であるべきではありません。シミュレーションを実行した後、AIが処理できなかった質問の明確なレポートが得られます。eesel AIを使えば、さらに一歩進むことができます。

プラットフォームは、成功した人間の解決策から**ナレッジベース記事の下書きを自動的に生成**できます。エージェントがAIには解決できなかった難しい問題を解決した場合、eesel AIはその会話にフラグを立て、エージェントの応答に基づいて記事の下書きを作成します。これにより、実績のある解決策でナレッジベースを常に改善し、チームの努力を何度も再利用できるものに変えることができます。

Freshdesk内でeesel AIのコパイロットが返信を下書きしている例。Freshdesk Freddy AIを使ってボットのナレッジギャップを評価する際に見つかった問題を、手動で修正する代わりの方法を示しています。

比較: Freshdesk Freddy AI vs. eesel AI

機能	Freshdesk Freddy AI	eesel AI
テスト方法	自己生成の質問	何千もの実際の過去のチケットでシミュレーション
現実性	低い（AIが自己テスト）	高い（実際の顧客の問題に基づく）
ナレッジソース	主にFreshdeskの記事	Freshdesk、Confluence、Googleドキュメント、過去のチケットなど
ギャップの特定	レポートの手動レビュー	特定のギャップと傾向を強調する自動レポート
稼働開始時の信頼度	中程度	高い（正確なパフォーマンス予測あり）

推測をやめ、シミュレーションを始めよう

結局のところ、ナレッジギャップを見つけて修正することが、実際に機能するAIサポートボットを構築する唯一の方法です。組み込みのFreshdesk Freddy AIでボットのナレッジギャップを評価する機能は、始めるための基本的なツールを提供しますが、その自己テストとサイロ化されたナレッジソースでは、できることには限りがあります。問題の先手を打つのではなく、問題に対応することにほとんどの時間を費やすことになります。

より現代的で効果的なアプローチは、自社の過去のデータに対してAIのパフォーマンスをシミュレーションし、会社のすべての知識を一つにまとめることです。これが、顧客に安心して任せられるAIエージェントを構築する方法です。火消し作業から脱却し、事前的でデータ駆動型のアプローチを採用する時が来ています。

次のステップへ

あなたの真の自動化ポテンシャルが何かを見てみる準備はできましたか？eesel AIを使って、過去のチケットで無料かつリスクなしのシミュレーションを実行しましょう。数分で稼働を開始でき、どれだけのチケットを自動化できるかの正確な予測と、埋める必要のあるナレッジギャップに関する明確なレポートを得ることができます。