要点
AIカスタマーサポートエージェントは、ベンダーのデモではなく、自社の過去チケットで試して選びましょう。どのデモも良く見えます。違いが出るのは自社のキューです。ツール間の差が最も大きいチェックは2つ、リリース前にどうテストできるか、そして実際に何に課金されるかです。
課金について：「解決」の意味はほぼすべてのベンダーで異なります。ZendeskはAIが検証した解決にのみ課金するようになり、Gorgiasは72時間以内に人の返信がなかったものをすべて数え、Freshdeskは解決の有無にかかわらずセッションに課金し、Ada、Decagon、Sierraは価格をまったく公開していません。解決ごとの課金は、パイロット時には最も安く見えますが、エージェントが良くなるほど高くなります。
すでに使っているヘルプデスクに接続でき、最初に実力を証明するエージェントがほしいなら、eeselは過去チケット数百件を再生し、各回答をチームが実際に送った内容と照らして採点します。課金は対応チケットあたりの定額プランです。100クレジットで無料で試せます。
なぜデモはAIサポートエージェントを評価する最悪の場なのか
私はeeselで毎日サポートキューを担当していますが、チームがAIエージェントを評価する様子を見て学んだのは、デモが自社のチケットでの結果をほとんど予測しないということです。デモはベンダーが選んだ整った質問で動きます。自社のキューには、書きかけのメール、一度に3つのことを聞く顧客、先週の火曜に変わったばかりのポリシーがあります。
実例を挙げます。eeselが月間約1,000チケットのジュエリーECストアでエージェントを試したとき、見出しの数字は素晴らしいものでした。トリアージ精度93%、下書きの88%が正しい方向でした。ところが、担当者がそのまま送信した下書きはわずか12%でした。書き直しの約65%は事実ではなく長さとトーンのためで、AIが明らかに間違っていたのは約5%にすぎません。「精度」という単一の数字では、これらの発見がすべて隠れていたでしょう。
この差こそ、AIサポートの指標が営業資料よりも重要な理由です。コンタクトセンターAIで10年の経験を持つ実務者は、正直な基準線を率直に述べています。
「問題は、ベンダーが企業に対して、AIでカスタマーサービス担当者の仕事の80〜90%（真顔を保てるなら100%さえも）をなくせると言っていることで、それはナンセンスだ。」
同じ投稿者の大まかな基準線は、受信コンタクトの約30%が自己解決されるというものでした。自社の数字はもっと高いかもしれず、それを上回るチームも多いですが、自社のキューで試さなければわかりません。以下の7つのチェックは、契約前に各ベンダーに自社のチケットで証明させるという1つの考えに基づいています。
ステップ1：デモの前に1段落のブリーフを書く
通話を1本予約する前に、自社にとっての「良い」が何かを書き出しましょう。「サポートを自動化する」ではなく、目標と引き継ぎのルールです。eeselとの営業通話で、あるサポートマネージャーはブリーフを1文で表現しました。「受信するZendeskチケットの60%を処理でき、より良い分析と解決のために本物の人に引き継ぐべきタイミングがわかるもの」がほしいというものです。
これは優れたブリーフです。あらゆる評価に必要な2つの要素が入っているからです。カバー率の目標は何を測るかを示し、引き継ぎのルールは失敗がどんな形かを示します。月7,000チケットを扱う別のCXリーダーは、後半のほうが前半より重要だとeeselに語りました。
「自信を持って対応できるチケットだけを扱い、それ以外は放っておくAIが必要です。」
ブリーフは次の点に答えるべきです。
- どのトピックをエージェントに任せるか。注文状況、パスワードのリセット、請求に関する質問が最初に来ることが多いです。1か月分のチケットを取り出して繰り返しの質問にタグを付けます。やり方は私のチケットトリアージガイドで紹介しています。
- どのチャネルか：メール、チャット、SNS、音声？
- 何を言うだけでなく何を実行してよいか：注文の照会、返金、住所変更？
- いつ止まって人に引き継ぐか、そして人が何を受け取るべきか。
- 月にいくら払うか。繁忙期の最悪のケースで。
このブリーフをすべてのデモに持ち込み、ベンダーに自社の条件で答えさせましょう。使わない機能に話が流れるのも防げます。
ステップ2：エージェントをどこに置くか決める
最初の分岐点は、ヘルプデスクがすでに販売しているAIエージェントを買うか、独立したプラットフォームにするか、今あるヘルプデスクに接続するレイヤーにするかです。この決定は、エージェントが何から学ぶか、どうテストするか、乗り換えられるかという、他のすべての上限を静かに決めます。
| 選択肢 | 例 | 置き場所 | 過去チケットから学習？ | セットアップ |
|---|---|---|---|---|
| ヘルプデスク標準搭載 | Zendesk AI agents, Gorgias AI Agent, Freddy AI | そのヘルプデスク内のみ | いいえ、主にヘルプセンターとドキュメント | セルフサービス、ヘルプデスクの管理画面で |
| 独立したエンタープライズ向けプラットフォーム | Ada, Decagon, Sierra | ヘルプデスクの前面に置き、そこへ引き継ぐ | 一部、過去の会話をテストや記事の下書きの元にする | ベンダー主導、まずデモ |
| 既存のヘルプデスク上のレイヤー | eesel | Zendesk、Freshdesk、Gorgias、Front、HubSpotなどの内部 | はい、フル接続の場合 | セルフサービス |
標準搭載のエージェントは最も抵抗の少ない道であり、それは本物の強みです。Gorgiasを使い、Shopifyで販売しているなら、Gorgias AI Agentは追加設定なしで注文のキャンセル、配送先住所の編集、再発送ができます。トレードオフは、そこでしか動かないことです。Gorgiasのドキュメントには「Gorgiasに接続されたShopifyストアで使用できる」とあり、5点満点の評価をつけたCapterraのレビュー投稿者も「完全な機能はShopifyのみ」と指摘していました（Frank A., Capterra）。
DecagonとSierraの比較にあるような独立型プラットフォームは、ベンダーのチームと一緒に作り込みたい大規模チームに向いています。Sierra自身の製品ページは「エージェント開発の専門チーム」との協業を売りにし、「数週間で導入」とうたっています（Sierra）。エンタープライズ規模では良い選択ですが、担当者3人とZendeskアカウント1つの規模ではプロセスが重すぎます。
標準搭載をデフォルトにする前に、もう1つ聞いておきたい事例があります。米国のヘルスケアプラットフォームのCXリーダーは、Zendesk標準のAIを試し、得られる効果に対して高すぎると判断してeeselに来ました。1チームの話で、満足している他のチームも多くいますが、だからこそ標準搭載のエージェントも、安全な既定の選択として扱うのではなく、他と同じテストにかけるべきだと私は考えます。Zendesk AIの代替とFreddyの代替の比較記事でさらに詳しく解説しています。
ステップ3：何から学習するかを確認する
AIエージェントは、読むものの質がすべてです。ほとんどのエージェントは、ヘルプセンター、サイトのクロール、アップロードしたファイルから学習します。チームの回答の仕方を実際に表している解決済みチケットから学習するものは、はるかに少数です。
その違いはドキュメントに表れます。Gorgiasは自社のFAQで直接答えています。「AI Agentは私のマクロを使いますか？いいえ」（Gorgias）。Zendeskのナレッジソースのページには、ヘルプセンターと外部ソースが挙げられていますが、過去チケットはありません（Zendesk）。FreshdeskのFreddyは「URL、ファイル、ソリューション記事、カスタムQ&A、外部アプリ」から学習し（Freshdesk）、解決済みチケットはテスト入力としてしか登場しません。
なぜ重要か：修正の65%がトーンと長さだった先ほどの試験を思い出してください。これこそ、チームが送った返信を読み込むエージェントが解決してくれる部分です。eeselの共同創業者Amoghは、ほぼすべての営業通話でこれを耳にします。
「それと、過去チケットでの学習がまた出ましたね。定番です。みんな本当に、本当に、本当に過去チケットで学習させたがるんです。」
エージェントが何を読むにせよ、内容は最新でなければなりません。このRedditのコメントは、私が見た中で最も明確な警告です。
「ナレッジベースが8か月更新されていなかったせいで、ボットが自信満々に間違った回答をするのを見たことがある。顧客はただ悪い回答をもらっただけではない。悪い回答を即座にもらったのだ。」
すべてのベンダーに2つ聞いてください。過去チケットとマクロを読めるか、そして本当のポリシーがある社内ドキュメント（Confluence、Notion、Google Docs）を読めるか。その上で、試験の後ではなく前にナレッジベースを点検しましょう。古い記事は、私が見るAIのハルシネーションの最も一般的な原因です。
ステップ4：自社の過去チケットで試す
これはツール間の差が最も大きいチェックであり、多くの購入者が飛ばすものです。どのベンダーも本番前のテストはできますが、「テスト」が意味するものは3つの大きく異なる方法があります。
自分で書く質問の問題は、思いついたことしかテストできない点です。シミュレーション顧客の問題は、AIが顧客を作り出すため、テストの現実味がジェネレーターの質に左右される点です。実際のチケットを再生することは、「正解」がすでにチームが送った内容である唯一の方法です。
各ベンダーのドキュメントがテストをどう説明しているかを示します。
| ベンダー | 本番前のテスト方法 | 何と照らして採点 |
|---|---|---|
| Zendesk | プレビューチャットに加え、自分で書いたシナリオを架空のデータで実行する会話シミュレーター（早期アクセス、メッセージングのみ） | 自社の解決率の推定 |
| Gorgias | Playgroundのプレビューチャット。既存チケット1件ずつ再実行可能 | 会話ごとの自分の判断 |
| Freshdesk Freddy | チャットでは1回につき最大100件の手書きまたはAI生成のクエリ。メールでは1回につき最大50件の解決済みチケットをインポート | 回答済み、未回答、エラー |
| Ada | 手書きのテストケース、1日最大3,000回のシミュレーション | テストごとの合格または不合格 |
| Decagon | AI生成のモック顧客。アップロードしたトランスクリプトから生成可能 | テストごとの合格または不合格 |
| Sierra | AI生成のモックユーザーを、2つ目のAIが採点 | AI審査員 |
| eesel | 解決済みチケットをバッチで再生 | チームが実際に返信した内容 |
Zendeskのシミュレーターは、手書きシナリオ方式の好例です。ヘルプ記事には「作成したシナリオに基づいて現実的な会話を生成する」とあり、「架空のデータでのテスト用に設計されている」と付け加えています（Zendesk）。フローの回帰テストには役立ちますが、推定される解決率は自分が想像したシナリオから出たものです。
Freddyの一括テストは手早く実行でき、メールエージェントの解決済みチケットのインポート機能は現実にぐっと近づけてくれます。落とし穴は採点です。各クエリは「Answered」「Unanswered」「Error」で返ってきます（Freshdesk）。回答済みのチケットでも、間違っていることはあります。
もう1つ注意すべき罠があります。テストによっては本物のアクションが実行されます。Adaのドキュメントによると、シミュレーションの「アクションはモックされず」「本番システムに対して実行される」とあり（Ada）、Gorgiasも、テストのアクションは「実際の顧客・注文データ（注文のキャンセルなど）に影響しうる」と警告しています（Gorgias）。テストでアクションを有効にする前に、架空の顧客プロフィールを使いましょう。
過去チケットの再生とはどんなものか
これはすべてのベンダーに対応を求めたい方法なので、eeselでの様子をご紹介します。チャットでエージェントにシミュレーションを依頼すると、解決済みチケットを取り出してバッチで処理し、チームが実際に送った内容とどれだけ一致したかをトピックごとに報告します（eeselドキュメント）。
ドキュメントの例では、20件中17件が一致しました。より有益なのはその裏にある発見です。下書きは正しかったのに、一致したチケットの半分は、まだ誰も接続していないバックエンドの操作を人が実行する必要がありました。デモでは決して得られない購入の判断材料です。
どのツールを選ぶにせよ、試験では少なくとも4つを採点してください。トリアージ精度、そのまま送信された下書き、事実誤り、正しいエスカレーションです。応答時間も計りましょう。eeselが話を聞いたある購入者は、67件のテストによる綿密な評価を行い、回答は堅実だと判断しましたが、それでもチャットウィジェットが遅くて固まるため見送りました。
ステップ5：好きになる前に課金単位を読む
後悔が最も多いのがここです。チームは一番気に入ったエージェントを選び、最初の請求書で初めて「解決」の意味を知ります。
各ベンダーが実際に何に課金するかを、各社自身の言葉で示します。
| ベンダー | 課金単位 | 定義 | 定価 | 未解決でも課金？ |
|---|---|---|---|---|
| Zendesk | 検証済みの自動解決 | LLMが「会話のテキストを評価し、顧客のリクエストが満足に解決されたことを確認する」 | コミット1.50ドル、従量課金2.00ドル（料金）、エージェントごとの無料枠の後 | いいえ |
| Gorgias | 自動対応、加えてチケット料金 | 顧客が「72時間以内に人間のエージェントの関与を必要としない」 | プランにより1件0.85〜1.00ドル | チケット料金はあり、自動化料金はなし |
| Freshdesk | セッション | チャット：24時間以内のすべて。メール：72時間の枠 | 100セッションあたり49ドル、500セッション無料（1回のみ） | はい |
| Ada | 非公開 | Adaは「結果にかかわらず」会話ごとの課金を主張 | デモのみ | 不明 |
| Decagon | 会話ごと（大半の顧客）または解決ごと | 「受信する会話ごとの固定料金」 | デモのみ | はい（会話ごとの場合） |
| Sierra | 合意した成果 | 「会話が未解決なら、ほとんどの場合、料金はかからない」 | デモのみ | ほぼなし |
| eesel | 対応したチケットまたはチャット | 「チケットまたはチャットは、長さを問わず1クレジット」 | 500件で月299ドル、5,000件で最大1,749ドル | はい（ただしスパムとスキップしたチケットは対象外） |
公平を期して言えば、Zendeskは2026年5月18日にモデルを変更しました。解決のティアでは、「Assisted escalation」と「Contained resolution」は無料枠にカウントされず、解決が「Verified」ティアに到達するのはLLMのチェックを通過した後のみです。これは、解決ごとの課金が始まった当初にZendeskユーザーが挙げた不満に応えるものです。
「完全にゴミw 以前は無料だったものが今ではARとしてカウントされる。ARの大半は放棄されたチャットだ。異議申し立てのプロセスもない。」
このコメントは2024年のものです。古いアカウントは移行されるまで旧方式のままの可能性があるため、自社がどちらかを確認してください。解決ごとの課金を売るベンダーでさえ、定義が曖昧であることを認めています。Decagonのプロダクトディレクター自身がこう書いています。「『解決』とは何かをめぐって争う状況には、決して陥りたくない」（Decagon）。
より大きな問題は、各モデルがどうスケールするかです。下の計算機で試してみてください。ボリュームを自社のキューに合わせ、解決率を上げていきます。
AIが月2,000件の会話を処理する場合、エージェントが良くなるにつれて状況は逆転します。
| 解決率 | Zendesk（1.50ドル/解決） | Gorgias（0.90ドル/対応） | Freshdesk（0.49ドル/セッション） | eesel（2,000クレジットプラン） |
|---|---|---|---|---|
| 20%（初期パイロット） | 600ドル | 360ドル | 980ドル | 849ドル |
| 50% | 1,500ドル | 900ドル | 980ドル | 849ドル |
| 70%（成熟期） | 2,100ドル | 1,260ドル | 980ドル | 849ドル |
解決ごとの課金モデルは、エージェントが最も未熟なときにまさに最安になります。だからといってそうしたツールを除外する理由にはなりません。機能するエージェントにも対価を払っているからです。契約前に繁忙月をシミュレーションし、ベンダーの解決件数にスパムや放棄されたチャットが含まれているかを尋ねる理由になります。計算の詳細は、私の解決あたりのコストの解説と、Zendesk AIの料金およびFreddy AIの料金のガイドをご覧ください。
G2のGorgiasのレビュー投稿者は、繁忙期の問題をずばり指摘しました。
「注文量が増え、顧客からの問い合わせが増えるにつれて、コストは予測や予算化が難しい形で急速に膨らむ。年末年始のような繁忙期にサポート量が急増すると、コストは短期間で大幅に増えうる。」
ステップ6：何ができるか、何がそれを止めるかを確認する
質問に答えるのは仕事の半分です。残り半分は実行すること：注文の照会、商品の返金、チケットのフィールド更新です。そして実行できるアクションごとに、対応するブレーキが必要です。
アクションについては、各ベンダーで次の3点を確認してください。
- 自社の環境で、すぐに動くか？ GorgiasのShopifyアクションは、Shopifyがすでに接続されていれば追加手順は不要です。Zendeskの注文照会と返金は、自社システムに対するAPI連携やアクションフローの構築が必要です（Zendesk）。
- 制限はあるか？ Adaは既定で「AI Agentあたり、顧客向けの有効なAPIツールは5つまで」とし、その機能は「組織のサブスクリプションパッケージに含まれていない場合がある」と記しています（Ada）。
- 誰が作るのか？ Sierraは、複雑なワークフローや連携には「依然としてコードが必要」と述べています（Sierra）。エンジニアに余裕があれば問題ありませんが、なければ障害になります。
テストは簡単です。試験中にテスト注文でアクションを実行させ、返信だけでなく元のシステムで結果を確認します。Redditのある開発者は、「テキストの回答は完璧に見えた」のに、間違ったユーザーのアカウントからデータを取得していたエージェントについて述べています（u/properwomanhood_292, Reddit）。
ガードレールについては、3点を探してください。第一に、アクションごとの承認です。eeselでは、各アクションを自動実行、事前確認、オフのいずれかに設定でき、ドキュメントは「返金、キャンセル、お金がかかるものは承認の後ろに置く」ことを推奨しています（eeselドキュメント）。第二に、トピック単位の制御です。GorgiasのAIカバレッジページでは、各インテントを「AI allowed」または「Handover」に設定できます（Gorgias）。第三に、トランスクリプトの丸投げではなく文脈を渡す人への引き継ぎです。
最後の点は、思っている以上に重要です。
「生のトランスクリプトを丸投げする代わりに、構造化された引き継ぎ要約を強制することで解決した（自動化そのものより多くの時間を節約できた）。自己解決されたものはCSATは問題なく、ボットの失敗後に戻ってきたものは軒並みCSATが急落した」
エスカレーションのトリガーも自社のチケットで確認してください。Redditのあるサポートリーダーは、最初のルール「請求関連、または特定のキーワードが出たらエスカレーション」は、「人が実際に必要だった状況の半分くらい」を取りこぼしたと語っています（u/Salt-Question8632, Reddit）。うまくいくパターンは、私のエスカレーショントリガーのガイドで解説しています。
ステップ7：段階的に展開し、それができるツールを選ぶ
最後のチェックは製品ではなく展開についてですが、どの製品を買うかに影響するはずです。監督付きで始め、1トピックずつ自律性を獲得していけるツールが望ましいのです。
営業通話を通じたAmoghの見立ては、まずコパイロット、次に完全なAIというのが、ほぼ全員が望むパターンだということです。返信下書きモードで始め、信頼できたら完全自動に切り替えます。Redditのサポートリーダーも、運用者の立場から同じことを述べていました。
「私が見た中で最も安全な展開は、エージェントに下書きさせ、確信度と理由をタグ付けし、返金やアカウント変更は承認を必須にして、最初の1か月は再オープンされたすべての会話をレビューすることだ。そのレビューログこそ、本当の自動化の境界が見えてくる場所であることが多い。」
そこで各ベンダーに尋ねましょう。下書きを社内メモとして投稿し、担当者が承認できるか？ 1つのトピックまたは1つのチャネルだけでオンにできるか？ 1日に送信する返信数に上限を設けられるか？ Freshdeskのメールエージェントにはまさにその上限があり、「制御された展開に有用」とされています（Freshdesk）。最初に下書きにすることで、証拠を集める間もチームがAIコパイロットを使えるため、試験は入力の手間の削減で元が取れます。
すべてのベンダーに聞くべき質問
これをすべてのデモに持っていきましょう。ベンダーが1つでも明確に答えられなければ、それが答えです。
| 質問 | なぜ重要か |
|---|---|
| 本番前に自社の過去チケットで試せますか？ | 手書きのシナリオは、思いついたことしかテストできない |
| そのテストでは何と照らして採点されますか？ | 「回答済み」は「正解」と同じではない |
| 解決済みチケットとマクロから学習しますか？ | チームのトーンと本当のポリシーがそこにある |
| 課金単位として正確には何を数えますか？ | 「解決」の意味はほぼすべてのベンダーで異なる |
| 最も忙しい月の請求額はどうなりますか？ | エージェントが良くなるほど、解決ごとのコストは上がる |
| 解決の件数にスパムや放棄されたチャットは含まれますか？ | 請求額と報告される解決率の両方を水増しする |
| エンジニアリングなしで、自社の環境で動くアクションはどれですか？ | デモ環境は自社の環境ではない |
| 下書きのみ、トピック別、返金は承認付きで動かせますか？ | 段階的な展開が公の場での失敗を避ける方法 |
| 引き継ぎの際、人は何を受け取りますか？ | 悪い引き継ぎは、節約する以上のエージェントの時間を消費する |
| 現在のヘルプデスクの内部で動きますか？ | AIエージェントのためにヘルプデスクを乗り換えるのは、大きな隠れたコスト |
これらの質問を当てはめる、すぐ使える候補リストが必要なら、私のAIサポートエージェントの比較記事とサポート自動化ツールの一覧をご覧ください。
チームがよくやる間違い
- 1つの数字だけで判断する。 ベンダーの解決率や自社の「精度」は、実態を隠します。自己解決率、AIのCSAT、再オープンされたチケットを並べて追跡しましょう。Hacker Newsのある投稿者が述べたように、経営陣は「AIサービスエージェントが質問の80%にうまく対応したという指標を目にするかもしれないが、残りの20%がどれほど有害かには気づいていない」のです（cortesoft, Hacker News）。
- 価格より先にテストする。 eeselが関わったあるトライアルユーザーは、12件のテストチャットで素晴らしい結果を見たのに、請求ページを見た途端に解約を申し出ました。先にコストをモデル化し、それからテストしましょう。
- できないことについてボットに自信を持たせてしまう。 G2のレビュー投稿者は、Adaが一度「実際には実行できないアクション（例：注文のキャンセル）」を提案したと指摘し、コーチングで直ったと付け加えています（G2）。約束してよい範囲の境界をテストしましょう。
- 引き継ぎテストを飛ばす。 自己解決されたチケットはダッシュボード上では良く見えますが、戻ってきたチケットでCSATは下がります。
- AIエージェントのために新しいヘルプデスクを買う。 もともと乗り換える予定でない限り、エージェントのためだけにツールを移行するのは、自動化の最も高くつく方法です。まず、現在のZendesk、Freshdesk、Gorgiasの環境で動く選択肢を検討してください。
ヘルプデスクでeeselを試す
今まさにAIカスタマーサポートエージェントを選んでいるなら、eeselのAIヘルプデスクチームメイトは、ここまでのチェックを軸に作られています。すでに使っているヘルプデスク（Zendesk、Freshdesk、Gorgias、Front、HubSpot、Help Scout、Salesforceなど）に参加し、フル接続で過去チケットとマクロから学習し、解決済みチケットでシミュレーションを実行します。顧客が返信を見る前に、チームと一致する点と一致しない点がわかります。返金は承認付きの下書きモードで始まり、トピックごとに範囲を広げていきます。
Gridwiseはトライアル後にこう述べています。「最初の月で、eeselは当社のティア1リクエストの73%を解決しています。」料金は対応チケットあたりの定額プランで、500チケットで月299ドルから、シート料金なし、スパムは対象外です。無料プランでは100クレジットが付き、まず自社のチケットで実際の下書きを確認できます。
eeselを無料で試すか、デモを予約して、ブリーフを持ってきてください。