AIサポートベンダー評価チェックリスト：30項目と、勝者を決める6項目

TL;DR

AIサポートベンダー評価チェックリストには約30項目ありますが、ベンダー同士を本当に分けるのは6項目だけです：何に対して支払い、何が「解決」に数えられるのか。契約前に自社の過去チケットでテストできるか。すでに使っているヘルプデスクで動くか。段階的に導入できるか。営業電話なしで試せるか。そして、ベンダーが現時点でどんなセキュリティ証跡を保有しているか。残りの24項目は、どのベンダーも「はい」と答えます。

この6項目を各3点、残りを1点にすると、下のスコアカードは引き分けではなく勝者を出し始めます。単独で最も大きい項目は過去チケットでのテストです。全最終候補に、チームがすでに解決した同じチケットを渡し、チームが実際に送った内容と比べて下書きを採点します。eeselはヘルプデスクシミュレーションでこのテストを代行します。最近解決した20件のチケットを対象に、顧客には何も送らず、すでに使っているヘルプデスクの中で実行します。

なぜ多くのAIベンダーのチェックリストは引き分けになるのか？

多くのAIベンダーのチェックリストが引き分けになる理由は単純で、どのベンダーも「はい」と答えられる質問ばかりだからです。「ヘルプデスクと連携できますか？」はい。「多言語に対応していますか？」はい。「人に引き継げますか？」これもはい。40個の「はい」を並べた末に、結局はデモで選ぶことになりますが、デモはプロセス全体の中でベンダーが完全にコントロールしている唯一の部分です。

私はeeselのヘルプデスク連携を自分で作っているので、どのチェックリストでも最も信用しない行は「Zendeskと連携」です。この一行は、「ヘルプセンターを一度読むだけ」から「過去のすべてのチケットを読み、チケットのフィールドに書き込み、人が対応を始めた瞬間に返信をやめる」までのあらゆるものを意味し得ますが、どちらも同じチェックマークが付きます。

チェックリストを長くしても解決しません。解決するのは重み付けされたチェックリストで、各項目が「はい」ではなく証拠を求め、ベンダーを本当に分ける少数の項目をより重く数えます。この記事の残りは、それを組み立てていきます。

項目に入る前にもう一つ。eeselとの営業通話で、月に約7,000件のGorgiasチケットを扱うサプリメントブランドの担当者が、本当の不安をかなりはっきり語っていました。

"I cannot go and check all my 7,000 tickets to see if the AI actually made a good answer, then the point is a little bit gone. I need an AI who is only handling the tickets that it's confident to handle and all the other ones, leave them alone."

これがチェックリストが超えるべき基準です。問いは「このAIは印象的か」ではなく、「すべてのチケットを読まなくても、自分のキューを任せられるか」です。

AIサポートベンダーを分ける6つのチェック項目とは？

これらの項目では、ベンダーの答えが本当に違い、その答えが支払う金額や抱えるリスクの大きさを変えます。どれも公開ドキュメントか短いテストで確認できるので、信じるしかない部分はありません。

1. 何に対して支払い、何が「解決」に数えられるのか？

6項目の中で、最も大きなお金が動くのがこの項目です。同じチケットでも、どこから買うかによって少なくとも5通りの課金のされ方があります。

この表から取り出す価値のあることが2つあります。1つ目は、「解決」は事実ではなく定義であり、ベンダーごとに独自のものを書いているということです。私が読んだ中では、Zendeskのものが最も厳格で、待機期間の後にLLMが会話を再チェックして初めてカウントされます。2つ目は、解決あたりの価格とチケットあたりの価格は、自社の1か月分のボリュームを両方で計算するまで比較できないということです。解決あたりのコストの解説でその計算を順に示しており、ディフレクションと解決の違いでは、ディフレクション率が解決率ではない理由を説明しています。

"Simply entering a flow that tells the customer we're outside business hours can already count as a resolution and incur a cost, even when no generative AI is actually involved. [...] After just 30 days, we had already consumed more than 40% of the automated resolutions included in our plan for the entire year."

u/rafadb on r/Zendesk, Reddit

求める証拠： 課金の1単位と何をもって「解決」とするかを定義したベンダーからの書面の一文。加えて、実際の月間ボリュームでの見積もりと、その2倍での見積もり。

2. 契約前に自社の過去チケットでテストできるか？

どんなデモも、ベンダーが選んだチケットで動きます。過去チケットは、自社の製品、自社のポリシー、そして自社ならではの変わった例外ケースを含む唯一のテストセットです。しかも、チームが送った内容という正解がすでに付いています。

テストの説明は簡単なのに、これを提供するベンダーは驚くほど少数です。チームが最近解決したチケットを、主要トピックにまたがって50件選び、その同じ50件を全最終候補に渡します。各社が返信を下書きし、あなたは各下書きをチームが実際に送った内容と比べて採点します。

各チケットは4つの結果で十分です：正しい、一部正しい、誤り、引き継ぐべきだった。最後の項目は見た目以上に重要です。エスカレーションすべきチケットに自信満々で答えるエージェントは、回答するチケットが少なくても残りをきれいに引き継ぐエージェントより悪いのです。その後、結果をトピック別に分けてください。全体の「82%正しい」は「請求関連で40%正しい」を隠すことがあり、請求はまさに間違いがコストになる領域だからです。

"I haven't had a great experience with the AI support agent. It takes a pretty big effort to train it. Then, I find that most of the responses have an error that I have to apologize for after the handoff. It's probably fine for basic questions like order status [...]"

u/hayyyhoe on r/ecommerce, Reddit

もし1つの項目に最も高い重みを付けるなら、これです。eeselもこの項目を中心に作られました。ヘルプデスクシミュレーションスキルは、チームが最近解決した20件のチケットを取り、それぞれに独自の返信を下書きします。次に、各下書きをチームが送った内容と比較し、結果をテーマ別にまとめ、公開前に直すべき点を一覧にします。顧客には何も送信しません。

このレポートで役に立つのは「20件中17件」ではありません。その下の行です。一致したチケットのおよそ半数は、エージェントが接続されていないバックエンドシステムで、依然として人が何かをする必要がありました。デモではこの種の発見は決して表に出ませんが、署名前にまさに知りたいことです。より広い方法論は、AIエージェントのテストとAIサポートエージェントのテストをご覧ください。

求める証拠： ベンダーが用意したチケットではなく、あなたが提供したチケットでの採点済みの実行結果。契約前にこれができないベンダーには、理由を尋ねるのが妥当です。

3. すでに使っているヘルプデスクで動くか？

AIエージェントの中には特定のヘルプデスクの一機能であるものもあれば、たまたま使っているヘルプデスクの上に乗るものもあります。欲しいAIが、使っていないヘルプデスクでしか動かないなら、本当のプロジェクトはヘルプデスクの移行です。チェックリストは初日にそれを明記すべきです。

• Freddy AI AgentはFreshdeskのプランの一部として提供され、同じようにZendesk AIエージェントはZendeskの一部です。
• Gorgias AI AgentにはShopifyストアの接続が必要です。GorgiasはBigCommerce、Magento、WooCommerceを使うストアでは未対応とも明記しています。
• AgentforceはSalesforce上で動き、そのサービス料金は、すでにSalesforceの顧客であることを前提に作られています。
• Adaのプラットフォームページには、SalesforceやFreshworksなどのヘルプデスクとの接続が載っています。DecagonとSierraも独立したプラットフォームなので、それぞれがどのヘルプデスクにネイティブで書き戻せるかを確認する価値があります。
• eeselはすでにお使いのヘルプデスクの中で動き、Zendesk、Freshdesk、Gorgias、Front、HubSpotなどに対応しています。接続の典型例はFront連携をご覧ください。

「で動く」にも深さがあり、ここで連携を作る立場としての私の偏りが出ます。何を読むのか（ヘルプセンターだけか、過去チケットやマクロも含むか）、何を書くのか（返信、社内メモ、タグ、チケットフィールド）、そして人が先に返信したときにどう振る舞うのかを尋ねてください。ClutchLoopはGorgias上でeeselを使い、Shopifyで最新の価格と在庫を照会しています。そこでは、すでに人がチケットに対応している場合、エージェントはすぐに身を引きます。この最後の挙動はデモでは見えませんが、本番では非常にはっきり見えます。

求める証拠： エージェントがあなたのヘルプデスクで何を読み、何を書くのか、そしてチームメイトがすでにそのチケットを担当しているときに何をするのかを書面にした一覧。

4. 段階的に導入できるか？

最も安全な導入は、まず下書き、次に下書きが正しかったトピックで送信、その後にトピックを増やす、という順序です。初日にフルライブにしかできないベンダーは、ミスを捕まえるステップを飛ばすよう求めているのです。

ここで確認する価値のあること：

• 下書きのみのモード。 エージェントは返信を、人が送るための社内メモとして残せますか？ smavaはZendesk上で大規模にこの形で運用しており、1か月に15,300件の返信下書きを用意していますが、eeselが顧客向けに完成した返信を自動で送ることはありません。
• トピックとチャネルの制限。 Original Bootcampにはフィルターがあり、eeselはウェブサイトと過去チケットから答えられるFreshdeskのチケットにだけ応答します。予約に関わるものはすべて人に回ります。
• アクションの承認。 注文のキャンセルのような元に戻せないアクションでは、Gorgiasは顧客の確認を自動でオンにします。eeselでは、どのアクションでも設定して人の承認を待たせることができます。
• オフスイッチ。 エージェントをどれだけ早く一時停止でき、ベンダーにサポートチケットを出さずにそれができるのはチームの誰ですか？

"the AI will immediately show you gaps and issues in your knowledge base and/or website (if you connect a crawler). You'd be amazed at how many outdated pages it will find and suddenly bring to light..... [...] Choose one annoying use case and automate that. Then go to the next."

u/ABeautifulWreck on r/Zendesk, Reddit

引き継ぎ側の詳細は、AIエージェントの引き継ぎのベストプラクティスをご覧ください。

求める証拠： スライドではなく、サンドボックスまたはトライアルで、下書きのみのモードとトピック制限が動いているところ、さらに承認ステップを実際に見ること。

5. 価格が見え、営業電話なしで試せるか？

これは製品そのものより、ベンダーの売り方に関わります。見積もりのみでデモ主導のベンダーが劣った製品を作っているわけではありませんが、評価に時間がかかり、価格は気持ちが入り込んでから届きます。

• Ada、Decagon、Sierraは価格を公開しておらず、公開のセルフサービストライアルもありません（Decagonの料金の解説で実際の様子がわかります）。Adaのデモページには、専門家によるレビューとカスタムデモ、その後に自社の数字でのビジネスケースが示されています。
• Agentforceは$0のSalesforce Foundationsを出発点として掲げており、そのFlex CreditsレートカードではHelp Agentの解決がサンドボックスでは0クレジットで、テストに役立ちます。
• Freddy AI Agentの最初の500セッションはFreshdeskのプランに含まれます。
• eeselには、カード不要で100クレジットの無料プランがあり、すべての機能と連携が含まれます。

調達チームが控える大規模で複雑なキューであれば、営業主導のベンダーがまさに適している場合もあります。しかし、月末までに決めたい6人のチームなら、自分でオンにできるベンダーは何週間も節約してくれます。

求める証拠： 自社のボリュームでの書面の価格と、自社のヘルプデスクでのトライアル。どちらも2回目のミーティングまでに。

6. ベンダーは現時点でどんなセキュリティ証跡を持っているか？

どのベンダーも「エンタープライズ級のセキュリティ」と言うので、差は文書に現れます。計画中のものではなく、現時点で保有しているものを尋ね、バッジではなくレポートを求めてください。

eeselの行ははっきり載せています。SOC 2 Type IIの観察期間は2026年10月1日に始まり、レポートは監査後の2027年初めに出ます。セキュリティチームが今日の時点で完成したSOC 2レポートを必須とするなら、この項目でeeselの評価を当面低くする正当な理由であり、妥当な理由でもあります。必要なのがDPA、BAA、モデル学習についての署名入りの回答であれば、それらはすでに今日存在します。

セキュリティの質問の全体は、それだけで1つのリストに値する長さなので、AIベンダーのセキュリティチェックリストを書きました。規制対象のケースには、SOC 2とGDPRのガイドとHIPAA準拠のAIがあります。

求める証拠： NDAの下でのレポートまたは証明書そのものとDPA、加えて学習と保持についての書面回答。

AIサポートベンダー評価チェックリスト全体

6つの領域にまたがる30項目のスコアカード全体です。各領域の最初の項目（★付き）は上の6項目の1つで3点、残りは1点です。ベンダーが実際に見せてくれたものだけにチェックを入れ、約束されたものには入れないでください。採点は1社ずつ、間にリセットを挟んで行います。

重み付けについて一言。重みが均等だから、40項目のスプレッドシートは引き分けに終わります。4社がそれぞれ36個のボックスにチェックを入れ、また振り出しのデモ選びに戻るからです。6つの★項目を3倍にすれば、難しいことを証明するベンダーが、簡単なことをすべて満たすベンダーに勝ちます。それが望む結果です。

状況に合わせて重みを変えるのも問題ありません。医療や金融のチームなら、セキュリティの★は3点ではなく関門（証拠がなければ契約しない）として機能させるべきです。GorgiasのShopifyブランドは、そこでの誤答がプラットフォームの乗り換えを意味するため、ヘルプデスクの★を重く見るべきです。

主要なAIサポートベンダーは6項目でどう比較されるか？

以下は、このカテゴリーで最もよく名前が挙がるベンダーが6つの★項目でどこに位置するかを、各社が公表している情報だけに基づいて示したものです。ベンダーが答えを公開していない場合は、推測せずセルにそのまま書いています。

この表はスコアカードと同じように読んでください。ただし、全列で勝つベンダーはいません。エンタープライズ向けのプラットフォームは認証リストが最も充実しており、営業を通じて販売されます。ヘルプデスクネイティブのエージェントは、そのヘルプデスクをすでに使っているならオンにするのが簡単ですが、使っていないなら移行になります。eeselが強いのは、過去チケットでのテスト、チケット単位の定額、そして今お使いのヘルプデスクで動くことです。一方、現時点の弱点は完成したSOC 2レポートがないことです。市場をより広く見たい方は、AIカスタマーサポートツールの比較記事がより多くの名前を扱っています。

3週間で評価を進めるには？

中規模のチームなら3週間で十分です。ただしチェックリストに重み付けがあり、全ベンダーが同じテストを受けることが条件です。それ以上かかる場合は、たいてい全社が同じに見えるチェックリストの上で、1社が抜きん出るのを待っている状態です。

1. 1週目：公開情報から候補を絞る。 各ベンダー自身の料金、ドキュメント、トラストページを使って、課金、ヘルプデスク、セキュリティの★項目を埋めます。課金の項目に書面で答えられないベンダーは脱落させ、最終候補は2〜3社を目指します。
2. 2週目：過去チケットでの対決。 主要トピックにまたがる最近解決した50件のチケットを選び、ポリシー上必要なら個人情報を除いたうえで、同じセットを全最終候補に渡します。各下書きを、正しい、一部正しい、誤り、引き継ぐべきだった、の4区分でトピック別に採点します。
3. 3週目：勝者との段階的パイロット。 最もボリュームのある簡単なトピックで下書きのみのモードをオンにし、チームが修正なしで送った下書きの数を追跡します。判断には私のAIサポートのパイロット用スコアカードの数値を使い、セットアップにはパイロットガイドを使ってください。

Qontroは、3週目がうまくいくとどうなるかをよく示しています。Freshdeskの新しいチケットすべてに、9,800件の過去チケットとヘルプ記事に基づく、顧客向けに完成した下書きが社内メモとして付き、サポート担当者がそれを読んで、正しい場合に送信します。チームは外れた下書きも、ヘルプセンターの不足を見つけるために使っています。間違った回答の使い道として、これはほとんどの使い方よりも優れています。

AIサポートベンダーを評価するとき、チームはどんな間違いをするのか？

これらの間違いの多くは同じ根から生まれます。評価を機能比較として扱っているのに、実際には自社のチケットでの振る舞いのテストだということです。

• デモを採点する。 デモは、ベンダーが選んだチケットでの、ベンダーにとって最高の10分間です。代わりに自社のチケットを採点してください。
• ベンダー間で見出しの解決率を比べる。 各ベンダーが「解決」を独自に定義しているため、一方の60%ともう一方の60%は同じ数字ではありません。代わりに、同じチケットでの下書きを比べてください。正直な見方はAIサポートのROIの測り方にあります。
• 「引き継ぐべきだった」の列を無視する。 すべてに答えるエージェントは、対決では素晴らしく見え、その後、本番で最悪のチケットを生みます。きれいな引き継ぎを評価してください。注意点はハルシネーション防止のガイドで扱っています。
• 今日のボリュームだけで価格を見る。 ボリュームが2倍のときの見積もりを求め、超過ルールも読んでください。良いAI導入は、AIが最終的に扱う量を増やすからです。
• セキュリティを最後に回す。 セキュリティの★は1週目に入れてください。4週目になって、ベンダーのレポートがまだ進行中だったり、BAAに上位プランが必要だったりすると、プロセス全体がやり直しになります。

eeselをヘルプデスクのAIチームメイトとして試す

候補リストを作っているなら、eeselは、誰かと話す前に2番目の項目を通せる1社です。ヘルプデスクを接続し、チームがすでに解決した20件のチケットでヘルプデスクシミュレーションを実行すれば、どこでチームと一致し、どこで外したか、何を直すべきかを、顧客に何も送らずに読めます。すでにお使いのヘルプデスク（Zendeskを含む）の中で動き、スレッドがどれだけ長く続いても、チケット1件につき1クレジットで課金されます。

SamCartのようなチームは、Freshdeskのチケット用とウェブサイトのチャット用に別々のエージェントを運用し、どちらもチームメイトがチケットを引き取った時点で止まります。無料プランはカード不要で100クレジット、有料プランは500クレジットで月額$299からです。eeselを試して、自社のチケットで採点してみてください。