Kustomerの品質保証(AI QA):会話の採点方法、費用、確認すべき点

Rama Adi
執筆者

Rama Adi

Katelin Teen
レビュー者

Katelin Teen

最終更新 2026年11月22日

専門家による検証済み
ヘッドセットを着けたサポートエージェントがノートパソコンの前に座り、同僚がチャット、メール、電話のアイコンが並ぶ会話の受信箱を指している様子を描いた手描きイラスト。横には青い図形の上にKustomerの笑顔のチャットロゴ
TL;DR

Kustomerの品質保証(AI QA)は2026年10月14日にリリースされ、人間が対応したかAIエージェントが対応したかを問わず、すべての終了会話を、あなたが平易な言葉で書いた重み付きスコアカードに沿って採点し、各スコアの横にその根拠を示します。EnterpriseとUltimateでは1回の実行につき0.05ドルのアドオンであり、Kustomerは何が1回の実行に当たるかを明示していないため、切り替える前に自社の量で計算してみる必要があります。Gorgias Auto QAとは異なり、自分で基準を書けるため、自社ポリシーに沿って回答を確認することが手の届く範囲にあります。残る問いは信頼で、最も低いスコアを読み、手動で修正することが大切です。eeselにはKustomer連携がないため、Kustomerを使うならネイティブ機能を使い、Zendesk、Freshdesk、Gorgias、Help Scoutのキューにはeeselを取っておくのが良いでしょう。eesel CLIを使えば、AIコーディングエージェントがeeselにQAルーブリックを書き込み、何かを本番に出す前にサンプルチケットでテストできますが、ヘルプデスク接続には依然として管理者の承認が必要です。

Kustomerの品質保証とは何ですか?

Kustomerの品質保証は、会話を自動で確認する機能です。AI QAのページで、Kustomerは「あなたが定義したスコアカードに沿って、すべてのAIエージェントの会話とすべての人間の担当者の会話を自動で採点する」としており、AIの根拠が各スコアに添えられます。これはConversation Intelligenceとともに2026年10月のリリースで登場しました。

訴求点はカバー率です。CSAT調査は回答する2〜3%の顧客からしか話を聞けません。これはKustomerのCEO、ブラッド・バーンバウムがリリースのプレスリリースで使う数字で、手動の品質保証はその上にさらに小さなサンプルを読むだけです。終了した会話をすべて採点することは、どのリーダーも手作業ではできない部分です。私はeeselのプロダクト側で働いているので、自社の機能を読むときと同じ目線でこれを読みました。何を採点するのか、何が必要なのか、費用はいくらか、ドキュメントが省いている点は何か。

Kustomerの品質保証カードは48%のスコアを示し、根拠として注文がアドレス変更の対象であることを確認せずにエージェントが「完了したとお考えください!」と言ったことが挙げられている
Kustomer AI QAのページに示されているように、すべてのスコアにその理由が添えられます。

Kustomer AI QAは何を採点しますか?

あなたが書く基準を、それぞれの重みに沿って採点します。Kustomerのリリース記事によれば、基準は「平易な言葉」で定義し、それぞれに重みを割り当て、1つのスコアカードがAIエージェントと人間の担当者の両方をカバーするため、2つのルーブリックを維持する必要はありません。

Kustomerの例はこのような形を示しています。

  • AIエージェント向け: 手順の遵守、解決、引き継ぎの質。上記の48%の例は、エージェントが注文の対象資格を確認せずにアドレス変更を確認したため、完全な解決の点を失いました。
  • 人間の担当者向け: 同じルーブリックに、基準ごとの合格または不合格の根拠が付きます。Kustomerのページにあるサンプルのスコアカードは、4つの基準にそれぞれ25%の重みを付けています(資格のある初回対応、完全な理解、完全な解決、明確なコミュニケーション)。評価カテゴリーはExcellent、Acceptable、Poorなどです。
  • 引き継ぎ向け: この記事では、会話全体が1つの単位として採点され、AIから人間への引き継ぎがどう進んだかも含まれるとしています。
Kustomerのスコアカードビルダーは4つの基準にそれぞれ25%の重みを付け、評価カテゴリーはExcellent 100、Acceptable 60、Poor 0
重みと評価カテゴリーは自分で書きます。Kustomer AI QAのページに示されている通りです。

これは、GorgiasのAI品質保証についての私のノートを読んでいただくと分かる、重要な違いです。Gorgiasは7つの基準を固定し、AIにそのうち3つを採点させます。Kustomerはルーブリック自体を書かせてくれるので、「返金を約束する前にエージェントが対象資格を確認したか」という行を追加できます。Kustomerのブログはまた、評価が「あなた自身のナレッジベース、ポリシー、手順に根ざしている」としていますが、ナレッジベースがどのようにスコアカードに結び付くかはページでは詳しく説明されていません。

スコアはどのように作られ、その後どうなりますか?

会話が終了すると、AI QAはあなたの重み付き基準に沿って採点し、スコアは通常のフィールドとして保存されます。Kustomerの10月のプロダクトアップデートによれば、スコアは「通常の属性」であり、レポートやData Explorerに反映され、人間かAIかを問わず最も低いスコアの会話を絞り込むことができます。

終了した会話が重み付き基準を経て48%のスコアと理由に至り、そこから管理者への通知や手順の更新につながる流れを描いた手描きの図
終了した会話から修正まで。Kustomerが説明する、AIエージェントの低いスコアに対する流れです。

リリース記事では2つの対応策が示されています。AIエージェントの低いスコアは管理者に通知するワークフローを発火させることができ、根拠はエージェントがどのステップでつまずいたかを示すため、指示を書き直せます。担当者の異常に高いスコアはマネージャーに通知でき、その会話が研修例になります。どちらも自分で構築するワークフローに依存します。

KustomerでAI QAをどう設定しますか?

設定は短く、Kustomerのページでは4つの手順で説明されています。これはプロダクトアップデートからの情報で、AI QA自体についての段階的なヘルプ記事は見つけられませんでした。

  1. 事前設定済みのフィールドをオンにする。 Kustomerは、用意済みのAI QAフィールドが「ワンクリックでオンになる」としています。
  2. 自社の基準に合わせて編集する。 各基準を平易な言葉で書き、重みを付けます。
  3. 実行するタイミングを選ぶ。 フィールドが実行するよう設定されると、終了したすべての会話が採点されます。
  4. 抜き取りで確認し、修正する。 管理者はどのスコアでも手動で上書きでき、記事は修正した値が「次にそのフィールドが実行されたときに黙って上書きされることはない」としています。

品質スコア以上のもの、たとえば問い合わせ理由や注文番号をフィールドに抽出したい場合は、姉妹機能であるConversation Intelligenceが該当します。KustomerのAI属性に関するヘルプ記事では、3つの属性タイプが挙げられています。Classifier、Score、Extractorです。Kustomer AIの感情分析に関する私のノートではその1つの構築方法を取り上げており、KustomerでのAI設定方法はAI設定の残りの部分を扱っています。

Kustomer AI QAの料金はいくらですか?

AI QAは使用量に応じて課金されます。Kustomerの料金詳細ページ(2026年11月22日時点で確認)では、現行のEnterpriseとUltimateプラン向けのアドオンとして次のように掲載されています。

項目EnterpriseUltimate旧プラン
AI QA1回の実行につき0.05ドル(1クレジットあたり20回の実行)1回の実行につき0.05ドル(1クレジットあたり20回の実行)掲載なし
Conversation Intelligence1回の実行につき0.02ドル(1クレジットあたり50回)1回の実行につき0.02ドル(1クレジットあたり50回)掲載なし
Sentiment Tracking含む含む含む
プラットフォーム料金「販売チームにお問い合わせください」「販売チームにお問い合わせください」「販売チームにお問い合わせください」
EnterpriseとUltimateにおける3層構造を描いた手描きの図。Sentimentは含まれ、Conversation Intelligenceは1回0.02ドル、AI QAは1回0.05ドル
同じプランの上に3つの層。上の2つだけが使用量に応じて課金されます。

Kustomerは「実行」を定義していません。1回の実行が1件の採点された会話を意味するなら、コストの見積もりは簡単です。複数の基準を持つスコアカードが複数回としてカウントされるなら、そう簡単ではありません。下の見積もりを試し、Kustomerが契約内でその単位を確認するまでは下限として扱ってください。

月に終了する会話は何件ですか?
月100ドル
実行回数2,000
1クレジット20回で換算100クレジット
月400ドル
実行回数8,000
1クレジット20回で換算400クレジット
月1,000ドル
実行回数20,000
1クレジット20回で換算1,000クレジット
月2,500ドル
実行回数50,000
1クレジット20回で換算2,500クレジット
終了した会話1件につき1回の実行、従量課金の0.05ドルで計算した場合の想定です。Kustomerはクレジットの価格も実行の定義も明示しておらず、この見積もりはプラットフォーム料金を含みません。

月に8,000件の会話を終了するチームなら、AI QAだけで月に約400ドルです。これに加えて、併用するConversation Intelligenceの各属性に1回0.02ドルがかかります。Kustomerの料金はプラットフォーム側を扱っており、チケットあたりのコストの比較はこの数字を文脈に置きます。

Kustomerがドキュメント化していない点は何ですか?

Kustomerのページはアイデアについては具体的ですが、制限については薄いです。Kustomerのどのページにも見つけられなかった点は次の通りです。

  • 実行とは何か。 0.05ドルの料率と「1クレジットあたり20回の実行」しか記載がありません。
  • 誰が購入できるか。 プロダクトアップデートでは、Conversation Intelligenceが「既存顧客向けの有料アドオン」として利用可能だとしていますが、新規顧客向けのAI QAの提供状況には触れていません。アカウントチームに確認してください。
  • 対象となるチャネル。 ページは「会話」としか言わず、電話やソーシャルなどのオムニチャネルチャネルは列挙されていません。
  • 採点スケール。 プロダクトアップデートはConversation Intelligenceのスコアについては0から100を文書化していますが、AI QA専用のものではありません。スクリーンショットはパーセンテージを示しています。
  • 精度。 公開された精度の数値や独立したテストはありません。カバー率の主張(「100%」)はKustomer自身によるものです。
  • 自動不合格ルール。 リリースに関するプレスのまとめがこれに触れています。Kustomer自身のAI QAページでは見つけられなかったため、これを前提に計画は立てないほうがよいでしょう。

これらはいずれも、この機能を見送る理由にはなりません。デモで尋ねるべき質問のリストです。

AI QAのスコアをどう信頼しますか?

信頼は、おかしく見えるスコアを読むことで得られます。理由付きのAIスコアは異議を唱えられるもので、裸の数字より明らかに優れており、Kustomerの修正はそのまま保持されます。リスクは曖昧な基準です。「良いトーン」を何が良いかを言わなければ、モデルはあなたの最高のレビュアーのように採点できません。

手描きのループ図。AIが終了したチャットをすべて採点し、あなたが最も低いスコアを読み、手動で修正し、曖昧な基準を書き直し、信頼が育つ様子
最初の1か月で実行するキャリブレーションのループです。

最初の1か月でやるべきこと:

  1. 3〜5個の基準から始める。 それぞれを、トランスクリプトの中で指し示せる具体的なもの、たとえば「変更を約束する前に注文の対象資格を確認した」に結び付けます。
  2. 毎週、最も低い20件と無作為な20件のスコアを読む。 同意できないものはすべて修正します。
  3. 意見の不一致を引き起こした基準を書き直す。 サポートQAキャリブレーションとこのQAフィードバックの例が文言の参考になります。
  4. 本当のCSAT調査を続ける。 AI QAはあなたの対応ぶりを判定し、顧客は結果を判定します。両者は食い違うこともあります。
  5. 結果を見る。スコアだけではなく。 誰かをスコアだけで指導する前に、QAの傾向を初回対応解決率やエスカレーションと比較してください。

サポートにおけるAI品質保証はAIエージェントをリリースの前後でどう評価するかを扱っており、AIによるサポートQAは人間側を扱っています。Kustomer自身のエージェントを使っているなら、Kustomer AIとKustomer AIのデフレクションに関する私のノートが、それが何を担当するかを説明しています。

Kustomer以外でKustomerの会話にQAを行えますか?

はい、コネクタ経由でできます。そしてこれは、eeselが一歩引いて正直に言うべき場面です。Kustomerは自社の連携ページでサードパーティのQAツールを挙げています。

  • Scorebuddy は、自社のAI QA評価のために「Kustomerからのやり取りを自動で同期する」としています。
  • Intryc は、設定には「適切な権限を持つAPIキーとあなたのKustomerドメイン」が必要だとしており、Kustomerのページによれば最大100%の会話を分析できると主張しています。これらは公開された精度データのないベンダー側の主張です。
  • Solidroad もKustomerの掲載ページを持っています。

このトレードオフは、顧客との会話を保持するベンダーが1社増えることであり、これはあなたのセキュリティレビューで必ず問われます。私のサポートQAツールまとめはこれらを比較しており、サポートQAに最適なAIや最適なAI QAアシスタントのリストはさらに幅広く扱っています。

eeselにはKustomer連携がないため、Kustomerに対してはこれらの選択肢の1つではありません。主張を引き伸ばすより、そう言うほうがよいと思います。eeselが合うのは、キューがZendesk、Freshdesk、Gorgias、Help Scoutにあるチームです。そこでは、eeselがスケジュールに沿って動作し、終了したチケットをすべて読み、あなたが平易な言葉で書いたルーブリックに沿って採点し、その理由を内部メモとして残します。これはKustomerのネイティブ機能と同じアイデアを、それを持たないヘルプデスクで実現するものです。

eeselはQAをより上流にも動かします。SaunaSpaceでは、eeselが約1,550ページのページ、記事、過去のチケットから、落ち着いた率直なブランドボイスでGorgiasの返信を作成しており、常に人間が送信します。1か月で110件の会話にわたって180件の返信案を作成しました。あなたのボイスで書かれた下書きは、後からの修正が少なくて済むため、どのQAにも引っかかる部分が減ります。

Kustomer AI QAは導入する価値がありますか?

すでにEnterpriseかUltimateにいるチームなら、はい、ただし先に予算を確認してください。設計はしっかりしています。自分の基準、各スコアの理由、人間とAIエージエントの両方をカバーする1つのルーブリック、保持される修正、そしてレポートや自動化に使える普通のフィールドとしてのスコア。これは2〜3%のチケットを手作業で抜き取るよりも優れています。

私の見解:1つのキューでオンにし、Kustomerが別の案を示すまでは終了した会話1件につき0.05ドルで計算し、自分で読んでいないスコアで誰かを指導しないことです。ルーブリックがポリシー文書など、ページがどう供給すればよいか説明していない事実に依存するなら、まずすでに悪いと分かっている会話をいくつかテストしてください。そして、QAも含めてヘルプデスクを比較しているなら、私のKustomerレビュー、エンタープライズ向けの視点、Kustomerの代替ツールもご覧ください。

Kustomerの先にあるQAにeeselを試す

サポートの一部がAI品質保証を持たないヘルプデスクで動いているなら、eeselのようなAIヘルプデスクチームメイトは、毎朝あなたのルーブリックに沿って終了したチケットを確認し、見落としにタグを付け、リーダー向けの要約を投稿できます。単独で何をしてよいかはあなたが決め、各アクションはアクションと承認で実行する、先に確認する、オフのいずれかに設定できます。1週間分の終了チケットでeeselを試し、その所見を自分のレビューと比較してください。

eeselの新しいスケジュールジョブのフォームには、各実行でエージェントが何をするかを書くプロンプト欄があり、毎日午前9:00が選択されている
前日に終了したチケットを毎日確認するのは、eeselにおける1つのスケジュールです。

よくある質問

Kustomerに品質保証機能はありますか?
はい。Kustomerは2026年10月にAI QAをリリースしました。人間が対応した会話もAIエージェントが対応した会話も、すべての終了会話を、あなたが平易な言葉で書いた重み付きスコアカードに沿って採点し、その根拠を示します。サポートにおけるAI品質保証では、AI QAが一般的にどう機能するかを解説しています。
Kustomer AI QAの料金はいくらですか?
Kustomerの料金詳細ページでは、AI QAはEnterpriseとUltimate向けのアドオンとして1回の実行につき0.05ドル、または1クレジットあたり20回の実行として掲載されています。何が1回の実行に当たるかは定義されておらず、プラットフォーム料金も公開されていません。Kustomerの料金でプランを解説しています。
Kustomerで自分のQA基準を書けますか?
はい。Kustomerは、基準を平易な言葉で定義し、それぞれに重みを付けられるとしており、1つのスコアカードが人間の担当者とAIエージェントの両方をカバーするとしています。サポートQAキャリブレーションは、採点が一貫するように基準の書き方を助けます。
Kustomer AI QAのスコアを修正できますか?
はい。管理者はどのスコアでも手動で上書きでき、Kustomerは修正した値が次にそのフィールドが実行されたときに黙って上書きされることはないとしています。これを使ってスコアカードをキャリブレーションしましょう。文言にはQAフィードバックの例が役立ちます。
Kustomer AI QAは自社のAIエージェントも採点しますか?
はい。Kustomerは、AI QAがAIエージェントの会話すべてを、手順の遵守、解決、引き継ぎの質を含めて採点するとしています。Kustomer AIでは、このエージェントが何を担当するかを説明しています。
Kustomer AI QAはConversation Intelligenceと同じですか?
いいえ。Conversation Intelligenceは、問い合わせ理由や注文番号などの詳細を分類、採点、抽出するもので、1回の実行につき0.02ドルです。AI QAは会話の対応ぶりを評価するもので、1回0.05ドルです。Kustomer AIの感情分析では属性の設定方法を示しています。
Kustomerと連携するサードパーティのQAツールはどれですか?
Kustomerは自社の連携ページでScorebuddy、Intryc、Solidroadを挙げています。Scorebuddyは自社のAI QA評価のためにKustomerのやり取りを自動で同期し、IntrycはAPIキーとあなたのKustomerドメインが必要です。比較はカスタマーサポートQAツールを参照してください。
eeselはKustomerの会話に品質保証を行えますか?
現時点ではできません。eeselにはKustomer連携がありません。Zendesk、Freshdesk、Gorgias、Help Scoutのキューであれば、eeselがスケジュールに沿って終了チケットを確認し、あなたが平易な言葉で書いたルーブリックに沿って採点できます。GorgiasのAI品質保証がそのパターンを示しています。

Share this article