Help ScoutのAI品質保証: 何を測り、残りをどう評価するか

Rama Adi
執筆者

Rama Adi

Katelin Teen
レビュー者

Katelin Teen

最終更新 2026年11月21日

専門家による検証済み
クリップボードに青いチェックマークが3つ並んだ様子を持つ、笑顔のサポートリーダーの手描きイラスト。2つのチャットバブル、ノートパソコン、青い背景のHelp Scoutロゴが並ぶ
TL;DR

Help ScoutにはAI QAスコアカードがありません。チームの会話を正確さ、トーン、プロセスの観点で評価する機能はなく、あるのは顧客評価と、AIエージェントが各チャットを解決できたかどうかのレポートです。QAリーダーが得られるのは、各返信への顧客自身の評価(Great、Okay、Not Goodで、Happinessスコアに集計される)、各AI会話をResolved、Unresolved、またはエスカレーションとマークするScoutレポート、そしてHelp ScoutのMCPサーバー経由でのClaudeやChatGPTの読み取り専用アクセスです。つまりHelp Scoutは、評価をクリックした顧客がどう感じたかを教えてくれますが、「ポリシー通りの回答だったか」はあなた次第です。これは、毎週手作業でサンプルを評価すること、MCP経由で会話を読むAIアシスタント、あるいはeeselのようなAIチームメイトでカバーできます。eeselは、あなたが書いたルーブリックに沿ってクローズした会話をすべて評価し、その理由を社内メモに残します。Claude Codeのようなコーディングエージェントなら、そのルーブリックをeeselに書き込み、eesel CLIでスケジュールを設定できますが、接続の承認はHelp Scout管理者が行う必要があります。

Help ScoutにAI品質保証はありますか?

スコアカードとしてはありません。私はeeselの連携機能を作っているので、マーケティング文の裏で各機能が実際に何をするのかをヘルプデスクのドキュメントで確認します。Help ScoutのAI機能ページには、Scout(AIエージェント)、AI Drafts、AI Summarize、AI Assist、Topics、MCPサーバーが載っています。どれも、チームが対応した会話を品質保証の基準に沿って評価するものではありません。

これは、Help Scoutが自社のAIを「can be used to improve support」という形で説明していること、つまりチケットの削減を軸にしていないことと一致します。これはまた、返信が正確だったかを知りたいサポートリーダーは、自分でその材料を組み合わせる必要があるということでもあります。各要素が測るものは次の通りです。

Help Scoutの機能プランQAリーダーに分かること分からないこと
Happiness評価Standardはレポートを2年保持、PlusとProはアカウントの存続期間中評価をクリックした顧客がどう感じたか誰も評価しなかった返信については何も分からない
ScoutレポートScoutはStandard、Plus、Proで利用可能、resolution単位で課金どのAI会話が解決・未解決・人への引き渡しになったか解決した回答が正しかったかどうかは分からない
AI AssistStandard、Plus、Pro返信を送信する前にスペルと文法を修正し、トーンを調整する送信後に何かを評価することはない
TopicsPlusとPro顧客がどんなテーマで問い合わせているかチームの対応がどれほど良かったかは分からない
MCPサーバーStandard、Plus、Pro(レポートツールにはPlusかProが必要)自分のAIアシスタントが会話やレポートを読めるようにするメモやタグを書き戻すことはできない
Help Scoutが提供するもの(Happiness評価、Scoutレポート、低評価を浮かび上がらせるビュー、送信前にスペルを直すAI Assist、読み取り専用のMCPアクセス)と、提供していないもの(QAスコアカード、会話へのレビュアーのスコア、あなたが書く基準)を2列で示す手描きの図。評価はクリックした顧客からのものだという注記付き
信号はたくさんあるが、自分で会話を評価する場所はない。

Help ScoutのHappiness評価は何を教えてくれますか?

顧客がある返信をどう感じたかを、顧客自身の言葉で教えてくれます。Settings、Inboxes、Satisfaction Ratingsの順に進み、受信箱ごとに満足度評価をオンにすると、それ以降、各メール返信に評価リンクが付くようになります。顧客はGreat、Okay、Not Goodのいずれかを選び、コメントを追加できます。

受けたサポートの評価を尋ねるHelp Scoutの評価ページ。GreatがOkayとNot Goodより選択され、コメント欄とSendボタンがある
1件の返信に1クリック、コメントは任意。Help Scoutの評価ドキュメントより。

これを品質の指標として読むつもりなら、次のルールが重要です。

  • すべての返信が評価対象になります。 エージェントが5件の返信を送れば、顧客は5件すべてを、それぞれ1回評価できます。
  • 期間は10日間です。 顧客は返信後10日間、評価したり評価を変更したりできます。評価は削除できません。
  • スコアはネットの数字です。 HappinessレポートはGreat、Okay、Not Goodの割合を示し、HappinessスコアはGreatの割合からNot Goodの割合を引いたもので、NPSとよく似た方法で計算されます。
  • 評価は返信の日付でカウントされ、 顧客がクリックした日付ではないため、先週の数字が今も動くことがあります。Happinessレポートの日付についての私の記事で、週次レビューへの影響を扱っています。
  • 各エージェントは自分専用のタブを持ちます。 Companyレポートを開き、次にUserレポートを開くと、一人分の評価が見られます。
Help ScoutのHappinessレポートが、Great 67パーセント、Okay 33パーセント、Not Good 0パーセントを示し、顧客の23パーセントからの3件の評価に基づくHappinessスコア67を表示している
顧客の23%からの3件の評価。Help ScoutのHappinessレポートドキュメントより。

そのスクリーンショットの小さな注記を見てください。顧客の23%からの3件の評価です。これが評価をQAとして使う限界です。CSATアンケート全般と同じで、クリックする手間をかけた顧客の声しか聞けません。自信満々だが間違った返金回答を受け取った顧客は、返金が届かないまでGreatと評価してしまうこともあります。評価は返信がどう感じられたかを示しますが、その返信があなたのポリシーに従っていたかどうかは示しません。そのギャップを埋めようとしているのがAI CSAT系のツールです。

それでも評価はレビューの出発点として悪くありません。2026年5月以降、Help Scoutのviewsは会話内で起きたことでフィルタできるようになったので、"spot low-rated interactions that need follow-up"ができ、評価が来るとワークフローでリーダーにメール通知することもできます。顧客がどう感じているかをもっと知りたいなら、Help Scoutのセンチメント分析についての記事でさらに踏み込んでいます。

Help ScoutでScoutのAI回答をどうチェックしますか?

ReportsからScoutに進み、Scoutレポートを使います。Scoutはいわば Help ScoutのAIエージェント(実際に費用が発生する製品名はEnvoyで、1 resolutionあたり0.75ドル)で、レポートはScoutが関わった各会話を次の3グループに分けます。

  • Resolved: Scoutが回答し、顧客はそれ以上の助けが必要だと言わなかった。
  • Unresolved: 顧客がそれ以上の助けが必要だと言った、またはScoutが対象外のためエスカレーションしたが、顧客から連絡はなかった。
  • Human Escalation: 会話がチームに引き渡された。

各Beacon(Help Scoutのチャットウィジェット)には独自のレポートがあり、顧客の最初の質問、resolution、セッションの終わり方、評価、Topicを示すセッション一覧があります。Help ScoutのScoutのベストプラクティスでは、resolutionで並び替え、顧客が助けを得られなかった会話を読み、Scoutがもっと良く答えるべきだった箇所にImprovementを追加するよう勧めています。Account OwnerとAdministratorは、Scoutが失敗した時に確認したソースも見ることができます。

これはAIの見落としに対する妥当なレビューのループです。ただ、"Resolved"の意味に注意してください。顧客が最後の回答のあとに追加の助けを求めなかった、というだけです。これは同時に、Help Scoutが1件のresolutionとして課金するタイミングでもあります。顧客が信じてしまった誤った回答もResolvedとしてカウントされるため、失敗例だけでなく解決済みセッションのサンプルも読む価値があります。AIのcontainmentとエスカレーションの測定で、この落とし穴をさらに詳しく扱っています。

Help ScoutでQAを行うコストはどれくらいですか?

プラン料金に追加費用はありません。評価、Happinessレポート、Scoutレポートに追加料金はかかりません。プランによって変わるのは、レポートがどこまで遡れるか、どのAIツールが使えるかです。2026年11月21日に確認したHelp Scoutの料金ページによると:

プラン1ユーザーあたり、年払い月払いQAにとって重要な点
Free0ドル0ドル最大5ユーザー、"No AI tools included"
Standard25ドル30ドル過去2年分のHappinessレポート、AI Assist、レポートツールなしのMCPアクセス
Plus45ドル54ドル存続期間中のレポート、Topics、AI Drafts、MCPレポートツール
Pro75ドル90ドルPlusの全機能、最低10ユーザー
Envoy(アドオン)1 resolutionあたり0.75ドル翌月後払いで課金ScoutとそのScoutレポート

8人のチームがPlusを使う場合、年払いで月360ドルになり、Envoyのresolution分も支払っていればScoutレポートが含まれます。Help Scoutの料金についての私の記事で、各プランの残りの詳細を扱っています。

QAスコアカードに必要で、Help Scoutが任せてくるものは何ですか?

多くのQAスコアカード(参考としてスコアカードの基準の例)は、Help Scoutが決して評価しない3つを確認します。回答がポリシー通りに正しかったか、エージェントがプロセス(タグ、保存済み返信、エスカレーション)に従ったか、そしてあなたらしい口調だったかです。それには、あなたのルールを読んだ誰か、または何かが必要です。

何を確認したいかを選んで、何がそれをカバーするかを見てみましょう。

Help Scoutの会話で何を確認したいですか?
Help Scoutでカバーできる: Happiness評価
顧客が各メール返信を評価し、Happinessレポートがそれをチームごと・個人ごとのスコアにします。
誰が評価するか顧客が、10日以内に
評価尺度Great、Okay、Not Good
盲点誰も評価しなかった返信
低評価の会話のビューを作り、まずそれを読む。
部分的にカバー: Scoutレポート
各AI会話がResolved、Unresolved、Human Escalationのいずれかとしてマークされ、顧客の評価も付きます。
場所Reportsから Scoutへ
見落としの修正Improvementを追加
盲点顧客が信じた誤回答もResolvedとしてカウントされる
失敗例だけでなく、解決済みセッションのサンプルも読むこと。
送信前、送信後ではない: AI Assist
AI Assistは、エージェントが求めたときに、スペルと文法を修正し、下書きをより親しみやすく、またはより専門的にします。
プランStandard、Plus、Pro
誰がトリガーするかエージェントが、返信ごとに
盲点送信済みのものへの評価はない
送信後にトーンを評価するには、送信済み返信を読むレビュアーが必要。
Help Scoutにはない: 人、またはポリシーを与えたレビュアー
Help Scoutには、返金規定や配送時間、プランの上限に対して返信をチェックする機能はありません。
手作業リーダーが週次サンプルを読む
AIでポリシー文書を持つレビュアー
先に書くもの各回答が従うべきルール
誤った返金や作り話の約束はここに隠れているので、最初に自動化すべき確認。
Help Scoutにはない: タグとメモを読むレビュアー
タグ、保存済み返信、エスカレーション手順は会話上にありますが、それが正しかったかを評価する機能はありません。
手作業リーダーが読みながらタグを確認
AIでスレッドとともにタグを読むレビュアー
先に書くものどのテーマにどのタグを付けるか
Topicsがテーマを示してくれるので、書くべきルールが分かる。

確認したい項目を選ぶと、Help Scoutでそれをカバーするものと、何もカバーしない場合に何が必要かが分かります。

このギャップを埋める方法は3つあります。

サンプルを手作業で評価する

最も安い方法は何も新しく用意する必要がなく、AIでのサポートQAに関するガイドの多くもここから始まります。毎週、リーダーが先週クローズした会話のビュー(低評価のものを先に)を開き、10件か20件を読み、短いルーブリックに沿ってスプレッドシートで各会話を評価します。まず各スコアの意味を決めておけば、2人のレビュアーが同じ会話に同じ点数をつけられます。サポートQAのキャリブレーションがそれに役立ち、QAフィードバック例も参考になります。

限界は明らかです。人がサンプルを読むだけで全会話ではなく、スコアもHelp Scoutの外に存在します。

MCP経由でAIアシスタントに頼む

Help ScoutのMCPサーバーは、Claude、ChatGPT、Cursorが会話(スレッド、タグ、カスタムフィールドを含む)を一覧表示、検索、要約でき、PlusとProではHappinessなどのレポートも取得できます。各ユーザーが自分のHelp Scoutログインで接続するので、アシスタントはそのユーザーが見られる範囲しか見られません。

Help Scout MCPの認可画面。Claudeが読み取り専用とマークされたInboxアクセスを求め、会話・顧客・タグ・ユーザーを読めるが作成・編集・削除はできないことが示され、さらにDocs APIキー欄付きのオプションのKnowledge Baseアクセスもある
コネクタは読み取り専用のInboxアクセスを求める。Help ScoutのMCPドキュメントより。

これで週次のQAセッションが手軽に行えます。ルーブリックを貼り付け、アシスタントにSupport受信箱で先週クローズした会話を読ませ、理由付きで各会話を評価させます。知っておくべき制限が2つあります。新しい接続は読み取り専用なので、アシスタントは評価した会話にメモを追加したりタグを変更したりできませんし、結果はチャット内に残るだけです。また、誰かが頼むことを思い出した時にしか動かず、毎朝自動で動くわけではありません。Claude TeamとEnterpriseプランでは、Claude Ownerだけがコネクタを追加できます。Help Scout用のClaudeについての私の記事で設定方法を扱っています。

AIチームメイトにルーブリックで評価させる

3つ目の方法は、AIエージェントが自分でレビューを行い、あなたのルールに沿って、結果をHelp Scoutに書き戻すというものです。私がeeselでやるならこうします。eeselのHelp Scout連携は、ステータス、タグ、最終更新日で会話を一覧表示し、各会話をすべての返信、メモ、タグとともに読み込み、社内メモを残し、タグを追加できます。

これをスケジュールに乗せれば、毎朝次のことをします。

  1. 前日クローズした会話を一覧表示する。
  2. あなたが平易な言葉で書いた基準(「返金提案は返品ポリシーの30日ルールと一致していなければならない」「配送に関する質問にはshippingタグを付ける」「署名はエージェントの名前で行う」など)に沿って各会話を読む。
  3. スコアと理由を社内メモとして残し、見落としにはqa-reviewタグを付けて、リーダーがHelp Scoutのビューを作れるようにする。
  4. Slackやメールをつなげていれば、その日のまとめをリーダーに送る。

ルーブリックはあなたが書くので、ポリシーの正確さや口調もそこに行を追加するだけで済み、ポリシーが変わればいつでも変更できます。Scoutの会話もチームの会話と同じルーブリックで評価でき、同じeeselエージェントが返信を作成したり、新しい会話にタグ付け・振り分けしたりすることもできます。始める前に知っておくべきことが2つあります。eeselのメモには、接続に使っているHelp Scoutユーザーの名前が表示されるので、専用のユーザーを与えてください。また、カスタムフィールドは設定できないので、スコアはメモやタグ、eeselが書くレポートの中に残り、Help ScoutのHappinessレポートには残りません。

こうしたスケジュール済みのチェックは、すでにeeselの顧客向けに動いています。Cactus Club Cafeは、Zendeskヘルプデスクでもうひとつのeeselエージェントを動かし、毎朝、日次の財務抽出を監査しています。各店舗をチェックし、バランスが取れていればチケットを解決済みにし、そうでなければ差額を明記したまま未解決にします。2026年8月8日から9月8日の間に、約60回実行されました。QAレビューも同じ形です。毎朝のジョブが、書かれたルールに沿って動き、結果がチケットに残ります。

Help Scoutの品質への取り組みは十分ですか?

Help Scoutを評価すべき点はあります。見せかけをしていません。(比較として、GorgiasはAuto QAを提供し、3つの基準をAIで評価し、残りは人に任せています。)評価は誠実な顧客フィードバックで、Happinessスコアは読みやすく、Scoutレポートは AIがどこで足りなかったかを明確に示し、AI Assistは誰かに届く前に誤字を捕まえます。小さなチームなら、評価と、低評価の会話を毎週読むことを組み合わせれば、十分なQAプログラムになります。

私の見解としては、Happiness評価とScoutレポートはQAのスコアではなく、トリアージリストとして扱うべきです。どこを見るべきかは示してくれますが、クリックする顧客からしか話を聞けませんし、「resolved」は顧客が聞き返すのをやめたという意味にすぎません。すべての会話で回答がポリシーに従っていたかを知る必要が出てきたら、そのポリシーを読んだレビュアーが必要です。人の時間、週1回のMCP経由のアシスタント、あるいは毎朝それを行いHelp Scoutに書き戻すAIチームメイトのいずれかです。

Help Scoutと並べてeeselを試す

Happiness評価とScoutレポートは、それが得意なことのために残しておきましょう。eeselが何をできるかは、誰が頼むかによって変わります。どのアクションを自動で動かすか、どれを先に確認を求めるか、どれをオフにするかはあなたが選べます。クローズしたHelp Scoutの会話を、ルーブリックの残りの部分、つまり返金ルール、タグ、あなたの口調に沿って読ませましょう。これらは平易な言葉で書かれ、ポリシーが変わるたびに変更できます。eeselは各会話に理由を社内メモとして残し、リーダーが読むべき会話にタグを付け、何を確認するか変えたいときは平易な言葉で答えてくれます。

eeselの新規スケジュールジョブフォーム。タイトル欄、スケジュール実行ごとにエージェントが何をすべきか尋ねるプロンプト欄、午前9時に設定されたDailyスケジュール、UTCタイムゾーンが表示されている
朝のQAチェックは、1つのスケジュールと1組の指示だけでできる。

eeselを試すなら、あなたのHelp Scout受信箱で、まずは前日クローズした会話から始めてみてください。

よくある質問

Help ScoutにAI品質保証はありますか?
QAスコアカードとしてはありません。Help ScoutのAI機能(Scout、AI Drafts、AI Summarize、AI Assist、Topics)は、チームの会話を評価しません。QAリーダーに与えられるのは、顧客のHappiness評価、AI会話に関するScoutレポート、そして自分のAIツール向けの読み取り専用MCPアクセスです。AIサポート品質保証では、AI QAが一般にどう機能するかを扱っています。
Help ScoutのHappinessスコアはどのように計算されますか?
顧客は各メール返信をGreat、Okay、Not Goodのいずれかで、返信から10日以内に評価します。HappinessスコアはGreat評価の割合からNot Good評価の割合を引いたもので、NPSとよく似た計算方法であり、評価は評価した日ではなく返信の日付でカウントされます。Help ScoutのHappinessレポートの日付でその日付のルールを説明しています。
Help Scoutで、ScoutのAI回答をどうレビューしますか?
ReportsからScoutに進みます。レポートはScoutの会話をResolved、Unresolved、Human Escalationの3つに分け、顧客の評価も表示します。Beaconのレポートを開いてresolutionで並び替え、顧客が助けを得られなかったセッションを見つけ、Scoutが間違えた箇所にImprovementを追加します。Help ScoutのAIエージェントで、Scoutが対応する範囲を扱っています。
ClaudeやChatGPTはHelp Scoutの会話を評価できますか?
読むことはできます。Help ScoutのMCPサーバーは、Standard、Plus、Proプランで、Claude、ChatGPT、Cursorが会話を一覧表示、検索、要約できるようにするので、アシスタントにあなたのルーブリックでまとめて評価させることもできます。アクセスは読み取り専用なので、評価した会話にメモやタグを残すことはできません。Help Scout用のClaudeでさらに詳しく扱っています。
Help ScoutのアプリディレクトリにQAツールはありますか?
2026年11月21日にHelp Scoutの連携ページを確認した時点では、ありません。掲載されているアプリのどれも、QAスコアカードに沿って会話を評価するものではありませんでした。サポートQAツールで主なものを紹介しています。
Help ScoutでQAを行うコストはどれくらいですか?
Help Scoutは評価やScoutレポートに追加料金を取りません。Standardは年払いで1ユーザーあたり月25ドルで、Happinessデータを2年間保持します。Plusは月45ドルでアカウントの存続期間中保持し、TopicsとMCPレポートツールが加わります。Help Scoutの料金で全体の内訳を確認できます。
AIエージェントはHelp Scoutの会話を評価してメモを残せますか?
できます。eeselはHelp Scoutに接続し、スケジュールに沿って動作し、前日クローズした会話を一覧表示し、各会話をタグとメモとともに読み込み、平易な言葉で書いた基準に沿って評価し、その理由を社内メモとして残し、リーダーが読むべき会話にタグを付けます。Help Scout用のeeselで詳細を確認できます。

Share this article