Re:amazeのAI品質保証:レポートとAIツールが確認すること、しないこと

Riellvriany Indriawan
執筆者

Riellvriany Indriawan

Katelin Teen
レビュー者

Katelin Teen

最終更新 2026年11月22日

専門家による検証済み
ノートパソコンの前にいる支援リーダーと、ターコイズのチェックマークが付いた3件の返信とチェックリストを持つロボットが表示されたモニターを指す同僚の手描きイラスト、ターコイズの背景にRe:amazeのロゴ
TL;DR

Re:amazeにAI品質保証のスコアカードはない。ヘルプセンター、価格ページ、プロダクトニュースのどこにも、会話をQA基準で評価するものは見当たらず、最も近いのはPlus(1チームメンバーあたり月69ドル)のIndividual Staff Reportにある直近の返信一覧だ。支援リーダーに提供されるのは、スピードと1回の返信で問題が解決した頻度(すべてのプラン)のレポート、スタッフレポートと満足度調査(これもPlus)、そして自社のAIエージェントの回答を確認するツール一式。どれも、回答がポリシーに沿っていたか、正しくタグ付けされたかは確認せず、AIレポートのSuccess Rateは成功したAPIリクエストの数を数えるだけで、正しい回答の数ではない。それを確認するには、リーダーが毎週サンプルを手作業で評価するか、eeselのようなAIチームメイトがスケジュールに沿って最近アーカイブされた会話をあなたが書いたルールで確認し、その理由を内部コメントに残すことができる。Claude Codeのようなコーディングエージェントはeesel CLIを通じてその確認を設定できるが、接続にはRe:amazeのAPIトークンを誰かがコピーする必要がある。

Re:amazeにAIの品質保証はありますか?

その名前では、スコアカードとしてもない。私はeeselのサポートチームで働いているので、ヘルプデスクのQA機能を読むとき、一つだけ問いかける。顧客より先に間違った回答を捕まえられるか。Re:amazeについての誠実な答えは「顧客が苦情を言った後だけ」だ。(製品の他の部分については、私のRe:amazeレビューを見てほしい。)

ここに、Re:amazeが品質保証として提供しているものを示す。レポート概要、AIツールガイド、価格ページより、2026年11月22日時点で確認:

Re:amazeの機能プランQAリーダーに伝えること伝えないこと
Response Time、First Response Resolve Rate、Average Thread SizeBasic返信がどれだけ速く出たか、1回の返信で解決した頻度回答が正しかったか
Appreciations、Tags、Satisfaction RatingsレポートPro、レポート概要による顧客が気に入った返信、使われているタグ、顧客の評価どのタグを使うべきだったか
Staff SummaryとIndividual Staff Reports、満足度調査Plus各エージェントの返信、応答時間、評価、直近の返信その返信がプロセスに沿っていたか
AIエージェントのソース、修正、テスト、Learned AnswersAIエージェント利用時AIの回答がどこから来たか、修正する場所人間のエージェントの出来
Ask About This ConversationAIツール1つのスレッドについて入力した質問への回答多数の会話をまとめて見ること
手描きのチャート、タイトルはRe:amazeが品質について伝えること。返信がどれだけ速く出たか、1回の返信で解決した頻度、顧客が後から評価したこと、修正したAIの回答をMeasuresの下にチェック、ポリシーに対して回答が正しかったか、正しくタグ付けとルーティングされたか、担当者がプロセスに従ったかをNever checksの下にバツ、Plusプランのスタッフと満足度レポートと注記
Re:amazeは結果を測る。回答の内容はあなた次第だ。

Re:amazeのレポートは品質について何を伝えますか?

スピードについては多くを伝えるが、結果についてはほとんど伝えない。すべてのプランにResponse Timeレポート(グロッサリーのfirst response timeが、多くのチームが最初に見る指標を解説している)と、Re:amazeが「チームの返信の有効性を反映する品質指標」と説明するFirst Response Resolve Rateがある。これは1回の返信で顧客の問題が解決した頻度を示し、多くのチームがfirst contact resolutionと呼ぶものに近い。Average Thread Sizeレポートはその相棒で、Re:amaze自身のガイドは数値が高いと「問題が解決しにくいか、エージェントが十分に完結した回答をしていないことを示す可能性がある」と述べている。

Plusでは、Individual Staff Reportがエージェントごとにこれを分解する。返信数、平均応答時間、appreciations、解決またはアーカイブされた会話数、平均スレッドサイズ、調査を送っていればエージェントの平均評価。エージェントをチーム平均や1部門と比較できる。一番下には「直近の返信の継続的なリスト」があり、Re:amazeによればマネージャーはこれを「個人レベルでサポート品質を監視する」ために使える。

この最後の一文がRe:amazeでQAに最も近いものだ。読むべきリストをくれるが、結局は誰かが各返信を開いて判断する必要がある。

数値を信頼する前に知っておくべきことが2つある。

  • 会話は開始時点で日付が付く。 Re:amazeは会話の指標を「会話が作成された時点」に帰属させる。つまり12月9日に開いて12月11日に再オープンしアーカイブされた会話は、12月9日に1回だけカウントされる。先週の数字は、週が終わった後でも変わる可能性がある。
  • 返信はメッセージ単位でカウントされる。 Re:amazeは、ResponseのカウントはResolvedとArchivedのカウントより「活動のより良い指標」だと述べている。

Re:amazeの満足度調査は何を加えますか?

顧客自身の判断、ただし遅れて届く。自動満足度調査はPlusにある。SettingsからEmail Channelsに進み、Satisfaction Surveysを有効にし、時間単位の遅延とどの会話の状態で調査を送るかを選ぶ(Resolvedを選べば、会話が解決した後にだけ送られる)。調査はスマイリー、説明的なラベル、1から5の星のいずれかを使え、Satisfaction Ratingsレポートは平均、AbysmalからGreatまでの分布、直近のコメントを表示する。

プランに関する注意点がある。価格ページと調査ガイドは満足度評価をPlusに置いているが、レポート概要はSatisfaction Ratingsレポートをproの下に記載している。Proプランなら、それを前提に計画する前にRe:amazeに確認した方がよい。

評価は顧客が結果についてどう感じたかを伝える。どの返信がそれを引き起こしたかは伝えず、回答した顧客からしか届かない。低いスコアは、どこから読み始めるべきかを示す。AIとCSATについての私のメモが、CSATをQAと並べて読むことをさらに解説している。

Re:amazeのAIエージェントの回答をどう確認しますか?

ここがRe:amazeが最も力を入れている部分だ。2026年6月、同社は自社のAIエージェントの発言を確認するためのツール一式を公開した。

  • すべての返信にSources。 AIの各返信にソースの数が表示される。クリックすると、どのナレッジソースを使ったかが分かり、「AIが古い情報に頼ったか、間違った場所から取ってきたかを素早く見抜く方法」になる。
  • Improve Response。 任意のAI返信に修正を提出すると、次回AIが使うために保存される。Re:amazeによれば修正は1か所に保管され、編集や削除ができ、AI設定にはAI Agent Correctionsタブがある。
  • Test AI Agent。 顧客が尋ねる質問をAIに尋ね、顧客より先に完全な回答を読む。Re:amazeは記事、テンプレート、Learned Answerを変更するたびにここに戻ることを勧めている。
  • Learned Answers。 AIエージェントがエスカレーションし、人間が会話を終えると、Re:amazeは起きたことから回答を起草し、レビュー用にキューへ入れる。保存するまでは何も追加されず、保存されなかった提案は14日後に期限切れとなる。
タブにCustom AI Context、Learned Answers、AI Agent Corrections、Test AI Agent、AI Pre-Filterがある、Re:amazeのAI Chatbots設定。ブラックフライデーの無料速達配送についてレビューするLearned Knowledgeの提案が表示され、SaveとDeleteボタン、View ConversationとEditのリンクがある
修正、テスト、Learned AnswersはAI設定の中で並んで置かれている。Re:amazeのLearned Answersガイドに示されている通りだ。

これらはAIエージェントを正直に保つための良いツールで、私ならすべて使う。ただ共通点に注意してほしい。まず人間が悪い回答を見つける。AIエージェントの会話をあなたに代わって評価するものは何もない。

AIレポートも見ておこう。AI Productivity Reportには「成功したAI APIリクエストの数を測る」Success Rateと、設定チェックリストであるContent Scoreがある(20件のFAQ記事作成で+20%、Custom AI Contextの設定で+20%)。Success Rateが100%というのは、AIが毎回動いたことを意味し、毎回正しかったことは意味しない。

Re:amazeが確認できないことは何ですか?

多くのQAプログラムが存在する理由となる3つのこと。

  1. 回答は自社のポリシーに対して正しかったか。 どのレポートもAIツールも、返金・配送・保証のルールと返信を比較しない。Ask About This Conversationは1つのスレッドについて入力した質問に答えるが、それは一度に1つの会話を手作業で行うことだ。
  2. 正しくタグ付けとルーティングがされたか。 AI Pre-FilterとWorkflowsが会話にタグを付け、Tagsレポートはどのタグが最も多く使われているかを数えるが、後からそれを確認するものはない。返金リクエストが配送タグで出てしまったことを教えてくれるものはなく、レポートがタグに基づいているなら、その見落としはすべてのグラフに広がる。
  3. 担当者はプロセスに従ったか。 注文番号を聞いたか、返送用ラベルを提示したか、チャージバックの脅しをエスカレーションしたか。そのどれも評価されない。

代わりに専用のQAツールを検討するなら、購入前にRe:amazeに接続できるか確認してほしい。

Re:amazeのQAにはいくらかかりますか?

QAに関連するレポートと調査はプランに含まれているので、コストはPlusへの移行そのものだ。価格ページより、2026年11月22日時点の価格:

プラン1チームメンバーあたり月額年払いQAに追加されるもの
Basic29ドル26.10ドルResponse Time、First Response Resolve Rate、Average Thread Size;ユーザーあたり月5回のAIエージェント解決
Pro49ドル44.10ドルAdvanced Reporting(Tags、Appreciations、Workflow);ユーザーあたり10回のAIエージェント解決
Plus69ドル62.10ドルStaff Performance Reporting、Customer Satisfaction Ratings;ユーザーあたり20回のAIエージェント解決
Starter月額固定59ドル記載なし無制限のチームメンバー向けBasicの機能、月500件までの返信済み会話

追加のAIエージェント解決は1回0.85ドル。月払いで10人のチームなら、Proは490ドル、Plusは690ドルとなり、エージェントごとのレポートと調査は月200ドルの上乗せとともに届く。私のRe:amaze料金の内訳とRe:amazeコストガイドに他のチーム規模がある。

年払いに設定されたRe:amazeの価格ページ、Basicは1チームメンバーあたり26.10ドル、Proは44.10ドル、Plusは62.10ドルと表示、Staff Performance ReportingとCustomer Satisfaction RatingsはPlusの下に記載
Staff Performance Reportingと満足度評価はPlusから始まる。Re:amazeの価格ページに示されている通りだ。

Re:amazeが抜け落としているものをどう補いますか?

確認したいことを選んで、何がそれをカバーするかを見てみよう。

Re:amazeの会話で何を確認したいですか?
Re:amazeがカバー:Response TimeとFirst Response Resolve Rate
どちらのレポートもすべてのプランにある。First Response Resolve Rateは1回の返信で問題が解決した頻度を数え、Re:amazeはこれを品質指標と呼んでいる。
プランBasic以上
場所レポート
カウント基準会話の日付
Average Thread Sizeも併せて見てほしい。長いスレッドは不完全な回答を示している場合がある。
Re:amazeがPlusでカバー:満足度調査
会話が選んだ状態に達してから一定時間後にメール調査が送られ、Satisfaction Ratingsレポートがスコアとコメントを集める。
プラン価格ページと調査ガイドによればPlus
尺度AbysmalからGreat
加えてProでのAppreciationsレポート
評価は遅く届き、回答した顧客からしか来ないため、どの返信が間違っていたかは分からない。
Re:amazeにない:ポリシーを知るレビュアー
Re:amazeのレポートやAIツールは、返信を返金・配送・保証のルールと比較しない。
手作業でリーダーが毎週サンプルを読む
AIでヘルプセンターとスレッドを読むレビュアー
先に書く1行ずつのルール
これは多くのQAプログラムが存在する理由そのものの確認なので、ここから始めてほしい。
Re:amazeにない:Tagsレポートは数えるだけ
Tagsレポートはどのタグが最も多く使われているかを示す。返金リクエストが返金タグを受け取ったかを確認するものはない。
手作業でサンプルを読みながらタグを確認
AIでスレッドとともにタグを読むレビュアー
先に書く各トピックが受け取るタグ
レポートがタグに基づいているなら、回答が完璧でも間違ったタグはQAの見落としになる。
部分的に:Re:amazeのAIエージェントレビューツール
AIの各返信は参照元のソースを表示し、Improve Responseは修正を保存し、Test AI Agentでは質問を試せ、Learned Answersはエスカレーションされた会話からの回答をレビュー用にキューへ入れる。
修正AI Agent Correctionsタブ
公開前にTest AI Agent
注意点Success RateはAPIリクエストを数えるだけで正しい回答は数えない
それでも誰かが返信を開く必要がある。これらのどれも会話をあなたに代わって評価しない。

確認を1つ選ぶと、Re:amazeでそれをカバーするものと、何もカバーしない場合に何がカバーするかが分かる。

残りをカバーする方法は2つある。

サンプルを手作業で評価する

最も安い方法は何も新しく用意する必要がなく、AIを使ったサポートQAの多くのガイドがここから始まる。毎週、リーダーが最近アーカイブされた会話を10件か20件取り(あれば最も長いスレッドと最も低い評価を先に)、それぞれを読み、スプレッドシートの短いルーブリックに沿って評価する。ポリシーに対して正しい回答か、正しいタグか、プロセスに従ったか。Plusでは、各Individual Staff Reportにある直近の返信リストがそのまま読むべきリストになる。まず各スコアが何を意味するかを合わせておくことで、2人のレビュアーが同じ会話を同じように評価できる。サポートQAキャリブレーションがこれを助け、QAフィードバックの例も役立つ。

限界は明らかだ。人が1つのサンプルを読み、その結果はRe:amazeの外に存在する。

AIチームメイトに自社のルールで確認させる

2つ目の方法は、AIエージェントが自ら確認を実行し、その結果をRe:amaze内に残すことだ。私ならeeselでこれをやる。eeselのRe:amaze連携はスケジュールに沿って実行され、最短10分ごと、あるいは1時間ごと、毎日、毎週というペースで動き、アーカイブされた会話を一覧表示しタグで絞り込める。それぞれについて、最新40件のメッセージを発言者とともに読み、内部コメントも含め、さらに会話のタグ、状態、担当者を読む。あなたの返信テンプレートと過去の会話から事前に学び、ヘルプセンターの記事をライブで読むので、公開したポリシーはすでに読んだものになる。

毎日のスケジュールを設定すると、実行ごとに最近更新されたアーカイブ済みの会話を取り、次を行う。

  1. タグとともにスレッドを読む。
  2. 平易な言葉で書いたルールと照らして確認する(「30日を過ぎた返金はマネージャーの承認が必要」「請求に関する質問には請求タグを付ける」「発送日を約束しない」)。
  3. 判断とその理由を内部コメントとして残す。
  4. リーダーが読むべき会話にqa-reviewのようなタグを付け、リーダーがフィルタできるようにする。
スキー初心者がどの用具をレンタルすべきか尋ねているRe:amazeの会話、その下にスキー、ブーツ、ヘルメット、ポールを挙げた起草済みの返信を保持するeeselの内部コメント
eeselはRe:amaze内に内部コメントとして書き込む。これはあなたのチームだけが見るものだ。

あなたがルールを書くので、タグ付け、プロセス、ポリシーの確認は単に行が増えるだけで、ポリシーが変わるたびに変更できる。まず限界を知っておこう。添付ファイルやカスタムフィールドは見えず、40件を超えるメッセージのスレッドでは最新40件しか読まない。会話が閉じられた瞬間ではなくスケジュールに沿って動くのは、Re:amazeにはeesel向けのイベントトリガーがないためだ。同じeeselエージェントは、望むなら返信のドラフトも内部コメントとして書ける。

こうした日次の確認はすでにeeselの顧客向けに動いている。Cactus Club CafeはZendeskヘルプデスク上で2つ目のeeselエージェントを動かし、毎朝日次の財務抽出を監査する。各店舗を確認し、バランスが取れていればチケットを解決済みにし、そうでなければ不一致を明記して開いたままにする。2026年8月8日から9月8日の間に約60回実行された。QAレビューも同じ形だ。書かれたルールに対する確認を行い、その結果を会話上に残す。

Re:amazeはQAに十分ですか?

スピードと結果については十分だ。First Response Resolve RateとAverage Thread Sizeは、多くの小規模チームが使いこなしていない誠実な指標で、Plusではエージェントごとのレポートに評価と直近の返信が含まれ、リーダーに妥当な週次の読むべきリストを与える。AIエージェントのツールは他社より優れている。すべての返信に表示されるソース、保存される修正、テスト環境は、AIエージェントが逸脱しないようにするためにまさに必要なものだ。

私の見解:すでに持っているレポートから始めよう。First Response Resolve Rateと、各Individual Staff ReportのAverage Thread Sizeを見て、毎週最も長いスレッドを読み、記事を変更するたびにTest AI Agentを使う。AIレポートのSuccess Rateを正確さと勘違いしないこと。そしてチームのQAの問いが「速かったか」ではなく「正しかったか」であるなら、Re:amazeはそれをあなたに任せている。量が少なければ手作業で評価したサンプル、そうでなければAIレビュアーだ。他のヘルプデスクによる同じ問いへの答えは、Gorgias AIの品質保証、Help Scout AIの品質保証、Front AIの品質保証についての記事にあり、サポートQA向けAIツールのまとめでは専用のオプションを比較している。

eeselをRe:amazeのQAレビュアーとして試す

もし足りない確認が「この回答は自社のポリシーに対して正しかったか」なら、eeselはRe:amazeに追加したいレビュアーだ。APIトークンで接続し、ヘルプセンターと過去の会話を読み、毎日のスケジュールで最近アーカイブされた各会話をあなたが書いたルールと照らして確認し、その理由を内部コメントに残し、リーダーの時間に値する会話にタグを付ける。まずダッシュボードのチャットで最近アーカイブされた会話を確認するよう頼み、フラグが立ったものを読んでから、スケジュールを有効にしてほしい。

Re:amazeの自動化用のeeselのスケジュールエディタ、Minutesが選択されUTCでEvery 10 minutes、どのRe:amazeの会話を扱い何をすべきかを記述するInstructionsボックス
レビューのスケジュールはタイマーと平易な言葉の指示だ。QAにはDailyに切り替える。

eeselを試すのは無料、またはデモを予約して自社のRe:amazeの会話をレビューする様子を見てほしい。

よくある質問

Re:amazeにAIの品質保証はありますか?
スコアカードとしてはない。Re:amazeのヘルプセンター、価格ページ、プロダクトニュースのどこにも、会話をQA基準で評価する機能は見当たらなかった。スピード、1回の返信での解決率、顧客評価のレポートと、自社のAIエージェントの回答を確認するツール群がある。サポートのAI品質保証では、完全なプログラムが何を確認するかを解説している。
スタッフ実績レポートがあるRe:amazeのプランはどれですか?
Plus。価格ページによれば2026年11月22日時点で1チームメンバーあたり月69ドル、年払いなら62.10ドル。Re:amazeのレポート概要では、Staff Summary ReportとIndividual Staff ReportがPlusに記載されている。Re:amazeの料金に詳細な内訳がある。
Re:amazeは顧客満足度調査を送れますか?
はい、Plusで。SettingsからEmail Channelsに進み、Satisfaction Surveysを有効にし、時間単位の遅延とどの会話の状態で調査を送るかを選び、スマイリー、説明的なラベル、または1から5の星から選ぶ。Re:amazeのレポート概要ではSatisfaction Ratings ReportはProに記載されているため、ProプランならRe:amazeに確認した方がよい。CSATがスコアの意味を解説している。
Re:amazeのAIレポートでSuccess Rateとは何ですか?
Re:amazeのAIレポートガイドによれば、成功したAI APIリクエストの数を測るもので、AIが動いたことを示すだけで回答が正しかったことは示さない。Content Scoreは設定チェックリストで、例えば20件のFAQ記事作成で+20%になる。私のRe:amazeレビューで製品の他の部分を解説している。
Re:amazeのAIエージェントの回答をどう確認しますか?
AIの各返信には参照したソースの数が表示され、Improve Responseは次回のために修正を保存し、Test AI Agentでは顧客より先に質問を試せ、Learned Answersはエスカレーションされた会話からの提案回答を保存または削除できるようキューに入れる。Re:amazeのAI返信ドラフトでAIエージェントをより詳しく解説している。
Re:amazeは会話が正しくタグ付けされたか確認できますか?
単独ではできない。Tagsレポートはどのタグが最も多く使われたかを数えるが、会話が正しいタグを受け取ったかをRe:amaze内で確認するものは何もない。Re:amazeのAIチケットタグ付けとルーティングでタグがそもそもどう付けられるかを解説している。
AIエージェントはRe:amazeの会話を自社のポリシーで確認できますか?
はい。eeselはRe:amazeに接続し、最短10分ごと、または1時間ごと、毎日、毎週というスケジュールで実行され、最近アーカイブされた会話をタグと内部コメントとともに読み、あなたが書いたルールで各会話を確認し、その理由を内部コメントに残し、レビュータグを追加する。Re:amazeの自動化で他にどんなことを任せられるかを解説している。

Share this article