HubSpot Customer Agentのバッチテスト:仕組みと限界

Rama Adi
執筆者

Rama Adi

Katelin Teen
レビュー者

Katelin Teen

最終更新 2026年11月8日

専門家による検証済み
タブレットを持つサポートチームメイトと、小さなロボットの3枚のチャットカードを確認するマネージャーの手描きイラスト。オレンジ色の図形の上にHubSpotのギアがある
TL;DR

HubSpot Customer Agentのバッチテストは、顧客に触れる前にエージェントへ実行させる保存済みの質問セットです。対応するHubでProfessionalまたはEnterprise、Customer agent editor権限、割り当てられたシートが必要です。テストセットは最大8個まで作成でき、それぞれ自分で書いた質問またはライブ会話のテーマから生成した質問で構成されます。各回答には「Looks good」か「Looks bad」のマークがつき、悪い回答はその場でコーチングできます。これは質問をテストするものであり、実際のチケット履歴ではないため、私なら過去チケットの再生と組み合わせます。eeselはその再生を行い、eesel CLIを使えばAIコーディングエージェントが承認済みの知識をアップロードし、公開前にテスト質問を投げられますが、HubSpotの管理者アクセスを持つ人がその接続を承認する必要は依然としてあります。

HubSpot Customer Agentのバッチテストとは何か?

Customer Agentの中にあるテスト領域で、管理者が多数の質問を一度に実行し、各回答を確認できます。HubSpotのバッチテストの記事(最終更新2026年10月13日)によると、管理者はライブチャネルに展開する前にエージェントを大規模にテストし、その結果からコーチングできるとしています。

私はこれを実際のHubSpotポータルで動かしたわけではありません。ここに書いてあることはすべてHubSpot自身のドキュメントに基づいており、ドキュメントが何も語っていない箇所にはすべて印をつけています。インテグレーションを作る側の視点で読んでいます。何が入力され、何が出力され、画面が何を約束していないか、という視点です。製品自体を先に知りたい場合は、HubSpot Customer AgentとHubSpot AIエージェントのガイドで扱っていますし、HubSpotのレビューはService Hubの中での位置づけを示しています。

もっと単純なツールが1段階下にあります。HubSpotの設定記事(2026年10月26日更新)では、メールまたはライブチャットで単一のプレビューチャットを開くTestボタンが説明されており、プレビューはHubSpotクレジットを消費しないとされています。バッチテストは、1つずつチャットを試すのでは足りなくなったときに移行する先です。

どのプラン、シート、権限が必要か?

対応するHubでProfessionalまたはEnterprise、Customer agent editor権限、割り当てられたシートが必要です。この3点はいずれもHubSpotのバッチテスト記事によるもので、そこではMarketing Hub、Sales Hub、Service Hub、Data Hub、Content Hub、Smart CRMのProfessionalとEnterpriseが挙げられています。

要件HubSpotの記載
サブスクリプションMarketing、Sales、Service、Data、Content HubのいずれかのProfessionalまたはEnterprise、またはSmart CRM
権限Customer agent editor(コーチング操作もカバー)
シートエージェントを編集・管理するための割り当てられたシート
クレジットチャネルへの展開に必要、消費されるのは解決時のみ
テストセット最大8個

出典:HubSpotのバッチテストの記事。Service Hubについては、HubSpotの料金ページでProfessionalが1シート月90ドル、Enterpriseが150ドルとされ、さらに必須のオンボーディング費用がかかります。私のHubSpotの料金の記事で、シートとクレジットの積み上がり方を説明しています。

初回設定にはもう少し緩やかな入り口があります。HubSpotによると、エージェントを初めて設定する際に14日間の無料アクセスをオプトインでき、その間はクレジットが消費されません。私ならこの期間内に最初のテストセットを実行します。

バッチテストはどう実行するのか、手順

テストセットを作成し、実行をクリックして各回答を確認します。HubSpotの手順は次のとおりです。

  1. HubSpotでService > Customer Agentに移動する(表示されていればMoreの下にある)。
  2. 左側のメニューでTest > Batch testingをクリックする。
  3. + New test setをクリックし、From live conversationsまたはBlank testを選ぶ。
  4. ライブ会話の場合は希望するテーマにチェックを入れ、Generate questionsをクリックする。空のテストの場合は各質問を入力して保存する。
  5. Customer Agent Segmentsのベータに参加している場合は、Add segmentをクリックして特定セグメントとしてテストする。
  6. Run testをクリックする。エージェントがセット内のすべての質問に回答する。
質問を書くまたは生成する、テストを実行する、Looks goodまたはLooks badとマークする、Knowledge・Actions・Handoff・Experienceのタブでエージェントをコーチングする、再度実行するという5枚の手描きカードの流れ
質問を書くまたは生成する、テストを実行する、Looks goodまたはLooks badとマークする、Knowledge・Actions・Handoff・Experienceのタブでエージェントをコーチングする、再度実行するという5枚の手描きカードの流れ

肝心なのはこの繰り返しです。テストセットと結果は自動保存されるため、エージェントを編集したあとに戻って同じ質問を再実行できます。これによって一度限りの確認が回帰テストになります。私ならこの使い方をします。

テスト質問はどこから来るのか?

質問は2つの場所から来ます。自分で書く質問と、HubSpotがライブ会話から生成する質問です。生成ツールは過去の訪問者の会話をテーマごとにグループ化し、テストしたいものにチェックを入れます。

HubSpotのGenerate questions from live conversationsダイアログ。Pet Service Pricing and PaymentsやPet Grooming Servicesなどのテーマがチェックボックス付きで並ぶ。HubSpotのバッチテストガイドより
HubSpotのGenerate questions from live conversationsダイアログ。Pet Service Pricing and PaymentsやPet Grooming Servicesなどのテーマがチェックボックス付きで並ぶ。HubSpotのバッチテストガイドより

HubSpotの記事には2つの制限が書かれています。テーマとして表示されるには、類似のトピックで5件以上の会話が必要なため、稀な質問はテーマにはなりません。そしてこのダイアログはライブの訪問者会話に基づいて作られているため、生成ツールはエージェントがすでに尋ねられた内容しか反映できません。新しいエージェントには参照できる材料が少なく、そこでこそBlank testが力を発揮します。

私の考えでは、自分に不利益をもたらしかねない質問は自分で書くべきです。たとえば返金ルール、価格の例外、法律が絡むものなどです。生成されたテーマはよくある質問をうまくカバーしますが、リスクの高い質問は大抵、稀な質問の中にあります。その書き方についてはAIエージェントのテストとアドバーサリアルテストのガイドで示しています。

回答を確認してエージェントをコーチングするには?

各質問を開き、回答を読み、Looks goodまたはLooks badとマークします。回答はNot reviewedから始まり、マークするたびにLooks goodまたはLooks badのリストへ移動します。

Pet Service Pricing and Paymentsの実行結果を示すHubSpotのテスト結果ページ。Not reviewedに3件の質問があり、Looks badとLooks goodは空。HubSpotのバッチテストガイドより
Pet Service Pricing and Paymentsの実行結果を示すHubSpotのテスト結果ページ。Not reviewedに3件の質問があり、Looks badとLooks goodは空。HubSpotのバッチテストガイドより

Looks badとマークした回答について、HubSpotは2つの選択肢を用意しています。Write noteは管理者向けのフィードバックを記録するもので、HubSpotはメモだけではエージェントは更新されないとしています。Coach agentは右側にKnowledge、Actions、Handoff、Experienceのタブを持つパネルを開き、そこでハンドオフのトリガーを追加したり、短い回答を作成したりできます。

この区別はチームにとって重要です。サポートリーダーはエージェントを変更する権限がなくても、メモで悪い回答にフラグを立てられ、管理者はそのメモをまとめて1回のコーチングセッションにできます。権限のルールがここでは有利に働きます。エージェントを変更できるのはeditorだけです。

採点は手作業です。 HubSpotのドキュメントには自動採点や合格率についての記載は見当たらなかったため、Looks goodとLooks badの件数はあなた自身の判断です。10件の質問なら問題ありませんが、100件になると手間がかかるため、レビュー担当者の時間を確保しておきましょう。

テストセットはどう保存され、再実行されるのか?

自動で保存され、どのセットも再実行、複製、削除ができます。Test setsタブではRunがセットを再実行し、三点リーダーのメニューからDuplicateとDeleteを選べます。結果は別タブのTest resultsにあります。

3つのセットについて質問数、セグメント、作成者、Runボタン、DuplicateとDeleteのメニューを一覧表示するHubSpotのTest setsテーブル。HubSpotのバッチテストガイドより
3つのセットについて質問数、セグメント、作成者、Runボタン、DuplicateとDeleteのメニューを一覧表示するHubSpotのTest setsテーブル。HubSpotのバッチテストガイドより

許可されているのが8セットだけなので、私ならテーマ別ではなくリスク別に名前をつけます。価格と請求用に1つ、ハンドオフトリガー用に1つ、先月間違えた質問用に1つ、といった形です。エージェントを変更する前にセットを複製しておくと、変更前と変更後を比較できます。

テストはクレジットでいくらかかるのか?

HubSpotのページによると、テストはクレジットを消費せず、ライブ展開は解決ごとに課金されます。設定ガイドでは、customer agentのプレビューとテストはHubSpotクレジットを消費しないとしています。理解のための記事(2026年9月16日更新)では、クレジットはエージェントが解決に至った場合のみ消費されるとしています。

落とし穴は72時間ルールです。解決とは、来訪者側から始まるハンドオフなしに、コンテンツソースを共有するか、アクションを実行する回答のことで、ステータスは来訪者の最後の返信から72時間後に確定します。クレジットが尽きると、HubSpotによれば接続済みのすべてのチャネルにわたってエージェントに新しい会話が割り当てられなくなり、次回のリセットまで続きます。バッチテストの記事はバッチ実行についてこのクレジット不要の記載を改めて明記していないため、100件の質問セットを実行する前にポータルで確認することをお勧めします。

Reddit

"I don't know how many credits I'll need, so I'm less likely to test things, not more."

2025年12月のRedditスレッドでのこの引用は、クレジットの価格についてのもので、クレジット不要という記載がなぜ重要なのかを示しています。クレジットのメーターを恐れるチームはテストを減らしてしまい、未テストのエージェントこそが高くつきます。クレジットの計算全体はHubSpot AIエージェントの料金の記事にまとめています。

バッチテストが対応していない範囲は?

テストセット内の質問だけを対象にしており、ドキュメントにはいくつかの空白があります。頼る前に確認しておくべき点は次のとおりです。

  • 過去のチケットの再生はない。 テーマはライブの訪問者会話から来ており、生成ツールはサンプル質問を作るだけです。HubSpotのページには、特定の過去チケットを再生してチームが送った回答と比較する仕組みの説明はありません。
  • 自動採点はない。 マークは手作業であり、記事内に合格率やトレンド表示は見当たりませんでした。
  • メモだけではエージェントは変わらない。 変更できるのはCoach agentの経路だけで、しかもeditorに限られます。
  • 8セットが明記された上限。 1セットあたりの質問数の上限は記事に記載がありません。
  • バッチ実行時のクレジット消費は改めて明記されていない。 クレジット不要の記載は設定記事にあります。
  • アクションはプレビューでテストされる。 設定ガイドでは、打ち合わせの予約などのアクションのテストは単一のプレビューチャットで行うとされ、バッチの記事ではアクションに触れていません。

これらはどれも欠陥というより、このツールの役割を説明しているだけです。つまり、あなたが管理する質問セットだということです。これは回帰テストには有用ですが、「このエージェントは前四半期のチケットを処理できていたか」という問いとは別の仕事です。

HubSpot Customer Agentを安全に導入するには?

4段階を順に上がり、下の段がきれいな状態になってから次に進んでください。これは私が使う順序であり、後半は私自身の判断で、HubSpotのルールではありません。

4段の手描きの階段:クレジット不要のプレビューチャット、1つの質問セットによるバッチテスト、実際の履歴による過去チケットの再生、解決ごとにクレジットがかかるライブチャネル
4段の手描きの階段:クレジット不要のプレビューチャット、1つの質問セットによるバッチテスト、実際の履歴による過去チケットの再生、解決ごとにクレジットがかかるライブチャネル
  1. プレビューチャットでトーン、ソース、エージェントがなぜその回答をしたか、何を引用したかを示すTesting Insightsパネルを確認する。
  2. バッチテストで、チームが毎日答える質問のセットと、リスクの高い質問のセットを実行する。
  3. 実際の履歴の再生。これはバッチテストでは行われません。ここでeeselが関わってきます。詳細は後述します。
  4. 範囲を絞ったライブ公開。まず1つのチャネルから始める。HubSpotのチャネル展開の記事で、エージェントが動作できる場所を確認できます。

同じクレジットのスレッドにあったあるRedditのコメントは、自分たちの導入をこう説明していました。

Reddit

"I think the key for this working was that we started using customer agent in April, so by August, we had enough data to understand how many credits we needed, and we had already optimized our KB to be best suited for AI use."

このユーザーは、月15,000件以上のうちサポート問い合わせの40%を処理できたと報告しています。これは1ユーザーの報告であり基準値ではありませんが、パターンは示されています。数か月分のデータと、先に最適化されたナレッジベースです。どちらも良いテストサイクルが明らかにするものであり、2つ目の部分についてはAIナレッジベースとナレッジベース管理のガイドで扱っています。

過去チケットの再生とテストセットはどう違うのか?

テストセットはあなたが選んだ質問を投げるもので、再生はチームがすでに回答済みのチケットにエージェントを実行させるものです。違いは質問がどこから来るかと、回答が何を基準に判断されるかにあります。

2列の手描き比較:ライブチャットのテーマから作る質問セット(自分で書く質問、最大8セット)に対して、チケット再生(数百件の過去チケット、チームが送った内容と比較採点、指示の修正案を提示)
2列の手描き比較:ライブチャットのテーマから作る質問セット(自分で書く質問、最大8セット)に対して、チケット再生(数百件の過去チケット、チームが送った内容と比較採点、指示の修正案を提示)

eeselのSimulationスキルは、スキルのドキュメントによれば数百件の過去チケットや生成したテストケースに対してエージェントを実行し、各回答を採点し、指示の変更を提案します。回答はチームが実際に送った内容と比較採点されます。解決率やコストは予測しないため、品質チェックであり、ビジネスケースではありません。これをどう設定するかはAIサポートのシミュレーションテストのガイドで示しています。

ここで公平な評価を述べます。HubSpotのバージョンはネイティブで、エージェントの設定のすぐ隣にあり、同じ画面でコーチングできる点はスピードで勝るのが難しいところです。再生のほうは設定に手間がかかりますが、生成されたサンプル質問が均してしまいがちな、現実の乱雑な言い回しをテストできます。私なら両方使います。回帰ループにはHubSpotのバッチテストを、公開前に一度は再生を。AIハルシネーション防止のガイドでは、きれいな質問が見落とすものを実際のチケットがなぜ捉えるのかを説明しており、グロッサリーのAIハルシネーションの項目で用語を定義しています。

返信案を先に出すロールアウトは実際どのようなものか?

MentorShowがその例です。フランスのオンライン学習プラットフォームで、サポートチーム全体をHubSpot上で運用し、eeselに月5,000件から13,000件のチケットがあると伝えています。受信箱の新しい会話やチケットが作成されるたびにeeselが起動し、スレッドとメンバーのHubSpotレコードを読み、分析と返信案を含む社内メモをメンバーの言語で残します。

2026年8月8日から9月8日までの1か月間に、eeselはこの事例によると約1,200件のHubSpotの会話やチケットを読み、432件の返信案を作成しました。それぞれを人が読み、編集し、送信しており、返金や請求に関する確認はすぐに人に引き渡されます。どのチケットタイプをスキップするかというルール(9種類)は、実際にケースが発生するたびに追加されました。

これはバッチテストではなく、そう呼ぶつもりもありません。これは別の種類の安全網です。エージェントは初日からライブですが、人の確認なしにはメンバーに何も届きません。そのため、間違った返信案は誤った回答ではなく編集の手間で済みます。自律的な公開にまだ踏み出せないチームは、ここから多くを学べます。関連ガイド:AIエージェントのハンドオフ、エスカレーション率、私の解説記事解決率。

最初のテストセットにはどの質問を入れるべきか?

チームが毎日答えている質問から始め、次にお金に関わる質問を追加します。8セットをこう分けるのが私のやり方です。

セット内容理由
よくある質問HubSpotがライブチャットから生成するテーマ量をカバーする
価格と請求プラン価格、更新、返金、割引誤った回答がお金に直結する
ハンドオフ怒っている顧客、人への引き継ぎ要求、法的な警告ハンドオフトリガーをテストする
エッジケース例外のあるポリシー、複数要素を含む質問知識の深さをテストする
対応範囲外エージェントが断るべき質問ガイドラインをテストする
先月の失敗チームが修正せざるを得なかった実際の質問回帰セット

ナレッジソースやハンドオフルールを変更するたびに、失敗セットを再実行してください。デフレクションと解決率の違いとAIコンテインメント率の測定のガイドは公開後のライブ指標を扱っており、ナレッジベースのグロッサリー項目はソースの質が最も重要である理由を説明しています。

別のツールがほしい場合はどうするか?

HubSpotのエージェントは、すでにHubSpotのエコシステムにいるチームのために作られており、そのバッチテストもそれを反映しています。選択肢を比較検討しているなら、HubSpot Breezeの代替とHubSpotの代替のガイドで比較しており、AIカスタマーサポートソフトウェアの代替はさらに範囲を広げています。HubSpot専用のアドオンについてはHubSpot Service Hub向けAIとHubSpotへのAI導入方法をご覧ください。

Service Hub内では、テスト済みのエージェントがライブで動く際の挙動に影響する要素がさらに2つあります。キャパシティ制限はどの人間がハンドオフを受けるかを決め、チャネル接続はエージェントがどこに表示されるかを決めます。HubSpotのチケットデフレクションとService HubのナレッジベースAIの記事が残りのスタックを扱っています。

あなたのHubSpotヘルプデスクでeeselを試す

公開できないコースについての顧客メールの上に、チーム確認用の返信案を含むeeselの社内メモが表示されたHubSpot Service Hubのチケット。HubSpot向けeesel設定ドキュメントより
公開できないコースについての顧客メールの上に、チーム確認用の返信案を含むeeselの社内メモが表示されたHubSpot Service Hubのチケット。HubSpot向けeesel設定ドキュメントより

Customer Agentをバッチテストした上で、実際の履歴に基づく証拠がまだ欲しいなら、eesel for HubSpotはService Hubの新しいチームメイトのように機能します。HubSpotのナレッジベースと過去チケットから学習し、そのうち数百件を自身の回答に対して再生し、その後ライブチケットを連絡先レコードとともに読み、チームが確認するための返信案を含む社内メモを残します。料金は固定の月額クレジットプランで、100クレジットの無料プランから、500クレジットで月299ドルのプランまであり、処理したチケットまたはチャットが1クレジットという計算です。詳細はeeselの料金ページをご覧ください。

私ならまず無料プランで、よくある質問テーマのコピーを使って試し、その採点済みの回答をHubSpotのテスト結果と比べ、両者が食い違う箇所を確認します。HubSpot自体の接続には、依然として管理者アクセスを持つ人がブラウザで承認する必要があり、回答は何かが公開される前にテストされます。

よくある質問

HubSpot Customer Agentのバッチテストとは何ですか?
管理者が保存した質問セットをCustomer Agentに実行させ、実際のチャネルに展開する前にすべての回答を確認できるツールです。HubSpotのドキュメントによると、質問は自分で書くことも、既存の会話から生成することもできます。製品全体についてはHubSpot AIエージェントのガイドをご覧ください。
バッチテストにはどのHubSpotプランが必要ですか?
HubSpotはMarketing Hub、Sales Hub、Service Hub、Data Hub、Content Hub、Smart CRMのいずれかでProfessionalまたはEnterpriseを求めています。加えてCustomer agent editor権限と割り当てられたシートが必要です。各プランの費用はHubSpotの料金の記事で詳しく説明しています。
HubSpotのバッチテストでは何個のテストセットを作成できますか?
HubSpotの記事では最大8個のテストセットを作成できるとしています。1セットあたりの質問数の上限は、私が読んだページには記載がありませんでした。セットは自動保存されるので、どのテーマに専用セットを割くか計画し、構成の参考にはAIエージェントの公開前チェックのガイドをどうぞ。
HubSpotのバッチテストはクレジットを消費しますか?
HubSpotの設定ガイドでは、Customer AgentのプレビューとテストはHubSpotクレジットを消費せず、クレジットはエージェントが解決に至った場合のみ消費されるとしています。バッチテストの記事はバッチ実行についてこれを改めて明記していないため、トライアルのポータルで確認してください。クレジットの計算はHubSpot AIエージェントの料金の記事にまとめています。
HubSpot Customer Agentを過去のチケットでテストできますか?
HubSpotはライブの会話から抽出したテーマをもとに質問を生成でき、テーマとして表示されるには類似の会話が最低5件必要です。これは質問生成ツールであり、過去のチケットを1件ずつ再生して採点するものではありません。eeselのSimulationスキルは実際の過去チケットを再生するもので、詳しくはAIサポートのシミュレーションテストのガイドで説明しています。
HubSpotのテスト回答を「Looks bad」とマークするとどうなりますか?
管理者が後で確認するためのメモを書くか、Coach agentをクリックしてエージェントのKnowledge、Actions、Handoff、Experienceの設定を編集できます。HubSpotはメモだけではエージェントは更新されないとしています。ハンドオフの設計についてはAIエージェントのハンドオフのベストプラクティスをご覧ください。
支払う前にHubSpot Customer Agentを無料で試す方法はありますか?
HubSpotはエージェントを初めて設定する際に、オプトインで14日間の無料アクセスを提供しており、その間はクレジットが消費されません。最初のテストセットを実行するのに良い期間です。HubSpotのチャットボットとの比較が必要な場合は別記事で扱っています。
eeselはHubSpotで公開する前に自分の回答をテストできますか?
できます。eeselのドキュメントによると、Simulationスキルはエージェントを数百件の過去チケットや生成したテストケースに対して実行し、各回答を採点し、指示の変更を提案します。解決率を予測するものではありません。Service Hubでのアクションについてはeesel HubSpot連携をご覧ください。

Share this article