GorgiasのAI品質保証:Auto QAが評価するもの、評価しないもの

Riellvriany Indriawan
執筆者

Riellvriany Indriawan

Katelin Teen
レビュー者

Katelin Teen

最終更新 2026年11月21日

専門家による検証済み
ラップトップに向かって笑顔のサポートリーダーの横で、フレンドリーなロボットが3枚のチケットカードのリストを指しているイラスト。2枚にはコーラル色のチェックマークが付いており、コーラル色の背景にGorgiasのロゴがある
TL;DR

GorgiasのAI品質保証はAuto QAです。テキストチケット(ソーシャルや電話は除く)が終了してから12時間後に、AIが7つの基準中3つでそれを評価します(resolution completeness、communication、language proficiency)。これは月額30ドルからのAI Agentサブスクリプションに含まれます。残りの4つの基準(accuracy、efficiency、internal compliance、brand voice)は人だけが評価します。そして自分で基準を追加することはできません。つまりAuto QAは、チケットが礼儀正しく、きちんとした日本語で返信されたかどうかは教えてくれますが、その回答があなたの返品ポリシーに従っていたかどうかは教えてくれません。その部分は、リードがサンプルを手動で評価するか、eeselのようなAIチームメイトが、あなたが書いたルーブリックに沿って終了した各チケットを読みます。Claude Codeのようなコーディングエージェントと作業しているなら、そのルーブリックをeeselに書き込み、eesel CLIでスケジュールを設定できますが、Gorgiasの接続自体には管理者の承認がまだ必要です。

GorgiasのAI品質保証とは何ですか?

GorgiasのAI品質保証はAuto QAという機能です。エージェントが会話を終了するたびに、Gorgiasは「Auto QAを使ってAIでチケットの品質を自動的に評価し、スコアを割り当てます」と、そのAuto QAのヘルプ記事は述べています。各スコアには、それを説明する書面でのコメントが付き、スコアはCSAT結果の横にあるレポートに集計されます。

私はeeselのサポートチームで働いていますが、この主張には説得力があります。CSATアンケートは、わざわざ回答してくれる顧客の声しか聞けません。Gorgiasの発表記事も同じ点を指摘しています。「CSATスコアを残す時間を取ってくれる顧客はほんの一部です。でも残りの人たちはどうでしょう?」Auto QAの答えは、対象となるすべてのチケットを評価することです。これは、チケットを手動で読むリードには決してできないことです。

落とし穴は「対象」という言葉にあり、そしてAIが実際に評価する基準にあります。この記事の残りはそれについてです。

Gorgias Auto QAのスコアパネルが終了したチケットの横に表示され、ResolutionはAIの理由付きでCompleteとマークされ、Communicationは文法とぎこちない表現についてのコメントとともに5点中3点と評価されている
GorgiasのAuto QA発表記事にある通り、各スコアには理由が付き、リードは両方を編集できる。

Gorgias Auto QAは何を評価しますか?

Auto QAは3つの基準をAIで評価し、4つを人に任せます。ヘルプ記事は7つすべてを挙げており、指標の用語集がどれがどれかを確認しています。

AIによって自動的に評価される基準:

  • Resolution completeness:エージェントは顧客が挙げたすべての問題に回答し、解決したか?はい/いいえで、CompleteまたはIncompleteとして表示される。
  • Communication:共感、積極的な傾聴、明確なメッセージングを1〜5で評価。指標の用語集には忍耐、積極性、適応力も加わる。
  • Language proficiency:会話の言語における綴り、文法、構文を1〜5で評価。Gorgiasはローンチ後、Automate顧客向けの変更履歴の記事でこれを追加した。

リードまたは管理者だけが1〜5のスケールでそれぞれ評価する基準:

  • Accuracy:エージェントは正しい解決フローを使い、正確な情報を伝えたか?
  • Efficiency:エージェントはチケットを素早く、少ないやり取りで処理したか?
  • Internal compliance:エージェントは正しいタグとマクロを使い、エスカレーションと統合の手順に従ったか?
  • Brand voice:エージェントはあなたの語彙、署名、トーン、声を使ったか?
Gorgias Auto QAの7つの基準を2列に分けた手描きの図。resolution completeness、communication、language proficiencyはAIが評価し、accuracy、efficiency、internal compliance、brand voiceはリードまたは管理者が手動で評価する。カスタム基準は利用できないという注記付き
3つの基準は自動的に埋まる。あなた自身のポリシーに依存する4つは、人を待っている。

それぞれの基準がどちら側に落ちるかを見てください。AIの3つの基準は、モデルが会話だけから判断できるものです。すべての質問に答えたか、親切だったか、よく書けていたか。手動の4つはすべて、あなたのビジネスについての知識を必要とします。返金ルール、タグ付けの仕組み、声です。GorgiasのCSATタブのドキュメントははっきりしています。その4つは「レビュアーがチケットを評価するまで空のままです」。

そして、それ以上をAIに教えることはできません。「カスタムQA基準を作成できますか?」という質問に、ヘルプ記事は「いいえ、現時点ではできません」と答えています。できることは、スコアを修正することです。レビュアーが1件を編集すると、Gorgiasは「その変更を集めてAIモデルを訓練し、微調整することで、似たチケットの将来の評価を改善します」としています。

Auto QAはどのチケットを評価し、どれをスキップしますか?

Auto QAは本当のやり取りがある、終了したテキストチケット(ソーシャルや電話は除く)を評価します。ヘルプ記事によると、以下はスキップされます。

  • ソーシャルと電話のチケット:Facebookのメッセージ、メンション、おすすめ;Instagramのメンション、コメント、広告コメント;Gorgias Voice;そしてAircall。
  • 短いチケット:チケットには少なくともエージェントのメッセージ1件と顧客のメッセージ1件が必要で、会話全体で250文字を超える必要がある。
  • エージェントから来ていないもの:AIは公開メッセージしか読まず、社内メモやメタデータは読まない。そしてFlows、Rules、Gorgias Botからのメッセージは無視する。

タイミングも重要です。チケットは終了から12時間後に評価されるため、今朝終了したチケットを開くリードはパネルが空のままだと気づくでしょう。2件のチケットが統合されると、統合先のチケットはそのスコアを保持します。

含まれるものが1つあります。それはGorgias自身のAIです。Auto QAのブログ記事は「人またはGorgias AI Agentのどちらが対応したかにかかわらず、プライベートなテキスト会話の100%」を評価すると述べており、レポートにはAI Agentがあなたのチームと並んで1行として表示されます。Gorgias AI Agentを運用しているなら、それが顧客に何を伝えているかを見張る安価な方法です。

AI Agentが終了させたGorgiasチケットのAI Feedbackタブ。Auto QAの7つの基準すべてが表示され、ResolutionはCompleteとマークされ、CommunicationとLanguageは5点中5点、Brand voiceはレビュアーが入力し、エージェントがブランドの語彙とトーンを使ったかを尋ねるテキストボックスがある
GorgiasのAuto QA記事にある通り、AI Agentのチケットにも同じ7つの基準が適用される。

Gorgias Auto QAの料金はいくらですか?

Auto QA自体に料金はかかりません。AI Agentサブスクリプションに含まれます。Auto QAのヘルプ記事はそれを「AI Agentサブスクリプションがあるすべてのヘルプデスクプランで利用可能」としており、CSATレポートのドキュメントは、Auto QAの指標が「AI AgentサブスクリプションまたはアクティブなAI Agentトライアルのあるアカウント」に表示されるとしています。

Gorgiasの料金ページ(月払い、2026年11月21日確認)では、AI Agentの料金は以下です。

プランヘルプデスクAI Agent含まれる自動対応件数自動対応1件あたりの追加料金
Starter月10ドル、チケット50件月30ドル301.00ドル
Basic月60ドル、チケット300件月30ドル300.90ドル
Pro月360ドル、チケット2,000件月190ドル1900.90ドル
Advanced月900ドル、チケット5,000件月530ドル5300.85ドル

つまり、最も安く始める方法はヘルプデスクプランに加えて月30ドルです。AI Agentに顧客対応を一度もさせなかったとしても、Auto QAだけのためにその30ドルを払うことになります。Gorgias AI Agentの料金についての私のメモでは、1件あたりの計算をさらに詳しく扱っています。自分の数字を計算するには、Gorgias料金計算ツールを試してください。

GorgiasでAuto QAをどう設定し、使いますか?

設定することはほとんどありません。「AI Agentサブスクリプションを有効にすると、Auto QAはデフォルトで有効になります」とヘルプ記事は述べています。アカウント所有者、管理者、リードだけがスコアを見たり変更したりできます(Gorgiasの権限に完全なリストがあります)。

  1. 評価済みのチケットを見つける。 左上のドロップダウンからInboxを開き、1日以上前に終了したチケットでフィルタする。
  2. スコアを開く。 チケットのサイドバーでAuto QAアイコン(AI Feedbackタブ)をクリックする。各基準の横の三角をクリックしてAIのコメントを読む。
  3. 間違っている部分を修正する。 ドロップダウンから任意のスコアを変更し、AIのコメントを自分のコメントに置き換える。あなたの編集はモデルとレポートにフィードバックされる。
  4. 手動の4つを入力する。 同じパネルで、レビューするチケットのaccuracy、efficiency、internal compliance、brand voiceを評価する。
  5. 傾向を読む。 Analytics、Helpdesk performance、Overviewに進み、CSATタブを開く。CSATタブのドキュメントには、Reviewed ticketsからBrand voiceまでの8つのAuto QA指標と、エージェント、チャネル、ストアごとの内訳表が載っている。
  6. 外れ値を掘る。 指標の値をクリックすると、その背後にあるチケット(すべてのIncompleteチケットなど)が表示される。リードと管理者は、メッセージ内容を含めて最大1か月分、メタデータのみなら最大2.5年分をエクスポートできる。
2024年10月4日から10日までのGorgias Auto QAレポート。13件のレビュー済みチケット、76.92%のresolution completeness率、3.85のcommunicationスコアが表示され、その下のエージェントパフォーマンス表にはAI Agentが9件のレビュー済みチケットとしてリストされている
GorgiasのAuto QA記事にある通り、以前のバージョンのレポートでは、AI Agentがあなたのチームと同じ表にあった。

2つの点が人を驚かせます。AIのコメントは、チケットがフランス語やドイツ語であっても常に英語で書かれます。Gorgiasによれば、OpenAIのGPT-4モデルが対応するどの言語のチケットでも評価できるはずだとしています。そしてCSATタブのグラフはアンケート結果をエージェントタイプ別に分けますが、Auto QAのスコアは分けません。Gorgiasのアナリティクスについての私のメモでは、測定できるそのほかの項目を扱っており、Gorgiasのレポートでは自分のレポートを作る方法を扱っています。

Auto QAはあなたに何を残し、どうカバーしますか?

手動の4つの基準は、ECのリードが通常最も気にする基準です。「エージェントは提供していない返金を提案したか?」はaccuracyです。「ops報告でカウントされるようdamaged_itemタグを付けたか?」はinternal complianceです。「自分たちらしい言い方だったか?」はbrand voiceです。Auto QAは誰かがチケットを読むまで、この3つを空のままにします。

確認したいことを選んで、誰がそれをカバーするか見てみましょう。

終了したチケットで何を確認したいですか?
Auto QAが対応:Resolution completeness
AIは対象の各チケットをCompleteかIncompleteでマークし、理由を示します。
評価する人AI、終了から12時間後
スケールCompleteまたはIncomplete
対象外のチケットSNS、電話、250文字未満
まずレポートから始めましょう。resolution completenessの率をクリックすると、すべてのIncompleteチケットが一覧表示されます。
Auto QAが対応:CommunicationとLanguage proficiency
共感、明確さ、傾聴、そして顧客の言語での綴り、文法、構文。
Who scores itAI, 12 hours after close
スケールそれぞれ1〜5
コメント常に英語
納得できない評価は編集してください。Gorgiasはその編集を使って今後の評価を調整します。
人、またはあなたの方針を知るレビュアー
Accuracyは、Auto QAが単独では評価しない4つの基準の1つです。
Gorgiasではリードまたは管理者が手動で評価
スケール1〜5
他の方法方針資料を渡されたAIレビュアー
誤った返金や架空の発送期間はここに隠れています。あなたの方針を読んだレビュアーが必要です。
人、またはチケットのタグを読むレビュアー
Internal compliance(タグ、マクロ、エスカレーション、統合)はAuto QAでは手動のみで、AIは社内メモやメタデータを読みません。
In GorgiasA lead or admin scores it by hand
Scale1 to 5
他の方法チケットと一緒にタグを読むAIレビュアー
まずルールを書き出しましょう。どのトピックにどのタグを付けるか、どのタイミングでチケットをエスカレーションすべきか。
人、またはあなたのボイスガイドを渡されたレビュアー
Brand voice(語彙、署名、トーン)はAuto QAでは手動のみで、あなたの声を説明することはできません。
In GorgiasA lead or admin scores it by hand
Scale1 to 5
他の方法ボイスガイドを渡されたAIレビュアー
返信を書く時点でも声を確認しましょう。あなたの声で書かれた下書きは、後の修正が少なくなります。

確認したい項目を選ぶと、Auto QAがそれを評価するか、そうでなければ何がカバーするかがわかります。

手動の4つをカバーする方法は3つあります。

サンプルを手動で評価する

最も安い方法は、Gorgiasが想定している方法です。リードが毎週サンプルを読み、同じパネルで手動の4つの基準を入力します。Gorgias自身の導入アドバイスは、まず1〜5の各スコアが何を意味するかを先に合意することです。そうすれば2人のレビュアーが同じチケットに同じ数字を付けられます。サポートQAキャリブレーションがその助けになり、こうしたQAフィードバックの例も同様です。限界は明らかです。人はサンプルを読みますが、すべてのチケットは読みません。

専用のQAツールを接続する

専用のQAツールもGorgiasを読みます。Zendesk QAのGorgiasコネクタはZendeskのQuality AssuranceまたはWorkforce Engagement Managementのアドオンが必要で、接続すると直近24時間分のデータを同期します(それより古いデータはZendeskサポートに依頼するインポートになります)。Zendesk QA自体のスコアカードが手に入ります(私のZendesk QAスコアカードのメモで作り方を扱っています)。そのコネクタのページで、ある顧客がコンテキストについて質問していました。

"Is it possible to pull in additional attributes from Gorgias? E.g. ticket fields, contact reasons, etc? We currently have to view the ticket in Gorgias while we review it in QA, which is not ideal."

その記事は彼女に答えていないので、スコアカードでチケットフィールドに頼る前にZendeskに確認してください。それはまた、顧客の会話を保持するベンダーが1つ増えることでもあり、セキュリティレビューが知りたがる点です。より広いリストについては、サポートQAツールのまとめを見てください。

AIチームメイトにルーブリックで評価させる

3つ目の方法は、あなた自身のルールでチケットを読むAIエージェントです。私がeeselでやるのはこれです。eeselのGorgiasインテグレーションはチケットを読み書きします。スケジュールに従って毎朝、前日に終了したチケットを一覧し、各チケットをタグと一緒に読み、あなたが平易な言葉で書いた基準(「返金提案は返品ドキュメントの30日ポリシーと一致している必要がある」「破損した商品にはdamaged_itemタグを付ける」「サインオフはエージェントの名前で行う」など)で評価し、スコアと理由をチケットの社内メモに残します。見落としをレビュー用にタグ付けし、リード向けにSlackに要約を投稿することもできます。

基準はあなたが書くものなので、実際のポリシーに対するaccuracyとbrand voiceは、ルーブリックに2行追加するだけで済み、いつでも変更できます。できないのは、GorgiasのAuto QAレポートにスコアを入れることです。結果はチケット上、Slack上、またはeeselがあなたのために書くレポート上に存在します。

Brand voiceは、チケットが終了する前にeeselが正しく仕上げられるものでもあります。SaunaSpaceでは、チームが求めたときにeeselがブランドの落ち着いた率直な声でGorgiasの返信を下書きします。約1,550ページのページ、記事、過去のチケットから学び、常に人が送信します。これはQAを前倒しにしたものです。あなたの声で書かれた下書きは、後の修正が少なくて済みます。

Gorgias Auto QAは価値がありますか?

正当に評価すると、Auto QAは理にかなった設計です。対象となるすべてのチケットを評価し、理由を示し、リードに上書きを許し、その編集から学び、AI Agentをあなたのチームと同じルーブリックで評価します。すでにAI Agentに料金を払っている小さなチームにとっては、追加コストなしで「トーンは大丈夫だと思う」を数字に変えてくれます。

私の見解は、Auto QAをトーンと完全性のスクリーニングとして扱い、あなたのQAプログラムそのものとしては扱わないことです。Incompleteのリストとcommunicationの低いスコアを使って、リードが読むべきチケットを選び、そのチケットで手動の4つを入力してください。もし自分のポリシーに対するaccuracyやbrand voiceをすべてのチケットで必要とするなら、Auto QAはそれを与えられません。自分のポリシーや声がどのようなものかをAuto QAに伝えることができないからです。それは、人の時間、QAツール、またはあなたのルールを読むAIレビュアーで埋めるべきギャップです。

Gorgias Auto QAと並べてeeselを試す

Auto QAは評価が得意な3つのことのために残しておき、eeselにはルーブリックの残り、つまり返金ルール、タグ、声を、平易な言葉で書き、ポリシーが変わるたびに更新したうえで、終了したGorgiasチケットを読ませましょう。eeselが自分で何をできるかはあなたが決めます。自分でメモとタグを残す、他のことをする前にリードに確認する、顧客に決して返信しない、といった形です。各アクションは、アクションと承認で実行する、先に確認する、オフにするのいずれかに設定できます。終了したチケット1週間分でeeselを試し、そのメモを自分のレビューと比較してみてください。

eeselの新しいスケジュールジョブのフォーム。タイトル欄、スケジュール実行ごとにエージェントが何をすべきかを尋ねるプロンプト欄、午前9時に選択されたDaily、UTCのタイムゾーンが表示されている
前日に終了したチケットの毎日のレビューは、eeselにおける1つのスケジュールです。

よくある質問

GorgiasにAI品質保証はありますか?
はい。Gorgias Auto QAは終了したチケットをAIでresolution completeness、communication、language proficiencyの基準で評価し、各スコアに書面での理由を追加します。AI Agentのサブスクリプションが必要です。AIサポート品質保証では、AI QAが一般にどう機能するかを扱っています。
Gorgias Auto QAの料金はいくらですか?
Auto QA自体に料金はかかりません。AI Agentのサブスクリプションに含まれており、GorgiasのプランページではStarterとBasicで月30ドル、自動対応30件が含まれ、それを超えるとStarterで1件1.00ドル、Basicで0.90ドルとなります。Gorgias AI Agentの料金に詳しい内訳があります。
GorgiasでカスタムQA基準を作成できますか?
いいえ。Gorgiasのヘルプ記事には、カスタムQA基準は利用できないと書かれています。7つの固定基準があり、そのうちAIが評価するのは3つだけです。自分のルーブリックが欲しい場合、eeselのようなAIエージェントがあなたの書いた基準でチケットを評価できます。サポートQAキャリブレーションがルーブリック作成の助けになります。
Auto QAがスキップするGorgiasチケットはどれですか?
Facebookのメッセージやメンションやおすすめ、Instagramのメンションやコメント、Gorgias VoiceとAircallの通話、そしてエージェントと顧客それぞれ1件以上のメッセージが合計250文字を超えないチケットです。チケットは終了から12時間後に評価されます。Gorgias Facebookコメントではそのチャネルを扱っています。
Gorgias Auto QAはAI Agentの会話も評価しますか?
はい。Gorgiasによると、Auto QAは人またはAI Agentが対応したプライベートなテキスト会話を同じ基準で評価し、レポートにはAI Agentがあなたの人間のエージェントと並んで1行として表示されます。Gorgias AI Agentでは、それが何を処理するかを説明しています。
GorgiasでAuto QAのレポートはどこで見られますか?
Analyticsに行き、次にHelpdesk performance、次にOverviewへ進み、CSATタブを開きます。Auto QAの指標はCSATアンケート結果の横にあり、リードと管理者だけが見られます。Gorgias CSATレポートではアンケート側を扱っています。
Zendesk QAをGorgiasと一緒に使えますか?
はい。Zendesk QAにはGorgiasコネクタがあり、ZendeskのQuality AssuranceまたはWorkforce Engagement Managementのアドオンで利用できます。接続すると、直近24時間の会話を同期します。Zendesk QAではそれが何を評価するかを扱っています。
AIエージェントはブランドボイスとポリシーの正確性についてGorgiasチケットを確認できますか?
はい。eeselはGorgiasに接続し、毎日のスケジュールで実行して、終了した各チケットを読み、あなたが平易な言葉で書いた基準(ポリシーの正確性、正しいタグ、ブランドボイスなど)で評価し、スコアと理由をチケットの社内メモに残せます。Gorgias用eeselに詳細があります。

Share this article