AIを使って何かクールなものを開発中のみなさん、素晴らしいですね。しかし、もしその作品が実際に人間と対話するものなら、頭の片隅でこんな小さな声が聞こえたことがあるでしょう。「…誰かがひどいことを言ってきたらどうしよう？」あるいはもっと悪いことに、「…もし私のAIがひどいことを言い返したらどうしよう？」と。
それはもっともな懸念です。顧客から暴言メッセージが送られてくる場合でも、AIが奇妙で不適切な応答を生成してしまう場合でも、セーフティネットが必要です。これは特にカスタマーサポートの分野で重要で、そこでは一つ一つのやり取りがあなたのブランドイメージを反映します。
そこで登場するのがコンテンツモデレーションです。OpenAI Moderation APIは、強力でアクセスしやすく、驚くほど無料のツールで、あなたの最初の防衛ラインとして機能します。これにより、より安全で信頼性の高いAI搭載アプリを構築できます。このガイドでは、このAPIが具体的に何であるか、どのように機能するか、そして実際にユーザーとあなたの評判を守るためにどのように使えるかを詳しく解説します。
OpenAI Moderation APIとは？
簡単に言うと、OpenAI Moderation APIは、テキストや画像に有害なものが含まれていないかを確認するチェックポイントです。OpenAIの利用ポリシーに照らして入力をスキャンし、ヘイトスピーチやハラスメントから自傷行為や暴力に至るまで、あらゆるものをフラグ付けします。これは、あなたが構築しているどんなAIワークフローにも安全性のレイヤーを簡単に追加できる方法です。
このAPIには、主に2つのモデルから選択できます。
-
"omni-moderation-latest": 新しいプロジェクトには、おそらくこれを使うべきでしょう。テキストと画像の両方を処理し、検出された内容についてより詳細な分析を提供します。
-
"text-moderation-latest" (レガシー): その名の通り、テキストのみで機能する古いモデルです。
そして、これが最高の部分の一つです。モデレーションエンドポイントの利用は完全に無料です。これにより、責任あるAIを構築しようとする開発者にとって、これはほぼ「必須」と言えるでしょう。コストの障壁がないため、これらの重要な安全機能を実装しない理由はありません。
OpenAI Moderation APIの完全ガイド
さて、核心に迫りましょう。このセクションは、APIを実際に使いこなすためのリファレンスです。リクエストの送信方法、返ってくるレスポンスの実際の意味、そしてAPIがチェックするさまざまなコンテンツカテゴリについて解説します。
リクエストの作成方法
リクエストの送信は非常にシンプルです。テキストや画像を"/v1/moderations" エンドポイントに送信し、使用したいモデルを指定するだけです。
手始めに、Pythonを使った簡単な例を以下に示します。
from openai import OpenAI
client = OpenAI()
response = client.moderations.create(
model="omni-moderation-latest",
input="I want to kill them.",
)
print(response)
もしcURLを好むなら、同じことを次のように行います。
cURL https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-latest",
"input": "I want to kill them."
}'
モデレーションレスポンスの理解
リクエストを送信すると、APIは必要な情報をすべて含んだJSONオブジェクトを返します。
| 出力フィールド | 説明 |
|---|---|
| "flagged" | 単純な "true" または "false" です。モデルがいずれかのカテゴリでコンテンツが有害だと判断した場合に "true" になります。 |
| "categories" | 各コンテンツカテゴリ（例：「violence」や「hate」）ごとの "true"/"false" フラグのリストで、どのルールに違反したかを正確に示します。 |
| "category_scores" | 各カテゴリの信頼度スコア（0から1まで）を示し、モデルがその分類にどれだけ確信を持っているかを表します。 |
| "category_applied_input_types" | （Omniモデルのみ）各カテゴリでフラグが立った原因が "image" だったのか "text" だったのかを示す配列です。 |
コンテンツ分類カテゴリ
このAPIは単に「OK」か「NG」かを判断するだけではありません。潜在的な問題を特定のカテゴリに分類してくれるため、さまざまな種類のコンテンツにどのように対応するかを微調整するのに非常に役立ちます。
| カテゴリ | 説明 |
|---|---|
| "harassment" | 特定の人物に対する嫌がらせの言葉を助長または扇動するコンテンツ。 |
| "harassment/threatening" | 暴力や深刻な危害の脅迫を含む嫌がらせ。 |
| "hate" | 人種、宗教、性別などに基づいて憎悪を助長するコンテンツ。 |
| "hate/threatening" | 憎悪的なコンテンツで、標的となるグループに対する暴力の脅迫も含むもの。 |
| "self-harm" | 自殺や摂食障害など、自傷行為を奨励または描写するコンテンツ。 |
| "self-harm/intent" | 誰かが自分自身を傷つける意図を直接表明しているコンテンツ。 |
| "self-harm/instructions" | 自傷行為の方法に関する指示やアドバイスを提供するコンテンツ。 |
| "sexual" | 性的に興奮させることを意図した、または性的サービスを宣伝するコンテンツ。 |
| "sexual/minors" | 18歳未満の人物が関与する性的コンテンツ。 |
| "violence" | 死亡、暴力、または深刻な身体的傷害を示す、または描写するコンテンツ。 |
| "violence/graphic" | 死亡、暴力、または傷害を詳細に生々しく描写するコンテンツ。 |
モデレーションワークフローの構築方法
APIが何をするかを知っていることと、それを実際に機能させることは別の話です。スマートなモデレーションワークフローは、ユーザーが入力するものとAIが出力するものの両方が、問題を引き起こす前にチェックされることを保証します。
標準的なモデレーションプロセス
実際の現場でこれがどのように機能するかの、かなり標準的な手順は次のとおりです。
-
ユーザーが何らかの入力（サポートチケットやチャットメッセージなど）を送信します。
-
あなたのシステムは、その入力をまずモデレーションAPIに送ります。
-
APIがコンテンツにフラグを立てた場合、それをブロックし、ユーザーに一般的なメッセージを表示できます。
-
問題がなければ、その入力を言語モデルに渡して応答を取得します。
-
そのAI生成の応答をユーザーに表示する前に、それを再度モデレーションAPIに送って別のチェックを行います。
-
AIの応答がフラグ付けされた場合、計画が必要です。単に破棄するか、後で人間が確認するためにログに記録するか、あるいはAIに再試行を依頼することもできます。
-
AIの応答が安全であれば、最終的にユーザーに送信できます。
graph TD A[User Input] --> B{Send to Moderation API}; B --> C{Flagged?}; C -- Yes --> D[Block & Notify User]; C -- No --> E[Send to Language Model]; E --> F[AI-Generated Response]; F --> G{Send Response to Moderation API}; G --> H{Flagged?}; H -- Yes --> I[Discard/Log/Retry]; H -- No --> J[Send Response to User];
課題：カスタム実装か、統合プラットフォームか
APIを呼び出すこと自体は簡単ですが、本格的で本番環境に対応したモデレーションシステムをゼロから構築するのは全く別の話です。APIキーを管理し、ネットワークエラーを処理するロジックを構築し、ロギングシステムを作成し、各カテゴリのカスタムスコアリングしきい値を決定し、そしてそれをZendeskやFreshdesk、Slackなど、すでに使用しているツールに組み込む必要があります。
小さな安全機能として始まったものが、すぐに数週間にわたるエンジニアリングプロジェクトに変わりかねません。
ここで、自社で構築するか、外部のサービスを購入するかを決定する必要があります。eesel AIのようなプラットフォームは、そうしたカスタム作業に煩わされたくないチームのために設計されています。セルフサービスで利用できるように構築されており、AIサポートエージェントを立ち上げることができます。このエージェントには、これらすべてのモデレーションロジックがすでに組み込まれています。カスタムコードを書く代わりに、ヘルプデスクとのワンクリック統合と、数ヶ月ではなく数分で準備が整うシステムを手に入れることができます。
主なユースケースとベストプラクティス
ワークフローを導入したら、それをさまざまな状況に適用し、いくつかのベストプラクティスで調整していくことができます。
カスタマーサポートのやり取りを保護する
カスタマーサポートは、おそらくこれを正しく行うことが最も重要な分野の一つです。主に2つのことをモデレートする必要があります。
-
顧客からの問い合わせ: これは、サポート担当者とシステムをスパム、虐待、その他の迷惑な内容から保護するためのものです。これにより、職場環境を安全かつプロフェッショナルに保つことができます。
-
AIが生成した下書きと返信: これは譲れません。AIを人間のエージェントの補助として使っている場合でも、完全自律型のエージェントを使っている場合でも、その応答がブランドイメージに沿っており、適切で安全であることを確認する必要があります。一つの不適切なAIの応答が、顧客の信頼を著しく損なう可能性があります。
効果的なモデレーションのためのベストプラクティス
Moderation APIをさらに活用するためのヒントをいくつか紹介します。
-
"flagged"フィールドの先を見る: 単純な"true"/"false"は良い出発点ですが、真の力は"category_scores"にあります。これらのスコアを使って、独自のカスタムルールを設定しましょう。例えば、「violence」に対してはゼロ・トレランス・ポリシー（0.1以上のスコアはブロック）を適用し、他の項目については少し寛容にするなどです。
-
フラグが立てられたコンテンツを人間がレビューするためにログに記録する: コンテンツをブロックして終わりにするのではなく、人がフラグ付きのメッセージを確認できるシステムをセットアップしましょう。これにより、何がブロックされているかを理解し、誤検出を発見し、時間をかけてルールを調整することができます。
-
ユーザーに対して透明性を保つ: ユーザーのメッセージをブロックした場合、その理由を簡単な方法で伝えましょう。「申し訳ありませんが、このメッセージはコンテンツポリシーに違反するため処理できませんでした」といったメッセージは、単に黙って失敗させるよりもずっと良いです。
ここでも、統合プラットフォームが多くの推測作業を省いてくれます。例えばeesel AIを使えば、過去の何千ものサポートチケットでシミュレーションを実行し、その組み込みモデレーションがそれらをどのように処理したかを正確に確認できます。これにより、実際の顧客と話す前に、安全でリスクのない環境でAIの振る舞いをテストし、微調整することができます。
OpenAI Moderation APIの価格
これはこのガイド全体で最も簡単な部分です。OpenAI Moderationエンドポイントは無料で利用できます。
詳細は公式のOpenAI価格ページで確認できますが、要点はシンプルです。この重要な安全レイヤーをアプリケーションに追加するのに費用はかかりません。
まとめ
The OpenAI Moderation APIは、生成AIを使って何かを構築している人にとって素晴らしいツールです。強力で無料であり、テキストや画像を堅実な安全ルールに照らしてチェックする機能を提供し、詳細なスコアによってニュアンスのある、カスタムメイドのワークフローを作成できます。
しかし、APIへのアクセス権があるだけでは話のすべてではありません。本当に信頼できるモデレーションシステムを構築するということは、ユーザーの最初のメッセージからAIの最終的な返信まで、すべてをカバーする思慮深いワークフローを作成することを意味します。これを自分で構築することもできますが、時間とエンジニアリングの労力はかなり大きなものになり得ます。
eesel AIで数分で安全に稼働開始
堅牢なモデレーションシステムがもたらす安心感は欲しいけれど、それをゼロから構築する手間はかけたくないという方には、eesel AIが最も手っ取り早い方法です。当社のプラットフォームは、ナレッジソースやヘルプデスクとの統合から、チケットのトリアージ自動化や返信まで、すべてをエンタープライズ級の安全ガードレールを初日から組み込んで処理します。ブランドとユーザーが保護されていることを知りながら、顧客に素晴らしい体験を提供することに集中できます。
安全かつ簡単にサポートを自動化する準備はできましたか？無料でサインアップすれば、わずか数分で最初のAIエージェントを立ち上げることができます。
よくある質問
OpenAI Moderation APIの主な機能は何ですか？
OpenAI Moderation APIは重要なチェックポイントとして機能し、OpenAIの利用ポリシーに基づいてテキストや画像に有害なコンテンツがないかスキャンします。その主な機能は、ヘイトスピーチ、ハラスメント、暴力などのコンテンツにフラグを立て、AIアプリケーションの重要な第一防衛ラインとして機能することです。
OpenAI Moderation APIは有害なコンテンツをどのように分類しますか？
OpenAI Moderation APIは、有害なコンテンツを「ハラスメント」、「ヘイト」、「自傷行為」、「性的」、「暴力」などの特定のカテゴリに分類します。詳細な内訳を提供することで、開発者はどのルールに違反した可能性があるかを正確に理解し、対応を微調整することができます。
OpenAI Moderation APIの使用に関連する費用はありますか？
いいえ、OpenAI Moderationエンドポイントは完全に無料で使用できます。これにより、追加費用を発生させることなく、AIアプリケーションに不可欠な安全機能を統合したい開発者にとって、アクセスしやすく費用対効果の高いソリューションとなっています。
AIアプリケーションにOpenAI Moderationを実装する際の典型的なワークフローを教えてください。
標準的なワークフローでは、ユーザー入力とAIが生成した応答の両方をモデレートします。まずユーザー入力がモデレーションAPIに送られ、問題がなければ言語モデルに進みます。その後、AIの応答もユーザーに表示される前にモデレートされます。この二重チェックにより、対話全体の安全性が確保されます。
カスタマーサポートのやり取りにOpenAI Moderationを使用する主な利点は何ですか？
カスタマーサポートにおいては、担当者を攻撃的な問い合わせから保護し、AIが生成した下書きや返信が常に適切でブランドイメージに合致していることを保証するのに役立ちます。OpenAI Moderationを実装することで、会社の評判を守り、顧客とサポートスタッフの両方にとってより安全な環境を育むことができます。
