AI回答の評価:反応した人と、報告書に表れない人
AI回答への親指の反応は何を測るのか。分母を定め、反応を個別の結果に結び付け、未評価の回答も確認してからサービス全体を論じます。
記事の言語: 日本語

目次
AIアシスタントの報告書には、肯定的な評価が八割とあります。結論を出す前に、それが回答、利用者、完了した案件、クリックのどれを分母にした割合かを確認してください。
利用者の評価は、体験を知るための有用な情報です。ただし、自動的にすべての回答の正しさを評価したことにはなりません。特定の人が特定の結果について、評価できると気付いた時点で、自発的に反応を残します。それ以外の人は、満足していたのか、不満だったのか、忙しかったのか、反応する機会がなかったのかもしれません。親指を押していないという事実だけでは、そのどれかを判断できません。
社員が社内の提案資料を探すのを助ける、架空のアシスタントを見てみましょう。ある期間に千件の回答を表示しました。そのうち、現在の反応がある回答は百件で、肯定的なものが八十件、否定的なものが二十件です。この計算では、各回答について現在の評価を最大一つだけ数えます。実際のツールを評価しているわけではありません。この単純な数字を使って、報告書に何を書けるか、次の確認をどう計画するかを考えます。
八割は何を表しているのか
肯定的な反応は百件中八十件だった、と言えます。評価された回答の割合も示せます。千件中百件なので、一割です。肯定的に評価された八十件は、回答千件全体の八パーセントに当たります。それぞれ分母が違い、答える問いも異なります。
そこから、残る九百二十件が悪い回答だったとは言えません。九百件には反応がなく、二十件には否定的な反応があります。この二つの状態は分けて保つ必要があります。プログラムが空の評価をゼロに変えると、利用者が与えていない見かけの結果を作ってしまいます。
満足している人の割合も分かりません。一人の社員が三十件を評価し、ほかの人は一件ずつだった可能性があります。その場合、百件の反応は、独立した利用者百人の標本ではありません。人について報告するなら、合意したデータの範囲に沿って、人を適切に区別する方法が必要です。そのために不要な情報まで集めてはいけません。
許可された範囲で人を区別できるなら、反応がどれほど一部の人に集中しているかも示してください。少数の常連利用者を中心とした報告書は、その人たちの体験をよく表していても、初めてアシスタントを使う人についてはあまり語れないかもしれません。各クリックに恣意的な重みを付けて解決しようとしないでください。まず、各グループの実際の参加状況と、答えようとしている問いを説明します。
AAPORによる調査回答率と調査の質の説明は、回答率だけを質の決定的な尺度として扱うことに注意を促しています。ほかの証拠と、明示された方法も必要だとしています。これはアンケート調査についての資料です。これを参照しても、アシスタントへの自発的な親指の反応が、代表性のある世論調査になるわけではありません。
報告書の母集団を明記してください。選んだ期間、チャネル、バージョンで表示された、アシスタントのすべての回答です。内部テスト、作成者のプレビュー、何度も再読み込みされた同じ回答が件数に含まれていないかを確認します。割合を計算する前に、何を一つの出来事として数えるかを定義します。
すべての利用者が回答を評価できたかも確認する必要があります。パネルにはボタンがあっても、メッセージアプリへ転送した文章にはないかもしれません。その場合、後者のチャネルに反応がない理由は技術的なものです。統合した報告書ではそれを示し、二つのグループの評価への意欲が違うかのように比べないでください。
評価の割合を上げるためだけに、親指の選択を必須にしないでください。強制された反応は、ウィンドウを閉じたい気持ちを表しているかもしれません。まず、どの情報が必要で、人がどの時点なら意味のある回答をできるかを決めます。記録が増えても、サービスの有用性についての知識が増えるとは限りません。
その反応は、どの回答に付いたのか
管理された例で二つの回答を生成し、二つ目がすでに見えている状態で、一つ目を評価してください。保存された記録を確認します。評価は、人がボタンを押した場所の結果を指している必要があります。会話の中に十数件の異なる提案があるなら、会話IDだけでは足りません。
Microsoft Foundryの利用者フィードバック記録の文書は、評価を特定のトレースや、実行の一区間であるスパンと結び付ける方法を説明しています。この機能はpreviewと表示されています。ここで参照するのは、データを関連付ける原則です。このバージョンの本番導入を勧めたり、あらゆるアシスタントで使えると述べたりするものではありません。
評価と一緒に回答のバージョンと、ボタンが何を評価するかを残してください。利用者は文章を修正したあとや、検索結果から別の文書を選んだあとで親指を押すことがあります。そのとき、元の提案、自分で作業したあとの結果、会話全体のどれを評価したのかを理解する必要があります。フィールドに「feedback」と名付けても、チームの代わりに意味を説明してはくれません。
反応を変更する操作も確認します。最初は肯定的な評価を付け、ファイルを開いて古い提案資料だと気付き、否定的な評価へ変える場合です。報告書に回答の現在の評価を示すのか、操作の履歴を示すのかを合意してください。同じ人の二回のクリックが、いつの間にか異なる二つの結果への評価になってはいけません。
選択を取り消せるインターフェイスなら、評価を削除することと、反対の評価を選ぶことを分けてください。現在の反応がない状態と、否定的な反応は、別の情報です。この流れは画面だけでなく、エクスポートしたデータでも確認します。アイコンが中立の色に戻っても、システムは以前の出来事を数え続けているかもしれません。
時間を置いて戻り、過去の回答を評価する場合も試してください。一つの報告書がクリックの日に反応を計上し、別の報告書が回答の生成日に計上するなら、期間比較の対象は異なります。どちらの見方も役立つ場合があります。ただし、名前を付け、区別できるようにしなければなりません。

肯定的な反応は、作業の完了を確認しているか
この例では、古いファイルへ案内する回答でも、速くて丁寧だと利用者が高く評価するかもしれません。逆に、探している資料はまだ存在しないという正しい案内に、否定的な反応を付けることもあります。出典との一致、感じた有用性、満足度は、別の軸です。結果を独立に確認するために、利用者の反応を捨てる必要はありません。
OpenAIは2025年5月の過度な同調の問題に関する説明で、利用者の好みを示す信号が、より利用者に同調する回答を後押しした可能性と、良好なテスト結果では振る舞いの問題全体を捉えられなかったことを述べています。これは提供元が自らの問題を説明した資料です。皆さんのアシスタントの診断でも、すべての親指の反応が有害だという証拠でもありません。
そのため、作業結果は別に確認してください。提案資料の検索なら、ファイルが存在するか、正しいバージョンか、質問の範囲に合っているかを調べます。判断の根拠を残してください。結果と反応を照らし合わせて初めて、誤りがあっても満足している場合と、正しい回答でも不満がある場合が見えてきます。
利用者がまだ確認する機会のなかったことを尋ねないでください。資料を開く前に選ばれた親指は、体験のもっと早い時点を表しています。そのファイルで提案書を用意できたかを知りたいなら、作業後の情報が必要です。この質問の設計は、作業後アンケートの難しさと満足度を扱う記事で (ポーランド語)扱っています。
コメント欄を追加するなら、原因を一つに誘導せず、問題を説明しやすくしてください。「何が評価に影響しましたか」なら、「モデルが間違えた」という必須選択より余地があります。原因は、古いファイルが見つかったこと、アクセスできなかったこと、待ち時間が長かったことかもしれません。利用者に、システム内部の構成まで判断させないでください。
反応を指示文の変更材料に使う前に、AIフィードバックデータの出所を振り返ってください。肯定的な親指は、文章全体を検証済みの参照資料にするものではありません。一つの目的で役立ったという確認は、その中のすべての主張を承認してはいません。AIの出力が入力に戻る場合を扱う記事も (ポーランド語)参考になります。
誰も評価していない回答を、どう確認するか
反応のない回答も、独立した確認の対象に選んでください。否定的な二十件だけに限ると、評価されていない回答が最初から確認の対象外になります。抽出方法と範囲を記述してください。期間、チャネル、作業の種類、ツールのバージョンです。評価対象の回答との関連付けも保ちます。
よくある質問と少ない質問に確認を振り分けて、重要なグループが抜けないようにもできます。意図的に比率を変える抽出なら、グループごとの結果を示してください。意図的にグループを均等にした標本の平均を、構成比や選び方を考慮せずに、全体の回答を表す推定値として示してはいけません。タスク群ごとのAI評価結果の集計を扱う記事は (ポーランド語)、この境界を追う助けになります。
確認では、反応がないことと、結果が届いていないことを分けてください。アシスタントが何かを表示する前に、利用者が作業を中断したかもしれません。その案件は、この例の表示された千件には含まれませんが、サービス全体の評価には関わることがあります。両方を基に一つの判断をしたいなら、報告書で二つの範囲を示す必要があります。
沈黙の理由を作り足さないでください。未評価の回答に誤りが見つかっても、それが原因で利用者がボタンを押さなかったとは証明できません。資料の質を確認し、反応した理由や反応しなかった理由は、合意した調査で別に尋ねることができます。これにより、データで裏付けられない魅力的な物語が報告書に入り込むのを防げます。
確認する人が事前に何を知らされるかも重要です。「これは否定的な親指が付いた回答です」と知らされると、評価情報なしで資料を見る場合とは違う手がかりから始めることになります。正しさの独立した確認が目的なら、自分の判断を出すまで反応を隠す方法を検討してください。その条件は、AIの提案前に行う人による独立評価を扱う記事で (ポーランド語)扱っています。
見つかった誤りの種類と根拠を残してください。「監査担当者の一致率」という新しい割合だけでは不十分です。修正対象が出典のバージョンなのか、アクセスの可否なのか、回答の仕方なのか、評価を尋ねる質問自体なのかを知る必要があります。それぞれ、次に行う仕事が異なります。
修正したら、見つけた例に戻り、現在の利用で新たに得られる対応する結果を確認してください。肯定的な反応の割合が増えただけでは、古いファイルが検索から除かれたとは確認できません。正しい文書を読み、回答がその最新版を使っているかを確かめる必要があります。利用者の評価も引き続き観察してください。そうすれば、正しさの変化と、人が新しい経路を役立つと感じたかを、別々に見られます。
意思決定者には何を示すべきか
報告書には、表示した回答数、評価された回答数、反応の内訳、独立した確認の範囲を含めてください。架空の千件で反応が一割だったことを、残る九割についての推測に変えてはいけません。どの情報が観察されたもので、何がまだ集められていないかを示します。
期間を比較する際は、インターフェイスの変更を確認してください。ボタンが目立つようになれば、回答の質が変わらなくても評価件数は増えるかもしれません。新しくコメントを求めることで、反応する人の割合が減る場合もあります。評価の集め方のバージョンを、アシスタントのバージョンと一緒に記録してください。指標の変動をすべてモデルに帰さないことです。
評価を、結果を使うために必要な時間や作業と合わせて見てください。AIを使う仕事の時間測定では、その後の修正も含めます。素早い提案に満足していても、正しい文書を探すのに長い時間がかかることはあります。その場合、改善すべきなのは、文章を表示する瞬間だけでなく、一連の流れです。AIを使う仕事の時間測定についての記事も (ポーランド語)参照できます。
Aeneia Auditでは、一つの報告書と、評価状態の異なる機密性のない例をいくつか用意するところから確認を始められます。チームが件数の出所と、クリックの参照先を再現できるとよいでしょう。









