同じAIテスト、二つの評価。集計方法で何が変わるのか
マイクロ、マクロ、加重平均F1は異なるAI案を示すことがあります。同じ架空のテストを計算し直し、集計規則と判断の関係を確認します。
記事の言語: 日本語

目次
二つの報告書が、同じテストを説明しています。一方はA案を、もう一方はB案を推しています。どちらも行を落としたわけでも、モデルを取り違えたわけでもありません。違うのは、結果を一つの数字にまとめる方法です。こんな食い違いがあっても、電卓が壊れているとは限りません。意思決定者が知りたいこととは別の問いに答えているのかもしれません。
ここでいう集計は、複数の評価を、選んだ規則に従って要約することです。マイクロ(micro)はデータ全体の判定結果を合算し、マクロ(macro)は各クラスを等しい比重で扱い、加重平均はクラスごとの件数を反映します。経営陣への報告に使う指標を一つに絞る前に、その計算方法が今回の作業で何を有利にするのか確認しましょう。
質問を「製品カード」「配送条件」「資料へのアクセス」の三つに分類するアシスタントの、架空のテストを考えます。各質問の正解クラスは一つだけで、どちらの案もラベルを一つ返します。同じ100問を使い、製品カードが80問、配送が10問、アクセスが10問です。回答拒否も、集計から除いた事例もありません。あくまで計算例であり、いずれかの製品を測定した結果ではありません。
比較で固定するものは何か
入力、参照用の正解ラベル、両案の予測を固定します。予測とは、それぞれが割り当てたカテゴリです。計算方法を変えるたびにモデルを変えたり、都合のよい標本を選んだりはしません。同じ回答を別の方法でまとめます。そうすれば、別の実行で何が起きたのか推測するのではなく、推奨が変わった理由を集計方法に求められます。
A案は、製品カードの80問をすべて正しく分類します。配送の10問は4問を正しく分類し、6問を製品カードに振り分けます。アクセスも同じで、4問が正しく、6問が製品カードに割り当てられます。正解は合計88問です。製品カードのカテゴリに、ほかのカテゴリの質問が12問集まっています。
B案は、製品カードの68問を正しく分類し、6問を配送に、6問をアクセスに振り分けます。二つの小さいクラスでは、それぞれ10問中9問が正しく、1問が誤って製品カードに送られます。合計86問が正解です。両案とも同じ三つのカテゴリで誤りが生じますが、その分布が違います。
メッセージ分類の評価では、ラベルの意味や誤りの種類を定めることが基本になります。ここでは、その定義はすでに決まっています。考えるのは次の判断です。出来上がった二組の予測を比較する一つの数字に何を使い、その数字では何が見えなくなるのでしょうか。 詳しくはAIによるメッセージ分類のテストを扱う記事で (ポーランド語)確認できます。
計算前に、クラス名が今も同じ処理を意味しているか確認します。データを出力する間に配送とアクセスを統合したのなら、列名を合わせるだけでは不十分です。作業そのものが変わっています。以前の分類と新しい分類を、平均の計算方法だけが違うかのように比べてはいけません。
両方の集計に含めた質問の一覧を確認してください。この例では同一です。一方の案がラベルを返さなかったからといって、その案の報告書からだけ該当項目を除き、なお同じテストだと説明することはできません。未回答の評価方法を先に決め、その件数も示します。実際に返された回答だけを評価する報告は可能ですが、その場合は、割り当てた全作業の結果と明確に区別する必要があります。
マイクロはいつ多数派クラスに有利になるのか
precision_recall_fscore_supportのドキュメントによれば、マイクロは全体の真陽性と二種類の誤りを合計してから指標を計算します。マクロはクラスごとの値を重みなしで平均し、weightedは各クラスに実際に属する事例の数を重みとして使います。
今回の作業では、各質問に三つのラベルのうち一つを付けます。そのため、誤った予測一件は、正解クラスを一件見落とすと同時に、予測したクラスへ一件を誤って割り当てます。A案の合計は真陽性88、偽陽性12、偽陰性12です。したがってマイクロF1は176を200で割った0.88です。B案は172を200で割った0.86になります。
F1は適合率と再現率を一つにまとめる指標です。ここでは、同じ結果になる計算式を使います。真陽性の2倍を、「真陽性の2倍に偽陽性と偽陰性を加えた値」で割ります。式を示すのは、計算を再現できるようにするためです。これによって、特定の企業の誤りのコストや許容できるリスク水準を決めているわけではありません。
このように定義した全体の作業では、マイクロF1は正解の割合を表すaccuracyと等しくなります。classification_reportの説明は、全クラスを含む通常の多クラス分類でマイクロを別に表示しない理由を示しています。同じ情報を繰り返すことになるためです。対象を一部のクラスに限る場合や、一つの事例に複数のラベルを付ける場合には異なることがあります。
A案の優位は、100問中の正解が2問多いことです。このデータで、この指標については実際に優位です。あらゆる種類の質問にA案のほうがうまく対応する、という意味ではありません。頻度の高い80問が合計に大きく影響し、小さい二つのカテゴリの失敗は、その中で占める割合が小さくなります。
特定の目的にとって、この結果が重要な場合はあります。ただし、その目的を明示する必要があります。このデータセットで、正しく振り分けられた質問の割合を知りたいなら、マイクロF1が直接答えます。今回の作業では、その値に質問の総数を掛ければ、正しく振り分けた質問の数を求められます。三つの対応領域を対等な機能として評価したいなら、クラス別の集計と、それぞれのクラス自体も見る必要があります。
各クラスを等しい重みで扱うと何が変わるのか
カテゴリごとにF1を計算しましょう。A案の製品カードは真陽性80、偽陽性12、偽陰性0です。F1は160/172で、約0.9302です。配送は真陽性4、偽陽性0、偽陰性6なので、8/14、約0.5714です。アクセスも同じ値です。マクロF1はこの三つの平均で、約0.6910になります。

B案の製品カードは真陽性68、偽陽性2、偽陰性12なので、136/150、約0.9067です。配送は真陽性9、偽陽性6、偽陰性1なので、18/25、つまり0.72です。アクセスも再び同じです。マクロF1は約0.7822になります。この方法ではB案が上回ります。
予測は一件も変わっていません。変わったのは、どう要約するかという問いへの答えです。各クラスの比重を等しくしたことで、小さい二つのカテゴリでの改善が大きく反映されました。この差を、モデルを変えずに新たな品質向上を得たかのように示してはいけません。すでにある結果を別の方法で説明しているのです。
マクロF1は、無作為に選んだ質問をその確率で正しく処理できる、という意味ではありません。クラスごとの指標の平均です。また、適合率の平均と再現率の平均を出し、その二つから計算したF1でもありません。順序が重要です。まず各クラスのF1を計算し、その後で得られた値を平均します。
等しい重みを使っても、重要度の問題が自動的に解決するわけではありません。珍しいクラスの誤りが重大な結果を招くこともあれば、重要度の低い補助機能であることもあります。業務上の重みには、別の根拠が必要です。macroという名前を選んでも、個別の案件を誤分類した結果について知識が得られるわけではありません。
小さいクラスでは、元の件数も確認してください。10件のうち一件の評価が変わるだけでも、結果が目立って変わることがあります。AIパイロットの評価基準には、その判断にどの資料があれば足り、何がまだ不足しているのか記録します。今回の単純な計算が、あらゆる調査の最低標本数を定めるわけではありません。 AI試行の評価基準を扱う記事も (ポーランド語)参考になります。
加重平均なら議論を決着できるのか
今度は、正解ラベルで確認した各クラスの件数である80、10、10を重みにします。A案は約0.8585、B案は約0.8693です。質問の大半が製品カードに関するものでも、加重平均F1はB案を示します。accuracyの別名というわけではありません。正解の件数そのものではなく、計算済みのクラス別F1を平均しているためです。
計算は再現できます。A案では0.9302326に80を掛け、0.5714286に10を掛けた値を二つ加え、100で割ります。B案では0.9066667と二つの0.72を使います。計算では丸める前の値を保持し、表示するときだけ丸めました。丸めた数字から計算し直すと、最後の桁がわずかに違う場合があります。
Googleはクラスが不均衡なデータセットを説明し、多数派と少数派のクラスを区別したうえで、強い不均衡がある場合にaccuracyだけで評価することへ注意を促しています。これは方法論の説明であり、この例の比率がどこかの企業の実態を表している証拠ではありません。
報告書には重みの出所を記載します。意図して選んだ標本のクラス別件数が、今後入ってくる質問の割合と一致するとは限りません。難しい事例を意識して多く集めたなら、加重平均はそのデータを反映します。追加の仮定なしに、対応全体の予測へ置き換えてはいけません。
時間とともに割合が変わることは、データドリフトと新しい質問で扱う別の問題です。今回の比較ではデータ構成を固定します。将来の流入割合の変化は、後から別のシナリオとして確認できます。その場合も、測定と、仮定を置いたシミュレーションを区別しておきます。 関連する考え方はデータドリフトと変化する質問についての記事で (ポーランド語)読めます。
異なる集計結果をどう判断に生かすか
判断資料には三つの集計とクラス別件数をすべて添えます。この例でA案のマイクロF1は0.88、マクロは約0.6910、加重平均は約0.8585です。B案は順に0.86、約0.7822、約0.8693です。受け手が、一つの比較ではA案が有利で、残る二つではB案が有利な理由を確認できるようにします。指標の投票で勝者を決めるのではありません。二票を得たからといって、一票より自動的に判断根拠が強くなるわけではありません。
続いて、目的と限界を示します。三つの機能の働きがより均等であることを理由にB案を選び、製品カードでは誤りが増えると明示して受け入れることもできます。あるいは、A案を製品カードだけに残し、それ以外の案件を別の方法で振り分けることも考えられます。ただし、その選択には振り分け経路を別途評価する必要があります。このテストでA案が間違えたのは、まさに案件の種類だったためです。
ユーザーの高評価・低評価は、これらの参照用正解ラベルの代わりにはなりません。それは、評価を残すと決めた人の反応を示すものです。同様に、AIの提案を見る前の人による独立評価でも、まず測定条件を定める必要があります。こうした情報源には、それぞれ固有の評価単位と限界があります。 具体的な方法は利用者の高評価と低評価の解釈を扱う記事で (ポーランド語)確認できます。 AIの提案前に行う人による独立評価についての記事も (ポーランド語)参照できます。
Aeneia Auditとの相談には、機密に当たらない予測、参照用の正解ラベル、報告書で支えたい判断の説明が役立ちます。データセットのバージョンと、レコードを除く規則も残してください。そうすれば、好みのモデルが最もよく見える平均を選ぶのではなく、その平均が企業の問いに答えているかを確認できます。
報告書の締めくくりには、選んだ案、判断基準、承知して受け入れた弱点、不足している証拠を示す必要があります。受入確認の一つとして、別の人が一つのクラスと一つの集計を独立に再計算する方法があります。入力件数、重みの規則、丸め方を渡してください。結果が違うなら、推薦を変える前に、どの段階で差が生じたかを確認します。対象クラスの範囲、抜けた項目、計算の順序が違うのかもしれません。表示上の丸めが、いつの間にか新しい比較方法になってはいけません。
三つの平均を並べるだけでは、受け手に最初と同じ仕事を残してしまいます。数字は判断を助けるためのものです。表計算ソフトの動き方に、その判断をひそかに預けてはいけません。










