AIの確信度のパーセントにも検証が必要
AIの確信度の出所、正答の基準、集団ごとの結果を確かめます。
記事の言語: 日本語

目次
「確信度: 93パーセント」という表示は測定結果に見えます。しかし、利用者に求められたモデルが書き足した数字かもしれません。この数値で人に回す案件を決める前に、意味を確かめます。特定の回答が正しい確率なのか、検索された文書との類似度なのか、それとも根拠なくパーセント記号を付けた評価なのか。
それぞれの数字には用途があり得ます。ただし画面に届く途中で役割を変えてはいけません。正答確率を表示するなら、その用途で宣言と実際の結果がどう結び付くかを検証する必要があります。滑らかな文章と精密に見える数字が、その確認を代行することはありません。
パーセントが何を測るか決める
架空の業務で、アシスタントは実習室の設備について質問に答え、回答ごとに数字を表示します。チームは確信度の低い案件から読みたいと考えています。合理的に聞こえますが、その数字が実際に誤りの発見に役立つかで有用性は変わります。欄が存在するだけでは分かりません。
まず提供者に指標の出所を尋ねます。モデルが数字を直接書いたのか、別の仕組みが計算したのか、検索結果のスコアのような別の尺度を使ったのか。方法の名前、版、正確な意味を記録します。質問に対する文書の一致度は、ラベルを変えただけで回答の正答確率にはなりません。
文章の一部が生成される確率と、発言全体が真実である確率も同一視しません。現在の会社の指示に合わなくても、よくある表現はモデルが簡単に予測できます。数値を解釈する前に何を測ったかを知る必要があります。0から100の間にあるというだけでは、そのパーセントの定義になりません。
2023年のTianらの研究は、モデル自身の宣言やモデルの確率など、確信度を得る方法を比較しています。対象は特定のモデルと質問集合です。方法によって違いが生じることは示しますが、現在の任意の数値宣言が会社の業務に合わせて校正されている証拠にはなりません。
宣言の対象も決めます。回答に五つの事実と一つの提案がある場合、「回答に自信がある」では不明確です。すべての事実が正しい必要があるのか、寸法だけで十分なのか、文書自体が古くても文書と一致すればよいのか。基準がなければ二人の評価者が同じ結果を異なって判定します。
例では範囲の狭い課題を選びます。承認済みの指示書に従い、部屋の座席数について明確な質問に答えることです。認める回答と根拠不足の条件を先に記録します。これは後のすべての提案を承認するものではありません。結果を判定できる課題で、数値の確認を始めるための選択です。
架空の部屋Bの指示書が実習の定員を10人とし、設備一覧には椅子12脚とあるとします。質問は指示書上の定員です。「12人」という回答は別の欄の実在する数字を使っていますが、基準を満たしません。93パーセントという宣言は何も解決しません。評価者には該当箇所と質問の意味が必要です。
一つの文に10人の上限と誤った予約条件が含まれる場合、評価方法を先に決めます。用途に応じ、主張を分けても、回答全体の正しさを求めても構いません。パーセントを見た後で規則を変えないでください。一つの基準での校正は、より広い基準での校正を証明しません。
必要な定員が指示書にない例も用意します。その場合の評価対象は、別文書から評価者が知る数を当てたかではなく、根拠不足を保てたかです。利用できない知識を理由に正しい回答を罰したり、推測を評価したりすることを防ぎます。部屋の例はすべて受け入れ設計用で、実際のモデル評価ではありません。
校正は結果の集団を扱う
校正とは、宣言された確率と、対応する集団で観察された結果の頻度の関係です。よく校正された仕組みでも、90パーセントの回答が一件間違うことはあります。一件の誤りで全体は決まらず、一件の正答も残りの数値の妥当性を証明しません。
scikit-learnの文書は、予測確率の平均と集団ごとの結果頻度を比べる校正曲線を説明し、集団の件数も示しています。対象は分類器です。ここでは、宣言された回答の正しさと、決めた基準による後の評価を似た原理で比較します。
この例のために、新しい架空の記録40件を作成しました。各記録には仮の宣言値と正誤ラベルを付けています。平均だけの比較では隠れる誤りを示すため、値を意図的に選びました。モデルの回答や製品試験の結果ではありません。過去の元データを復元したものでもありません。
10件は90パーセントと宣言し、そのうち6件が正答です。観察頻度は60パーセントです。20件は70パーセントと宣言し、14件が正答なので70パーセントです。残る10件は50パーセントと宣言しましたが、8件が正答で80パーセントです。これは計算例であり、AIサービスの結果ではありません。
40件全体では28件が正答で、70パーセントです。40件の宣言の加重平均も70パーセントです。この平均は正誤ラベルではなく宣言値と集団の件数から計算します。全体の数値は一致しますが、集団を分けると最も高い宣言は結果と合わず、最も低い宣言は頻度を過小評価しています。

したがって「平均確信度と正答率が等しいので、すべて校正されている」という結論は成り立ちません。この例から実際の業務の品質は推定できません。小さな人工的集団はユーザーのサンプルではありません。実際の評価には独立に判定した事例と、特に少数集団での測定の不確かさの提示が必要です。
チームの予測の校正 (ポーランド語)でも予測と結果に立ち戻ります。ここではさらに、数字の出所と特定のシステム回答との関係を確かめます。慎重な口調も、モデルの数値宣言も、その情報の代わりにはなりません。
評価の時点と方法を残す
質問を解く前の宣言は、課題を解決できる可能性を表す場合があります。回答後の評価は、その特定の回答を対象にする場合があります。説明せず一つの系列に混ぜないでください。特に間に文書を読んだりツールの結果を得たりすれば、後の数字が使う情報は異なります。
2026年10月のCALIBERは、推論前後の二つの時点と評価対象を区別し、各時点の宣言を異なる学習目標に合わせる方法を研究しています。その方法と結果は、私たちの業務を検証したものではありません。受け入れでは、指標がどちらの値を示すかを決めます。
回答と一緒に、数値を求めた指示文、出典、仕組みの版、数値を付けた時点を保存します。出典を修正して別の回答が出たら、それは新たに評価する結果です。AIリサーチの出典の鮮度 (ポーランド語)は別に確認します。高い宣言が古い指示を更新することはありません。会話履歴で同じ質問の下にあるだけで、古い数値を修正後の回答に付けないでください。
できるだけ独立した正誤判定を得たいなら、最初に人間の評価者へ確信度を見せません。まず基準と出典に回答を照らし、その後で宣言と比べます。そうしないと「93パーセント」が無意識の手掛かりになるかもしれません。
AIの試行 (ポーランド語)では、誤りと判定できない事例も残します。評価不能を自動的に正答にしたり、痕跡なく削除したりしません。何件を確認でき、残りをなぜ除外したかを示します。良い結果が最も簡単な部分だけを表している可能性があるからです。
数値がない場合とゼロを宣言した場合も分けます。表に収めるために既定値を入れないでください。範囲外の値も計算前に説明が必要です。数値の評価から何件をどの理由で除いたかを報告します。校正曲線に載せられなくても、システムが扱った案件です。
数字で順番を付けられても確率の説明は誤ることがある
良い結果と悪い結果を分ける能力と、パーセントが頻度に合うことは別の要件です。表示値の修正が必要でも、誤りの発見には役立つかもしれません。逆に全件に平均正答率に近い数字を付けても、確認する案件の選択にはあまり役立たないかもしれません。会社が実際に予定する使い方を評価します。
人工的な例では、最も高い宣言の集団は最も低い集団より正答が少なくなっています。「高いパーセントは確認しない」という規則は一部の問題を見逃します。これは作られたデータについての観察です。実際の受け入れでは、提案された順序を独立に見つけた誤りと比べ、確認対象から外れる案件もサンプルで調べます。
適切な閾値は80、90、95という普遍的な数字から決まりません。誤りの影響、課題、指標の根拠によって異なります。作業メモを仮に並べる規則と、回答を自動送信する規則は別になり得ます。自動判断の根拠がなければ、パーセントだけでは実行を正当化できません。
Aeneia Auditに、AIの指標を次の仕事でどう使うか相談できます。誰が選ばれた回答を読み、誤りがどう戻り、何が人の管理下に残るかを考えます。点検範囲は別途相談します。
修正後には別の確認を残す
数値を求める指示文を変えた場合、その変更を記録せずに新旧の数字を比較しません。方法、モデル、出典が違えば指標の意味も変わり得ます。仕組みの改善に使った集合だけを修正後の評価の根拠にしてはいけません。規則の調整に結果を使っていない別のサンプルが必要です。
回答に慎重な言葉を加えるだけで数値を修正したことにもなりません。「おそらく」という文と「99パーセント」という欄は矛盾した信号を出すことがあります。AIの説明 (ポーランド語)は結果の理解を助けても、校正そのものを証明しません。決めた方法で結果を評価する必要があります。
回答の根拠がない場合でも、不明であることを適切に示す対応と次の行動が必要です。欠けた出典を示さない低い数字は、利用者を同じ問題のままにするかもしれません。指標は回答が間違うことを警告するだけでなく、次に何をするかの判断を助けるものです。 AIが分からないと伝える場合を扱う記事 (ポーランド語)も参考になる。
架空のアシスタントの責任者は、数字の意味、どんな回答で確認したか、どんな行動に使えるかを最終的に説明できる必要があります。どれか一つでも欠ける間、93パーセントは検討すべき宣言のままです。小数点以下の桁は証拠の代わりにはなりません。







