本文へスキップ
表示言語: 日本語
監査 / Signal

AIがグラフを読むとき: 軸の数字で答えは変わる

棒を正しく見ても、意味を読み違えることがあります。軸、単位、凡例、欠損データ、結論の範囲を確認します。

記事の言語: 日本語

石段と壁のひびを照らす金色のランタンのイラスト。
目次

問い合わせが80件から100件へ。ある工房に届いたメッセージが、一週目は80件、次の週は100件だったとします。差は20件で、以前の件数の4分の1です。ところが途中から始まる軸のグラフでは、二本目の棒が三倍の長さに見えることがあります。画像を説明するAIアシスタントは、関心が爆発的に増えたと述べる前に数字を読むべきです。

この用途の評価には、モデルが「グラフを理解するか」という問いだけでは足りません。系列と単位を識別できるか、値を正しく読むか、結論がデータの範囲に収まっているかを別々に確認します。二つの数字を正しく書き写しても、誤った結論を出すことがあります。計算は正確でも、別の軸の値を使っている場合もあります。

まず答えの根拠を尋ねる

分析で本当に答えるべき質問から始めます。「グラフを説明して」は、どこまでを評価するか決めにくい広いコメントを促します。「指定した二週間の問い合わせ件数はどれだけ変わったか」なら、具体的な基準を置けます。試す前に元データから答えを用意し、画像のどの部分がその答えを裏付けるか示します。

試験では、系列名、読み取った値、単位、対象期間をモデルに答えてもらいます。ラベルやデータと比べられる短い情報で十分です。別の系列について答えていれば、報告書用の文章を読む前に誤りを見つけられます。

80と100の例では、その二つの値と正しい週の識別を期待します。ラベルを読めない場合、モデルはその限界を示すべきです。「約100」は概況の説明には足りても、正確な差が必要な比較には足りません。基準は用途によって変わるので、評価前に決めておきます。

2022年のChartQA研究には、視覚的な特徴の読み取りと、論理・算術操作の両方を要する質問が含まれます。単なる「グラフの説明」では一つの能力として扱いがちな作業を分ける参考になります。

グラフの数字が丸められているなら、答えに許容する精度を決めます。「約100」というラベルの画像は、正確な値を載せた表と同じ根拠にはなりません。自分たちの試験セットに両方を含めてもよいでしょう。画像からは分からない桁数を増やした答えを褒めるのではなく、資料の精度を保っているかを評価します。

試験報告では読み取りと計算を分けます。モデルが80を60と読み、その60を基準にした変化を正しく計算することもあります。その場合、算術の指示だけを直しても原因には届きません。まず入力データ、次に操作、最後に結論の文を確認します。

棒の長さは目盛りの代わりにならない

この例では、同じ値を使った二種類の画像を用意します。一方は軸がゼロから100まで、もう一方は70から始まります。後者では、下限から各値まで見える部分の長さは10と30に相当します。実際の値は80と100のままです。変わったのは表示方法であり、メッセージの件数ではありません。

両方に同じ質問をします。問い合わせ件数の差は同じままのはずです。二つ目の表示が変化を強く見せるとモデルが指摘することはできますが、それを根拠に結果を三倍にしてはいけません。目盛りでなく見えている部分の長さで答えが変わるなら、その試験は用途上の具体的な限界を示しています。

軸上の等しい間隔が、値の等しい差に対応しているかも確認します。別の目盛りでは、画像上で似た距離でも数値上の関係が異なることがあります。対照セットに読み方と期待する答えを記録します。表示を判別できない画像だけから、正確な計算を要求してはいけません。

Misleading ChartQAは、誤解を招く特徴のあるグラフについての推論を、別の評価対象として扱います。自分のモデルにその研究結果をそのまま当てはめず、独自に試してください。試験設計について言えるのは、見やすいグラフだけでは表示の変化への耐性を確認しきれない、という限定的なことです。

軸を逆向きにした版では、別の点を調べられます。モデルは目盛りを読むのか、それとも線が上がると自動的に値も増えたと解釈するのか。期待する答えには数値の変化方向を示します。業務上の意味は別に説明します。応答時間の短縮と問い合わせ件数の増加は、両方のグラフが好ましく見えるだけで同じ改善になるわけではありません。

途中から始まる軸のすべてに、作者の悪意があると決めつける必要はありません。範囲が明記されていれば、小さな差を見せるために使う場合もあります。AIの検収では、その条件を答えが考慮しているかを評価します。グラフ自体の設計や、読み手が表示方法を理解できるかは別に評価できます。

どの系列で、単位は何か

別の試験では二つの系列を使えます。一方は問い合わせ件数、もう一方は最初の応答までの時間を分で示します。異なる量を別々の軸で表していても、線は交差することがあります。画像上の交差だけでは値が等しくなったとは言えません。それぞれを正しい単位に対応させる必要があります。

色だけでなく系列名を示すよう求めます。次にデータを変えず色を入れ替え、同じ質問をします。期待する数値は変わりません。モデルが以前の「赤い線」を説明し続けるなら、現在の画像の凡例を読んだのか、以前の文脈を使ったのか確認します。

次の画像では凡例項目の順序を変えます。企業の資料に複数のレイアウトがあり、アシスタントが追加指示なしで受け取る場合に有用な試験です。ただし、各バリエーションを分析全体の独立した試験として扱ってはいけません。名称と視覚表現の対応を調べていると記録します。

Aeneiaのコンセプト写真

系列が各期間の結果を示すのか、累計を示すのかも確認します。二週目の終わりまでの累計100件は、二週目に新たに100件届いたことを意味しません。ラベルかデータの説明にその情報が必要です。欠けているなら、モデルは根拠なく一つを選ばず、考えられる解釈を示して確認を求められます。

ブランドの視覚言語に合うグラフ (ポーランド語)を設計する際は、分かりやすいラベルと系列の区別方法を決めます。これはAIの答えの評価にも役立ちますが、正しさを自動的に保証しません。美しいバーガンディ色でも、モデルが「分」という単語を読む必要はなくなりません。

点がないことはゼロではない

対照用の週間グラフに、月曜8件、火曜10件、木曜12件を示します。水曜の記録はありません。火曜と木曜が線で結ばれていても、「水曜は11件だった」という答えは線からの推定であり、データに示された値ではありません。モデルはその違いを示すべきです。

水曜が実際にゼロである版と、水曜のデータが欠けている版を別々に試します。その日についての質問には異なる答えを期待します。元の表の空欄も同様です。表から画像を作るなら、モデルに渡す前の描画段階で欠損値がゼロに変わっていないか確認します。

週を比べる際は観測の完全性も考慮します。七日間の100件と三日間の80件は二つの合計として説明できますが、両方を完全な一週間同士として比較はできません。試験セットに途中までの期間を明記し、答えがその情報を保つか確認します。別途の合意なく、欠けた日の結果を補ってはいけません。

期間も結論を制限します。六月から八月のグラフだけでは一年全体を評価できません。最初の数か月を切り取ると、示された点を変えずに見える方向が変わることがあります。全期間版と短縮版を用意し、それぞれの比較がどの期間を指すか期待回答に記します。

ラベルの順序も読みます。大きい順に並べた棒は曜日を示していても、左からの順序は時間順ではありません。モデルは曜日に対応する値を説明すべきで、左から右への動きから傾向を導いてはいけません。データは同じまま、カテゴリーの並べ方だけを変えて試します。

長い文脈でAIが情報を見落とす問題 (ポーランド語)にも似た限界があります。ここでは画像の切り抜きや表示期間が制約になる場合があります。比較の根拠全体を受け取っていないなら、残りをもっともらしい話で補うのではなく、手元にある範囲に答えを限定すべきです。

独自の試験セットで誤りの原因を分ける

独立して答えを確定できるデータからグラフを作ります。軸の範囲、色、凡例、切り抜き、点の有無を一度に一つずつ変えます。五つを同時に変えると、答えの違いから原因を特定できません。問題の発見はできても、何を直すべきか分からないことがあります。

ツールが受け取った状態の画像をそのまま保存します。元ファイルでは読める数字が、縮小後には判別できなくなることがあります。AIの前に文字認識を使うなら、その出力も比べます。AI分析前のOCR確認 (ポーランド語)は、文字の読み違いと後段の解釈ミスを分ける助けになります。

画像の読み取り自体を評価するなら、ファイル名や追加説明に正解を書いてはいけません。実際の業務でツールが表も使うなら、その広い条件も試せますが、別の試験として名前を付けます。表データを受け取ってからの正答は、グラフを正しく読んだことと同じ証拠ではありません。

報告では、データの書き写し、計算、解釈を分けます。アシスタントが構造化形式で返す場合は、フィールドの意味も確認します。正しいJSONでも内容が正しいとは限りません (ポーランド語)。「変化」には問い合わせ件数の差も相対的な増加率も入り得るため、名前から区別できる必要があります。

比較から実験を評価するなら、さらに別の層が加わります。差が変更の効果を示すかどうかは、グラフだけでは決まりません。AIによるA/Bテストの説明を確認する記事 (ポーランド語)でこの問題を扱っています。今回の検収では、コメントが表示データに正しく根拠を持つかに集中します。

読者に届くのは具体的な一文

画像が読めない場合、正確な読み取りを断る応答も試します。どのラベルや単位を判別できないかを示し、よりよい画像を求める答えが考えられます。一般的に「グラフを分析できません」と言うより有用で、数字を推測するより誠実です。正しく示された読み取りの限界と、自信を持って述べられた誤解釈は別々に記録します。

最終評価では、どの答えを受け入れられ、どの場面で人の確認や元ファイルが必要か示します。ラベル付きの値はうまく読めても、二軸グラフでは確認が必要なツールもあります。この結果を「グラフを理解する」「理解しない」という一般論に縮めてはいけません。

Aeneia Auditでは、AIの使い方、リスク、この分析の受け入れ基準を評価できます。対象には組織が実際に使うグラフを含めるべきです。一つの答えの評価は、データの元になった調査方法の検証に代わらず、今後のすべてのコメントも保証しません。

公開前に、読者が実際に目にする一文へ戻ります。この例なら、指定した二週間で問い合わせが80件から100件に増えた、と書けます。「シーズン全体で関心が三倍になった」と書かれていれば修正が必要です。読者に必要なのは、正しい日付に対応した二つの値です。シーズン全体には別のデータが要ります。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear