本文へスキップ
表示言語: 日本語
監査 / Signal

AIの知識グラフ: 矢印も一つの主張である

AIが知識グラフに抽出した関係の方向、意味、有効期間、根拠となる資料を確認します。名前の正確さだけでは十分ではありません。

記事の言語: 日本語

女性が厚い仕切りの縁を持っている。そばには浮き彫りの地図と、ティーポットのある小さなくぼみがある。
目次

図の中で、Linea社とNomaパネルが「製造する」という矢印で結ばれている。文書には、Lineaが展示ブースの設営でそのパネルを使うと書かれている。名前は正しく、パネルも会社も存在する。ただし矢印によって、利用者がメーカーに昇格してしまった。事業を広げる方法としては、ずいぶん気前がいい。

この架空の例は、AIを使って作った知識グラフを検収するときの基本的な問題を示している。グラフには対象とそのつながりが記録され、後で答えを探す際に使われる。対象をすべて正しく認識していても、関係そのものが間違うことはある。そのため、名前の一覧を確かめるだけでは足りない。意味のあるつながりも一つずつ読む必要がある。

矢印を完全な文として読む

見栄えのよい図から始める代わりに、結果を普通の言葉で書いてみる。「LineaはNomaパネルを製造する」。誰が行為をするのか、どんな関係か、相手の対象は何かを明らかにする。次に、文全体を実際に裏付ける出典の箇所を探す。同じ段落に両方の名前があると示すのは、確認の終わりではなく始まりだ。

RDF 1.1 Conceptsの仕様では、基本構造を主語、述語、目的語からなる三つ組として説明している。真ん中の要素である述語は、リソース間の関係を表す。これは特定のデータモデルであり、企業のグラフが必ずRDFを使う必要はない。それでも検収には、誰と誰がどのような関係にあるのかという単純な問いが役立つ。

今回の例の答えは「LineaはNomaパネルを使う」だ。方向を逆にすれば「NomaがLineaを使う」となり、種類を「製造する」に変えれば別の主張になる。どちらの誤りも図の見た目の問題にとどまらない。供給業者の一覧や部品の検索結果、パートナーの能力の説明を変えてしまうことがある。記録された関係は、確認済みの文と同じ内容であるべきだ。

まず対象の同一性を確認する。似た名前の企業が二つあるかもしれず、製品と製品シリーズが混同されることもある。この段階はAIによるレコードの誤結合の確認 (ポーランド語)で詳しく扱う。対象を区別してから矢印を評価しよう。関係の種類が正しくても別の会社に結び付いていれば、情報はやはり誤りだ。

製品、個々の品物、作業案件を区別する。一つのイベントでパネルを一枚使ったからといって、その会社がシリーズ全体を継続して使っているとは限らない。サンプルには、どの製品を、どの役割で、どの作業に使ったのか、主張の範囲を記す。そうしないと、データモデルに詳細な記録方法がないというだけで、正しい矢印がすべての案件に拡大されることがある。

テストでは、各関係の識別子、両端、種類の名前、文書の参照先を残す。図のラベルだけでなく、アプリケーションが使うデータから結果を読み取る。表示画面では名前が短縮されたり、複数のつながりが一本の線にまとめられたりすることがある。検収者は、顧客の質問から具体的な記録とその根拠までたどれる必要がある。

同じ名前が登場する四つの資料

架空のデータを使って短い確認用セットを用意する。どの資料にもLineaとNomaが登場するが、それぞれ異なる関係にする。

  • Lineaはブース設営にNomaパネルを使う。製造や所有を付け加えず、使用関係を期待する。
  • Lineaは次のシーズンにNomaパネルを使うことを検討している。これは意向であり、確認済みの現在の使用ではない。
  • LineaはNomaパネルを製造せず、指定された供給業者に発注している。否定が製造の確認に変わってはならない。
  • 前シーズンの終わりまでLineaはNomaを使っていたが、その後別のシリーズを選んだ。過去の関係から、現在の設備に関する質問へ無条件に答えるべきではない。

文章から情報を取り出す抽出を実行する前に、期待する結果を決めておく。グラフのスキーマに意向、否定、期間を記録できない場合は、その箇所をどう扱うか定める。人による判断に回してもよい。アプリケーションが何かを描く必要があるというだけで、最も近い既存の関係に自動的に押し込んではならない。

他人の発言を伝える文も追加する。「会議で顧客は、LineaがNomaを製造しているのか尋ねた」。単純な仕組みが探す言葉がそのまま含まれていても、質問は関係の証明にならない。同様に、新しい文書に古い提案が引用される場合も確認する。ファイルの日付が新しくても、過去の推測が現在の事実になるわけではない。

見つかったつながりの数だけで評価しない。根拠のない矢印が三つ増えた結果は立派に見えても、答えを悪くすることがある。確認用セットでは、必要な関係の欠落と根拠のない関係の追加を区別する。ツールが正しく判断を保留した場合も記録する。空の一覧と、根拠がないと意識的に判断した結果は、報告書で別々に説明する必要がある。

名前が近くにあっても共通の関係がない資料も含める。例えば出展者一覧にLineaがあり、別の囲み欄でNomaを紹介している場合だ。ページ上で近いことは製品の使用を証明しない。PDFから文章を取り出すなら、段組みの読み取り順も確認する。独立した二つのブロックが結合されると、文書の著者が書いていない文が生まれることがある。

スキーマは種類を整理し、出典は内容を裏付ける

Neo4j GraphRAG Pythonの文書は、ノードと関係の種類、および始点の対象と終点の対象を結ぶパターンによって抽出を導く方法を説明している。期待する構造を決める有用な方法だ。ただし「会社が製品を使う」というパターンが許されていても、特定の会社がその製品を実際に使う証拠にはならない。

資料を知る人たちと関係の用語集を作る。「供給する」「販売する」「製造する」「保守する」は同じ二者について使われることがあっても、互いに置き換えられない。それぞれの名前に短い定義と、該当しない例を書く。関係が「この案件で供給する」を意味するなら、後で無条件の「その会社の供給業者である」に短縮しない。

データに記録された方向も確認する。図のラベルを変えて読みやすくしても、問い合わせは依然として誤った対象から進むことがある。テストには両方向の質問を加える。「Lineaはどのパネルを使うか」と「誰がNomaを使うか」だ。期待する結果は、別々に用意された二つのデモ用回答ではなく、同じ正しい関係から得られるべきだ。

Aeneiaのコンセプト写真

根拠となる出典は、対象全体だけでなく関係にもひも付ける。会社についての文書は住所や業種を裏付けても、特定の製品に関する役割までは裏付けないかもしれない。該当箇所、その位置、資料の版を記録する。これは企業の知識アーキテクチャ (ポーランド語)の発展形だ。情報をグラフに移した後も、出典の管理者と状態は重要である。

Aeneia Audit

回答やチームの仕事に影響するはずの関係をいくつか、根拠文書とともに用意してみよう。このようなサンプルがあれば、AIが抽出したつながりの方向、意味、根拠を評価できる。 知識グラフの関係サンプルを確認する

一つのつながりに複数の出典がある場合、独立した裏付けと同じ情報の繰り返しのコピーを区別する。三つの文書が、未検証の一つの説明を繰り返していることもある。文書の数が増えても関係の信頼性が自動的に高まるわけではない。新しい根拠が加わったのか、同じ情報の掲載場所が増えただけなのかを記録に示す。似た記録を統合する際にも由来を消さない。

文書が削除または撤回された場合の対応を決める。ファイルが消えただけでは、記述された協力関係が存在しなかったことの証明にはならない。ただし、チームが根拠を確認できなくなることはある。報告書では、内容を評価した結果疑義が生じた関係と、出典にアクセスできなくなった関係を区別する。両方を「現在有効」としたままにすると、後で回答の信頼性を議論しにくい。

時間は実行日ではなく関係を表す

矢印の作成日はシステムが記録した日を示す。文書の発行日は資料が公開された日を示す。記述された協力関係の有効期間はまた別の情報だ。出典が二年前の案件を説明している場合、今日取り込んでも現在の契約にはならない。利用者の画面には短い説明しか出なくても、テストではこの三つの時点を別々に示す。

終了した関係のケースを作る。古い文書はNomaの使用を記述し、新しいメモは設備変更を確認している。過去に関する質問と現在の状態に関する質問への答えを確かめる。古い矢印を新しいものに置き換えると必要な履歴が失われ、期間を付けずに両方を残すと二つのシリーズを同時に使用しているように見えることがある。どの規則を採るかはグラフの目的による。

利用者の質問で「現在」が正確には何を意味するかも記録する。過去の提案を再現するなら提案の作成日が基準になり、新しい依頼の対応なら回答日が基準になることがある。同じ履歴データでも、指定した基準時点によって異なる正しい結果が得られる。システムは、すべての質問を黙って最終取り込み時点と同一視せず、採用した基準を明らかにすべきだ。

終了日が不明な関係も加える。終了についての情報がないだけでは、協力が続いていることは確認できない。チームはこの状態をどう表示し、いつ資料の確認を求めるか決める必要がある。「現在の有効性は未確認」とする方が、関係を今日まで勝手に延長するより役に立つ。この判断をインデックスの最終更新日で代用しない。

出典同士が矛盾する場合は、評価できるよう食い違いを残す。特定の作業では新しい資料の方が重要なこともあるが、新しいだけで正しいとは限らない。文書の著者、範囲、状態を確認する。別の支店や一つの案件だけを説明している可能性もある。判断には、なぜその関係を採用し、範囲を限定し、または確認待ちにしたのかを示す。

矢印の誤りを、それを使う回答でも確かめる

アプリケーションが以前の結果に基づいて回答し続けるなら、グラフを修正するだけでは足りない。修正前と修正後にNomaのメーカーを尋ねる質問を用意する。二回目には、誤った関連付けを流暢に繰り返すのではなく、利用できる資料に合った答えを期待する。RAGの回答 (ポーランド語)では、実際にどの箇所がモデルに渡されたかも確認する。

取り込み時に関係が重複していないかを見る。一枚のパネルの使用について同じ説明が二つあっても、案件二件や顧客二社を意味しない。つながりを数えるには単位を明確にする必要がある。似た落とし穴はSQLの行数と案件数の違い (ポーランド語)にもある。問い合わせ結果が技術的に正しくても、別の質問に答えている場合がある。

もう一つは、行き過ぎた推論だ。LineaはOś社と協力し、OśはNomaを使っている。この二つの文から、Lineaもそのパネルを使っているとは自動的には言えない。仕組みが追加のつながりを導き出す場合は、出典から直接読み取った関係と区別する。検収者は、どの文に直接の根拠があり、どの文が推論規則によって生まれたかを見分けられるべきだ。

一つの関係を修正したら、それに依存する結果も確認する。誤った製造者の割り当てが、すでに供給業者一覧や会社紹介に入っているかもしれない。矢印の修正は、それらの資料が更新されたことの確認にはならない。そのような結果を一つ選び、再計算または修正依頼の方法を決める。グラフの全用途にテストを広げず、一つの誤りの修復に必要な作業を評価できる。

テスト用に関係と出来事の整合した合成データ (ポーランド語)を用意することもできる。合成データだと明示し、企業の確認済みパートナーデータベースに混ぜない。架空のサンプルはツールの挙動を試すものであり、実際の協力関係を証明しない。模範となる判断は、抽出中にモデルが参照できる資料の外に保管する。

最後に重要な関係を一つ選び、文書から利用者の意思決定までたどる。当事者を特定し、意味を読み取り、期間を評価し、根拠を開けるだろうか。証拠がないことも見えるだろうか。このような限定された範囲はAeneia Auditで相談できる。テストを終える基準は、画面の色とりどりのつながりの数ではなく、主張と資料が一致していることだ。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear