本文へスキップ
表示言語: 日本語
監査 / Signal

AIの合成データ: 一行ずつ正しくても、全体がかみ合わないとき

AIが作った試験データを行単位だけで判断せず、レコード間の関係、出来事の履歴、必要な事例の範囲を確かめます。

記事の言語: 日本語

街を見渡す高い窓のそばに、ノートと照明を置いた楕円形の木製テーブル。
目次

試験用のレンタル店には、立派なデータがあります。スタンドにはそれぞれ名前があり、予約には番号があり、日付もすべて正しい形式です。ところがファイルを合わせると、一台は引き渡しの前日に返却され、別の一台は同じ時間に三人へ貸し出されていました。行ごとに見れば行儀は申し分ありません。互いに出会ったところで問題が始まります。

これは、業務の流れを試すために生成したデータの架空の例です。合成データは、実際のレコードを直接コピーする代わりに作られます。それらしく見えても、役に立つ試験用の世界になっているとは限りません。見栄えのよいレコードを数件確認するだけでは、つながり、順序、事例数が目的に合うかは分かりません。

生成する前に、そのデータで何を確かめたいかを書き出します。カタログのデモ、予約の衝突を防げるかの試験、事例から学習したモデルの評価では、必要なデータが異なります。この三つを一括して「良いテストデータ」と評価しないでください。

まず、レコードが存在できる世界を説明する

私たちのレンタル店には機材の種類、個々の機材、予約、引き渡しと返却の出来事があります。スタンドの種類は、在庫番号を持つ具体的な一台のスタンドとは違います。十台の予約には、一台の予約とは異なる結び付きが必要です。AIに現実的な項目を百件作らせる前に、これらの意味を決めます。

各オブジェクトに、そのレコードを正確に識別する値を指定します。次に、許される関係を記録します。個々の機材は、存在する機材の種類に属します。予約の明細は該当する一台、または合意したその種類の数量を指します。返却の出来事は、かつて似た物を借りた人の姓だけではなく、特定の引き渡しに結び付きます。

ファイルをまたいでも識別子の意味が一致するようにします。二つの倉庫で別々に生成された「Egzemplarz01」が、異なる二台を示すこともあります。データを合わせると、アプリケーションには曖昧な一つの番号として見えます。識別に倉庫コードも必要かを決め、合意した組み合わせ全体を確認してください。カタログの番号だけを変えて衝突を直してはいけません。予約や出来事の参照も、引き続き同じ物を指す必要があります。各部分は単独なら正しく見えても、結合して初めて衝突が現れることがあります。

手作業で確認した小さな世界から始めます。数種類の機材と数台の個体だけでも、スキーマの曖昧さを見つけられます。その後でレコード数を増やしてください。六つのレコードの関係を決められないなら、AIが生成した千行が業務の規則を代わりに教えてくれる可能性は高くありません。

規則は一つのフィールド、レコード全体、あるいはデータ全体に関わることがあります。数量が正の数であることはフィールドの条件です。返却日が引き渡し日より後であることは、時刻の関係です。同じ一台について期間が衝突する有効な予約を二つ作らないためには、異なるレコードを比較する必要があります。日付の形式が正しいだけでは、ほかの段階は検証できません。

規則と都合のよい仮定を分けます。店は一部返却を認めますか。一回の配送で複数の予約を扱えますか。予定された予約は引き渡し前に取り消せますか。こうした問いには業務の責任者が答えるべきです。最初の例が難しくなるという理由だけで、実際に起こり得る出来事を生成器に禁止しないでください。

AIが作ったJSONデータの点検 (ポーランド語)では、レコード内の値の意味などを確かめます。ここではデータ全体も対象です。正しい明細が誤ったオブジェクトを指したり、別の明細と照らして初めて時間の規則に違反したりすることがあります。

識別子が存在するだけでは関係を確認しきれない

すべての参照を集め、対応する集合と照合します。予約の機材番号は機材一覧に存在する必要があります。既存の名前に似ているだけでは足りません。二つのスタンドの型番末尾だけが違う場合、「スタンド」という語だけで自動照合すると、予約が別の物に結び付くことがあります。

SDMetricsのReferentialIntegrityの説明(英語)は、外部キーが主キーの中に見つかるか、つまり参照先が識別子と一致するかを確認します。この指標は欠損値も有効な外部キーとして数えます。したがって良いスコアが、対象の指定を必須とする別の規則の代わりになるわけではありません。

今回のデータでは、予約明細にまだ個別の機材が割り当てられていなくてもよいかを明記します。初期段階では機材の種類だけを予約し、具体的な一台を後で選ぶのかもしれません。その場合、識別子がないことは業務上の特定の状態を表します。引き渡しを処理しようとしているなら、同じ欠落が操作を妨げることがあります。規則は空欄そのものではなく、どの段階にあるかによって変わります。

選ばれた機材が予約で指定された種類と一致するかも確認します。両方の識別子が存在しても、関係が誤っていることがあります。部屋番号は正しいものの、別の建物の番号であるようなものです。報告書には、違反した具体的な関係と、それを再現するために必要なレコードを示します。

生成器が関係を逆向きにするのも別の種類の誤りです。「新しい予約が以前の予約に取って代わる」と「以前の予約が新しい予約に取って代わる」は同じ意味ではありません。AI知識グラフにおける関係の方向と根拠 (ポーランド語)でも、似た違いを扱っています。試験データの接続名は、アプリケーションが実際に行う動作に合っているべきです。

Aeneiaのコンセプト写真

試験に必要なクエリでデータを使ってみます。予約数を求めるとき、複数の明細を結合すると行が重複することがあります。自分で用意した小さな例と既知の結果があれば、誤りがデータとクエリのどちらに由来するか判断しやすくなります。AIが書いたSQLにおける行数と案件数の違い (ポーランド語)でもこの違いを説明しています。同じ生成器がデータと期待結果の両方を作ったというだけで、テストが通ってはいけません。

出来事の正しい順序には履歴が必要

一つの予約について、作成、必要に応じた確認、引き渡し、返却、終了という流れを示します。ただし、あらゆる状態に例外なくこの順序を押し付けてはいけません。取り消された予約は引き渡しに至らないことがあります。一部返却によって全体が終了するとも限りません。許される遷移と、それぞれの経路を分ける条件を記録します。

出来事が実際に起きた時刻と記録された時刻を分けて確認します。従業員が機材を実際に受け取った後で、返却を入力することもあります。後から記録したことと、引き渡し前に返却したことは別です。スキーマに両方の時刻があれば、生成器はそれぞれの意味を保つべきです。フィールドが一つなら、どちらの時点を表すか合意します。

衝突は合意された利用可能性の規則に従って評価します。期間の境界が接していてもよいでしょうか。返却と次の引き渡しの間に、機材を準備する時間は必要でしょうか。答えは業務の責任者が定めます。こうした条件を考えずにすべての貸し出しを説明できる、「日付が重ならない」という万能の規則はありません。

確認用のデータには、正しい履歴と意図的に誤らせた履歴の両方を含めます。検出できるか確かめるために入れた誤りは、別の期待結果一覧に記します。データの準備中にその誤りを自動修正しないでください。

分かりやすい試験では、正しい履歴を一つ用意し、関係を一度に一つずつ変えます。一つのコピーでは機材番号を存在しない番号に置き換えます。別のコピーでは番号を維持したまま、実際の返却を引き渡し前に移します。次のコピーでは同じ一台に衝突する予約を作ります。それぞれ何が検出され、何が正しいまま残るべきかを書きます。独立した五つの不具合を含むデータも後には役立ちますが、最初から使うと、どの検査が実際に働いたか説明しにくくなります。これは試験計画であり、アプリケーションを実行した結果ではありません。

正しい例のセットと、拒否動作を確かめるセットを分けます。後者には違反した規則と期待する反応の種類を示します。拒否されたレコードの割合が高いことは、異常系テストでは成功でも、正しい世界を作ると約束した生成器にとっては失敗かもしれません。データの用途を明かさなければ、同じ結果を成功とも失敗とも説明できてしまいます。

世界の正しさと試験の有用性は別の評価

それぞれ明細が一つだけの正しい予約が千件あると想像してください。すべての参照が働き、日付は順序どおりで、アプリケーションもテストを通ります。それでも、複数明細の予約、一部返却、まだ誰も借りていない機材の種類をどう扱うかは分かりません。大きなデータセットが狭い事例を非常に正確に繰り返している場合もあります。

SDMetricsのCardinalityShapeSimilarity(英語)は、実データと合成データそれぞれについて、親行一つ当たりの子行数の分布を比較します。つまり、テーブル間に参照が存在するかどうかとは別の性質を評価します。

今回の試験では、例えば明細が一つ、数個、多数ある予約がそれぞれいくつあるかを数えます。履歴のない機材や、続く期間に繰り返し使われた機材があるかも確認します。まれな出来事を試すことが目的なら、実際の比率を再現する必要はありません。ただし、通常の流入に似せるのか、難しい事例を意図的に多く含めるのかは明示する必要があります。

名前の多様さと履歴の多様さも区別します。架空の百人に対する百件の予約が、一台、期間、全数返却という同じ流れを繰り返しているかもしれません。名前を変えても、一部引き渡し、日程変更、一つの明細の取り消しは試せません。受け入れ時には必要な状況の一覧と、それぞれを実現するレコードを示します。足りない事例があれば、次は必要な履歴が偶然選ばれると期待して大きなセットを再生成するより、意識的に追加してください。

AIモデルの追加学習用データセットの評価 (ポーランド語)には、事例の選び方や、その後の独立した試験について別の問いが加わります。アプリケーションのテスト結果を学習資料に自動的に当てはめないでください。三つの画面を見せるには理想的なセットでも、別の履歴に対する動作を確かめるには多様性が足りないことがあります。

「合成」という表示だけで匿名性が確認されるわけではありません。生成器が扱った資料の出所と、その後どこまで共有してよいかを確かめます。予約の関係を試すだけなら、完全に架空の名前と連絡先で十分なことが多いはずです。ほかの項目が生成されたからといって、見栄えのよいプレビューのために実データを追加しないでください。

自分たちのテスト環境で試験を行い、架空の出来事を現在の業務と区別します。AI自動化のテスト環境についての記事 (ポーランド語)では、試験の準備を扱っています。試験データ内のメールアドレスによって、実際の顧客への通知が偶然送られてはいけません。整合したデータと、それを安全に使う場所は別々の受け入れ条件です。

生成器または指示のバージョン、スキーマ、規則、データそのもの、確認結果を保存します。一つの関係を直した後は、それに関わる試験をやり直します。問題のある行を数行手で削除すると、残りのオブジェクトの履歴が変わることがあります。引き渡しを削除すれば、残った返却は根拠を失います。衝突する予約を削除した場合も、関連する明細や出来事を確認してください。修正では特定した履歴の部分を対象にし、その依存関係を再確認します。最初のエラーメッセージが消えただけで修正後のセットを評価してはいけません。チームは動作の確認に実際にどのセットを使ったか知る必要があります。

Aeneia Auditのレビューに向けて、小さなデータセットと、それが扱う一つの業務の説明を用意してください。正しい履歴、欠けた関係、順序の誤った出来事を選びます。そこから資料の品質を具体的に評価し始められます。見た目のよいレコードはよい出発点です。受け入れる前に、隣のレコードにも会わせてみてください。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear