AIでレコードを照合する: 二人の顧客を一人にまとめないために
AIを使うレコード照合を、誤った統合、見落とした重複、グループ、項目の出所と修復可能性から評価します。
記事の言語: 日本語

目次
データベースにアンナ・ノヴァクが二人います。メールアドレスは似ており、同じ会社のドメインを使い、同じイベントのために資材を注文しました。システムが統合を提案します。担当者は似た二行を見て「承認」を押しますが、後になって一人はイベントの主催者、もう一人は供給業者の担当者だと分かります。同じ姓だからといって案件のフォルダまで共有する必要はありません。
AIを使ったレコード照合は混乱を整理できますが、存在しない人について非常に一貫した記録を作ることもあります。似たレコードを探すことが、そのまま同一人物だという判断に移ると問題が始まります。監査ではこの二段階を分け、統合後にデータがどうなるかも確かめるべきです。
このような処理は、制御された合成データベースで評価するのが最も容易です。準備時には、各人に割り当てた役割と履歴を中心に合成データの関係と出来事の一貫性 (ポーランド語)を確認します。実際の顧客関係をさらさずに、同姓同名、共有メールボックス、変更された名前を意図的に含められます。期待結果が事前に分かるため、誤ったリンクと見落とした重複の両方を確認できます。
まずレコードが何を表すか決める
一行は人物、企業、支店、配送先、または人物と組織の関係を表すことがあります。同じ人の二つのレコードでも、異なる役割を保存しているなら必ず一行にするべきとは限りません。照合の仕組みを評価する前に、データベースの単位と単位間で許される関係を書きます。
架空の連絡先一覧では、アンナは会社の従業員と特定の注文の担当者として現れることがあります。勤務先が変わったからといって、古い注文に新しい会社を割り当てるべきではありません。データモデルが人物とその関係を区別しないなら、統合ツールが姓を正しく推測するだけでは曖昧さは解消しません。
組織にも似た問題があります。ブランド、事業体、支店は名前の一部を共有していても、業務で果たす役割は異なり得ます。長い名前が短い名前の完全版だと自動的に考えないでください。評価者には、データベースの用途に合う同一性の基準が必要です。
CRMへ移す前の企業データベースの重複排除 (ポーランド語)では、項目の整理はデータ準備の一部です。ここで特に重要なのは、ツールがリンクを提案し、システムが二つの出典を一つの対象として扱い始める瞬間です。その時点に固有の確認と判断の記録が必要です。
この段階で三つの結果を書き出します。同じ対象、異なる対象、判断する根拠が不足している場合です。最後の答えも必要です。アプリが常に「はい」か「いいえ」を求めるなら、不確かな事例の一部は、別の経路がないという理由だけでどちらかに入ってしまいます。
確認候補は統合の指示ではない
OpenRefineのセルのクラスタリングに関する説明(英語)は、似た文字列の値をまとめ、利用者が提案された変更を承認する方法を説明しています。そこで表記の類似は値の整理に使われます。似た名前を見つけただけでは、人や組織の同一性は確定しません。
自分たちの処理を二段階で評価します。まず確認に値する組を見つけるか調べます。次に、判断ルールが重複と紛らわしい別の対象を区別するか確かめます。候補の選定が良くても、自動統合が過度に積極的なことはあります。一つの全体的な「正確度」ではその違いが隠れます。
簡単な組と難しい組を準備します。同じ合成人物の姓に誤字がある、古い住所がある、番号の空白の入れ方が違う場合があります。別人が氏名、代表電話番号、部門用メールボックスを共有することもあります。ツールを動かす前に、各組について期待する結果とその理由を記録します。
共有メールボックスを複数の独立した証拠として扱わないでください。ドメイン、組織名、オフィスの住所は、同じ企業との関係をそれぞれ表しているのかもしれません。チームが各シグナルの対象を理解しているか報告書で示します。類似度を機械的に足し合わせると、すべてが一つの共通特性に由来するまさにその場所で説得力があるように見えることがあります。
時間とともにデータが変わる事例を追加します。古いアドレスと新しいアドレスが同じ人のものかもしれませんし、職務用メールボックスを順に使った別の二人のものかもしれません。評価には日付と項目の出所が必要です。履歴を残さず古い値を新しい値に置き換えると、後で誤りを説明しにくくなります。
写真による商品検索 (ポーランド語)では、見た目が似ていることと同じモデルであることを分けます。レコードの似た名前も同様の補助的な役割を果たします。確認画面は類似度の割合だけでなく、判断に必要な一致点、相違点、データの出所を示すべきです。
二方向の誤りを数える
誤ったリンクは異なる対象を一つにすることです。見落とした重複は、同じ対象の記録を別々に残すことです。影響は異なります。前者は案件の履歴を混ぜ、後者は重複した連絡を残す可能性があります。表計算シートの整理のしやすさだけで、両者の重要性を決めないでください。
Splinkの評価ドキュメント(英語)は、選択したしきい値でラベル付きの例に照らして誤った照合と見落としたリンクを調べる方法を説明しています。既知の結果と明示的な判断の境界が必要だという有用な参考です。作られたグループの数だけでは品質を測れません。
合成サンプルでは、リンクすべき組と別々に保つべき組の数を示し、その横にツールの結果を記録します。しきい値を変えるなら、同じ事例と両種類の誤りを比較します。誤ってまとめられる顧客が増えるなら、重複数の減少だけでは十分ではありません。

入力順を入れ替えた後のサンプルも試します。同じ合成レコードのグループで最終的に選ばれたデータが変わるなら、理由を調べます。ルールが最初に見つけた項目を残すのかもしれません。意図的な設定である場合もありますが、人物認識の品質による結果とみなす代わりに、その設定を明示して課題に照らして評価する必要があります。
人が判断するグループを分け、その規模も確認します。ほとんどを人に渡して自動の誤りを避ける方法もあります。それ自体が悪い判断とは限りませんが、実際の作業量を数える必要があります。一件の確認に必要な時間と、評価者に不足していたデータを記録します。
AIの行動を人が承認する場合 (ポーランド語)、承認ボタンがあるだけでは意味のある確認は保証されません。統合の承認前に、残す項目、レコードに移す関連付け、両方の出典の履歴が引き続き見られるかも示します。そうしないと担当者が承認するのは結果ではなく操作の名前です。
提案を拒否する場合も試します。二人のアンナを別人とした後、ツールがすぐ同じ組を再提案しないでしょうか。判断に理由と範囲はありますか。特定のリンクを拒否しても、データベースの別の場所にある一方の実際の重複を調べる妨げになってはいけません。
個別の要素が消える前にグループを調べる
組だけではグループ全体を説明できません。レコードAは電話番号の共有でBに似ており、Bは姓によってCに似ているかもしれません。それだけでAとCが自動的に同じ人を表すとはいえません。このような連鎖を試験に加えて最終グループを見ます。個々の提案の評価では見えない影響を発見できます。
統合後の値の選択ルールをたどります。どのアドレスを主にするか、空欄をどうするか、矛盾をどう解決するか。一方の出典は昨日自動更新され、他方に一週間前に確認した情報があるなら、「新しいレコード」だけでは完全なルールではありません。項目に適した選択根拠が必要です。
入力レコードの識別子と引き継いだ値の出所を残します。どの理由で電話番号がその連絡先に入ったか追跡する助けになります。データベース全体を報告書にコピーするという意味ではありません。確認に使うデータの範囲は課題に合うべきで、AIデータフローの記録 (ポーランド語)と結び付けて考えられます。
統合対象の項目について、値が矛盾する例と値が欠けている例を少なくとも一つずつ示します。空のセルに番号を追加することと、既存の番号を置き換えることは別の評価が必要です。報告書が両方を「連絡先を補完」とまとめると、正しい値の一部が上書きされたことに気づきにくくなります。変更のプレビューでは追加、置換、変更なしを分けます。
統合後は、そのシステムに存在するなら、案件、注文、割り当てられた役割などの関連対象も開きます。連絡先の行は正しく見えても、古い注文に誤った組織が付いたかもしれません。行だけの受け入れでは、そもそもデータベースを整理する理由になった影響を見落とします。
元のレコードの一つを再インポートします。システムが既存の関連付けを認識するか、新しい顧客を作って統合を最初から始めるか確認します。この事例は、一度きりのファイル整理と、データが継続的に流れ込む処理を区別します。関連付けの記録は次のデータ投入でも役立つ必要があります。
多対一の関係では、元の識別子がすべて引き続き正しい対象を指すか確かめます。架空のアンナには異なるシステムからの有効な記録が三つあるかもしれません。二つをつなぎ、三つ目を認識できる関係なしに残しても作業は終わりません。同時に、見栄えのよい一つのグループにするためだけに、もう一人のアンナの似たレコードを加えてはいけません。
誤ったグループを制御された方法で分離してみます。元のレコードと割り当てを復元できますか。統合後に追加したデータはどうなりますか。ツールに簡単な取り消しがない場合、処理を動かす前に修復方法と自動変更の範囲を決める必要があります。入力のコピーは役立ちますが、後から追加されたメモが誰のものかまでは、それだけでは決まりません。
Aeneia Auditの運用確認は、合成サンプル、ルールの説明、最終グループの表示から始められます。整理作業が実際の連絡先の履歴を変える前に、処理の論理を確かめられます。
整理したデータベースの利用も確認する
データベースを集計分析に使うなら、統合後の結果を見ます。誤ったリンクは顧客数、回答数、案件に関連する連絡数を変えることがあります。アンケートの自由記述分析 (ポーランド語)では特に、発言、人、出来事のどれを数えるか知る必要があります。「重複を削除した」という言葉はその定義に代わりません。
最後に、自動統合を許可しなかった範囲も記録します。部門の共有メールボックスや出典の識別子がないレコードなどが考えられます。処理の責任者は、簡単な組でよい結果が出たことからデータベース全体の準備ができたと推論せず、どこに別の確認がまだ必要か知るべきです。
どの変更がサンプルの再確認を必要とするか決めます。新しい出典の種類、項目の選択ルールの変更、別のグループ生成方法などです。残った行数の比較だけでは十分ではありません。難しい組と連鎖に戻り、判断を見て、修復できるかを確かめます。
最後にデータベースの利用者に、合成データの二人のアンナを探してそれぞれの最近の案件を説明してもらいます。出典、役割、記録を結合または分離した理由を再現できるなら、整理は有用な結果を生んだといえます。行が減ることは理解できる判断の結果であり、二人のアンナにはそれぞれ固有の連絡履歴が残ります。










