本文へスキップ
表示言語: 日本語
監査 / Signal

社内AI検索の監査:出典の新しさと回答の不足を確かめる

社内AI検索が正しい資料を見つけ、内容を忠実に伝え、文書の更新後もアクセス権と情報の新しさを守るか確認します。

記事の言語: 日本語

イラスト:石柱の一部に、ひびを示す細い線が引かれている。
目次

引用が三つ付いた回答は、丁寧に仕上げた宿題のように見えます。でも、三つとも古い手順書につながっていたら、丁寧なのは見た目だけかもしれません。社内のAI検索は二段階で確認します。正しい資料を見つけたか。その資料に忠実に答えたか。さらに情報の新しさとアクセス権も調べます。リンクは回答の検証に役立ちますが、リンクがあるだけでは、元資料の条件や範囲が守られたとは確認できません。

検索拡張生成(RAG)は、資料を探す処理と、モデルが回答を作る処理を組み合わせます。MicrosoftはAzure AI Searchの文書でこの方式を説明しています。監査の初めから技術設定をすべて分析する必要はありません。従業員の質問、現在有効な文書、回答が守るべき範囲から始めます。そのうえで、食い違いがどの段階で生じたかを調べます。

回答の根拠を会社が把握している質問を選ぶ

実際の業務から質問を集めます。特定の書類をどう作るか、例外を誰が承認するか、どの様式が有効か、サービスの対象範囲はどこまでか。質問ごとに現在の根拠資料と、その意味を確認できる担当者を結び付けます。製品デモで聞こえがよいという理由だけで質問を選ばないでください。

架空のサービス会社で、通常の受付順から外れる緊急の依頼を誰が受け付けるか、従業員が尋ねるとします。資料には現在の手順書、以前の版、変更案を検討した会議メモがあります。正しい回答は、決まったルールとアイデアを区別するはずです。文書の数だけでは、どれを優先するかは決まりません。

質問ごとに重要な条件を記録します。利用者の役割、案件の種類、対象となる時点です。答えがその情報に左右されるなら、システムは情報を尋ねるか、回答の限界を示すべきです。模範文と数語が一致したかだけで評価しないでください。業務を利用する人には、具体的な状況に合った判断が必要です。

現在有効な根拠資料を会社が示せない場合は、試験を続ける前にその不足を記録します。モデルを取り替えても、食い違う手順書は整理されません。チャットは会社の図書館に声を与えるかもしれませんが、流ちょうに話すだけで目録を整えることはできません。データの流れを記録した台帳は、資料がどこからツールに入り、誰が更新を担うかの確認に役立ちます。 詳しくはAIのデータの流れの記録を扱う記事で (ポーランド語)確認できます。

回答の文体を評価する前に検索結果を確認する

質問ごとに、システムが見つけた箇所を調べます。対象のサービス、版、状況に合っていますか。回答に必要な条件は含まれていますか。資料が間違っている、または不十分なら、モデルの文章を磨いても原因は消えません。まず資料にたどり着く経路を直します。

同じ質問を三通りで尋ねる試験を用意します。手順書の用語、従業員が普段使う言い方、問題を短く説明した文です。どの言い方で正しい資料にたどり着けたかを記録します。これは語彙全体での性能を証明するものではありません。文書の言葉と日常業務の言葉のずれを見つけるための方法です。

複数の部署で使われる名前を含む質問も試します。同じ略語が、顧客対応とプロジェクトチームでは別の意味を持つことがあります。回答は文脈を考慮するか、追加の説明を求めるべきです。最も似た箇所を選んだことと、依頼を正しく理解したことは同じではありません。

スキャン文書なら、その前段階にあるAI分析前のOCRも調べます。名前や表の読み取りが誤っていると、文章を比較する仕組みが設定どおりに動いていても検索が悪くなることがあります。すべての誤りを一つのモデルのせいにせず、原因を分けて確認します。 AI分析前のOCR品質の確認を扱う記事も (ポーランド語)参考になります。

引用を開き、何を裏付けているか確認する

リンクは、その主張を検証できる資料につながるべきです。利用者のアカウントで開き、該当箇所を探してください。似た題名の文書というだけでは足りません。回答に複数の異なる主張が含まれる場合は、重要な要素それぞれの根拠を確認します。期限、例外、担当者には特に注意します。

先ほどの架空の例では、手順書に、コーディネーターが初期評価の後に案件を割り当てると書かれています。AIの回答がこれを、特定の専門担当者が自動的に受け付けるという約束に変えてはいけません。正しい文書を見つけても、結論が広すぎることはあります。この誤りは検索そのものではなく回答の段階にあります。

引用自体は正しくても、回答全体を裏付けていない事例を記録します。システム自身の提案を提案として示せるか、根拠の不足を指摘できるかも確認してください。すべての文に長い説明を求める必要はありません。次の行動を決めるために必要な区別を確かめます。

チームで回答を検証するためのルールを用意します。利用者は、短い回答で見当をつけてよい場合と、操作の前に出典を確認するか判断を得る必要がある場合を知るべきです。信頼の置き方は、引用の見栄えではなく作業に合わせます。 関連する考え方はチームのAI回答検証の研修についての記事で (ポーランド語)読めます。

文書の更新と古い版の取り下げを試す

重要な手順書を一つ更新する場面を試験に加えます。元資料を変更した時刻、変更を検索システムへ渡した方法、次の質問の結果を記録してください。ファイルを変更すれば、システムが使うすべてのコピーも直ちに変わるとは限りません。実際の設定と更新経路を確認する必要があります。完成した回答を保存する仕組みがある場合は、出典変更後のAIキャッシュ (ポーランド語)も調べます。文書が更新されても、別の経路に古い結果が残り得るためです。

次に、管理された環境で文書を一つ取り下げます。検索されなくなりますか。保存済みの会話にある古いリンクから、以前の回答の根拠を引き続き把握できますか。現在の利用可能性と過去の結果を説明できることは別の要件です。どう両立させるかを決めます。

検索対象の集合と、実際に存在する他のコピーを含めて、AIデータの保存と削除のルールを定めてください。範囲の決め方と確かめ方は、AIデータの保存と削除のガイド (ポーランド語)で確認できます。どの段階を確認したか分からないまま、単に削除済みと記録しないでください。記録には確認範囲と証拠を残します。

出典を大きく変えた後は、回帰テストに戻ります。一つの回答が改善しても、共通の箇所を使う別の回答が変わることがあります。毎回、偶然の会話から検収を始めるより、重要な質問を少数保存しておきます。システムに届く質問の種類の変化も確認してください。古い質問集では日々の仕事を表せなくなることがあります。 具体的な方法はAI回答の回帰テストを扱う記事で (ポーランド語)確認できます。 データドリフトと変化する質問についての記事も (ポーランド語)参照できます。

宣言ではなく結果そのものでアクセスを確認する

管理された資料について、権限の異なる少なくとも二つの役割で試します。検索、回答、引用先を開く操作を確認してください。権限のない人が文書を開けなくても、その前にツールの要約で内容を見せていたら十分ではありません。結果と出典の両方が、合意した範囲を守る必要があります。

Aeneiaのコンセプト写真

Microsoftは権限に応じて検索結果を絞るパターンを説明しています。その文書は、フィルター自体と認証・認可を明確に区別しています。監査ではフィールド名や一つの設定を保護の証拠とせず、アプリケーション全体の仕組みを確かめます。

アクセス権を外した後と、グループを変更した後の試験も加えます。変更がいつ適用され始め、以前の会話に何が残るかを記録します。すべての製品が同じように動くとは限りません。AI連携の権限点検ガイド (ポーランド語)は、実際に使う接続に合わせて試験を選ぶ助けになります。

文書から検索した内容が、アプリケーションを制御する新たな指示になってはいけません。この境界を別途試す方法は、文書内のプロンプトインジェクション (ポーランド語)で説明しています。正しく見つかったファイルも評価対象の資料であり、エージェントの権限を持つ主体ではありません。

最初の質問だけでなく、その後の会話も試す

最初の回答が正しくても、次の質問が誤った文脈を引き継ぐことがあります。架空の会社で、従業員がまず標準サービスを尋ね、次に別チーム向けの例外を尋ねるとします。システムが変更に気付かず最初の資料を使い続けると、現在の依頼とは違う課題について、もっともらしい回答を作ることがあります。

短い会話の流れを用意します。基本の質問、追加の説明、明確な話題変更です。各段階で期待する出典を記録し、システムが必要な資料を再検索するか、以前の回答に基づいていると明示するかを確認します。会話の記憶が必ず結果を改善するとは限りません。

利用者が訂正する場面も加えます。従業員が別の部門や期間を指していると言ったら、ツールはその情報を後の処理に反映すべきです。それでも誤った手順書から回答しているなら、同意の言葉だけでは足りません。最初の一文の丁寧さではなく、資料と結論を評価します。

報告書では、検索の誤りと文脈維持の誤りを分けます。出典、会話の進め方、限界の示し方のどこを変えるべきか判断しやすくなるためです。利用者は、新しい課題を始めているのか、前の課題を詳しくしているのか分かるべきです。インターフェースは、すべてを長い一つのチャットに隠すより、その区別を助けられます。

アクセスできないことと文書自体の情報を分ける

役割ごとの試験では、題名、短い説明、次の質問の提案も確認します。文書全体を見せなくても、利用者に渡すべきでない情報を表示することがあります。評価範囲には、クリック後にファイルが開くかだけでなく、アプリケーションが実際に返す内容を含めます。

架空の内容であることを明示し、アクセスを制限した試験用資料を準備します。権限のある役割とない役割から、その内容について質問します。回答、出典一覧、提案を記録してください。権限を変えた後も同じ範囲を繰り返します。保護が必要な実データを使わずに、システムの振る舞いを試せます。

詳しい拒否理由そのものが範囲外の資料の存在を明かすなら、過度に細かな説明を求めないでください。回答がないことをどう伝えるか、責任者と合意します。アクセス可能な資料の中に根拠が見つからなかったと伝えるだけで十分な場合もあります。この判断は会社のルールと、使用するツールの実際の振る舞いに合わせます。

会話のエクスポートと共有も調べます。質問時のアクセスが正しくても、その後に誰が回答記録を受け取るかまでは決まりません。すぐに全体の流れを作り直す必要はなくても、この境界を明確にし、その後の配布の責任を決めます。

出典と回答を別々の欄で評価する

質問ごとに、正しい資料を見つけたか、回答がその意味を保ったか、利用者に結果を見る権利があったかを記録します。不足の種類と確認に要した時間も加えてください。文体の高得点に重大な誤りが隠れるような単一の総合点を作る必要はありません。

例えば、正しい出典を見つけた点は評価できても、例外を省いた回答は修正が必要です。別のケースでは、要約は内容に忠実でも、出典自体が古いことがあります。この二つは別々の修正作業につながります。チャットが時々間違うという漠然とした印象だけを残すのではなく、その違いを示すのが監査の役割です。

判断資料には、結論が出ていない例と範囲外の質問も含めます。資料が一つのサービスの手順書だけを対象としているなら、それを根拠に会社全体の知識について受け入れ確認が済んだと宣言しないでください。責任者は、業務で認められた用途と、追加試験または別の出典が必要な用途を区別できるべきです。

回答がない場合の対応と修正責任を決める

資料に根拠のない質問、矛盾する質問、文書が一部しか答えていない質問を用意します。不足を示す、追加説明を求める、適切な担当者につなぐことが正しい結果の場合もあります。条件を作り出すくらいなら、根拠がないと正直に伝えることを誤りと見なさないでください。モデルに妙案が浮かんだというだけで会社のルールを作るべきではありません。

問題の原因は別々に記録します。文書がない、検索が誤った、版が古い、結論が間違っている、アクセスが制限されている。それぞれ必要な修正は異なります。有効な手順書を承認すればよい場面で、資料の責任者にモデルの作り直しを依頼すべきではありません。

AIによる会議メモを資料に加える場合は、その状態を示します。利用前の確認事項を整理する際は、AI会議メモの点検ガイド (ポーランド語)が参考になります。作業中の要約を、確認なしに承認済みの決定と入れ替えてはいけません。検索に必要なのは、単にファイルを増やすことではなく、会社が実際に使う出典の優先順位です。

検収前に、設定者の説明を聞かず、別の人にいくつかの回答を確認してもらいます。その人が出典を見つけ、重要な条件を指摘し、意図的に根拠を用意しなかった箇所を見分けられるかを確かめます。もっともらしい口調だけを評価しているなら、検証の手順を改善してください。インターフェースは確認を助けられますが、リンク付きの文章はすべて会社が承認した回答だと示唆してはいけません。

検収記録には、利用者が誤りを見つけた後の行動も残します。誰に知らせ、どの箇所を示し、作業を安全に続けられるか。親指による評価ボタンだけでは、出典や回答の仕組みを修正できる人に問題が届くとは保証できません。報告一件が最初から最後までどう扱われるかを試します。

購入や利用範囲の拡大前には、AIベンダー評価のガイド (ポーランド語)を参考に、これらの条件を確認してください。自社の質問を使って試したい場合は、Aeneia Auditの対応範囲をご覧ください。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear