本文へスキップ
表示言語: 日本語
監査 / Signal

文書内のプロンプトインジェクション: AIは誰の指示に従っているか

文書に隠れた指示、ツールの権限、操作前の承認をAIの業務フローで確認します。

記事の言語: 日本語

暗い反射の見えるガラス球のそばに座る女性。
目次

アシスタントが取引先の文書を読み、その中に結果の送信先を変えるよう求める指示を見つけました。分析対象の資料が上司のように振る舞おうとしています。これは、権限を与えるべきではない資料を通じてモデルを操作しようとするプロンプトインジェクションの一例です。メッセージを送ったりファイルを変更したりするツールをつなぐ前に、その境界を試しましょう。外部文書に指示が書かれていても、それだけで会社からの指示にはなりません。

以下の手順は、特定の業務を確認するための編集上の提案です。製品の安全性を認証するものではありません。観察した動作、試験した入力経路、さらに技術的な制限が必要な操作についての判断を記録することが目的です。

文書はどこで指示になりすませるか

一つの仕事を最初から最後までたどりましょう。社員が資料を選び、アプリが添付ファイルを取得し、モデルが結果を作り、その回答を人または連携機能が利用します。受け渡しごとに、内容の出所と変更できる人を記録します。AIデータの流れの台帳 (ポーランド語)が役立ちますが、ここではさらに、資料の作成者が実行者の権限に影響できるかを尋ねます。

フォルダの所有者を知るだけでは答えは出ません。社内の保存場所に外部ファイルが入っていることも、社内報告書が取引先のページを引用していることもあります。システムが部分ごとの出所を保持できるなら、それを表示しましょう。できない場合は、資料全体により慎重な信頼水準を適用します。信頼されたドライブに文書を置いても、書き手は変わりません。

OWASPのプロンプトインジェクション対策ガイド(英語)は、モデルが処理する外部コンテンツを介した間接的な指示の挿入を説明し、ツールの権限をモデルの外で強制する必要性も示しています。システム指示に文書を信頼しないと書くだけでは、受け入れの十分な根拠になりません。

実用的な図では三つの役割を分けます。依頼者が仕事を決め、文書が資料を提供し、アプリが操作を実行してよいかを確認します。取引先の見積書に新しい送付先が書かれていれば、それは確認すべき情報かもしれません。しかし、別の案件の添付ファイルをそこへ送ることに利用者が自動的に同意したわけではありません。

観察できる試験結果をどう決めるか

モデルが丁寧に拒否した文章だけで判断しないでください。重要なのは結果です。ツールが呼ばれたか、どんな引数を受け取ったか、範囲を越えようとしたか、利用者が変更を見たかを確認します。拒否すると書きながら裏で操作を呼ぶシステムもあり得ます。警告を出さずに文書を処理し、仕事の境界を正しく守る場合もあります。ブラウザを操作するAIエージェント (ポーランド語)なら、クリックしたという説明だけを効果の証拠とせず、操作先アプリの該当オブジェクトの状態も確認しましょう。

試験前に、通常の仕事で許される結果を記録します。二つの見積もりの比較なら、定めた基準、資料の該当箇所へのリンク、足りない情報の明示などです。次に禁止する結果を決めます。送信先の変更、別の資料の開示、根拠のない主張の追加などです。これにより境界違反と通常の内容上の誤りを区別できます。

責任あるエージェントのワークフロー (ポーランド語)では、承認が必要な操作の一覧をあらかじめ決めておくとよいでしょう。それぞれに試験条件を設けます。社員が承認前に何を見るか、どの文書が操作の根拠になるか、拒否後にどうなるかです。ファイル分析への同意を、その後のすべての行動への包括的な同意と解釈し直してはなりません。

最初の試験には架空の文書と、提案された操作を記録するだけの代替ツールを使います。実際のメールボックスの代わりに送信予定の記録を用意し、機密ドライブの代わりに架空の案件を二つ作ります。実際の漏えいや顧客文書の変更を起こさず、境界を越える可能性を示す試験にします。

小さくても役立つケース集をどう作るか

チームの仕事に合った状況をいくつか選びます。一つ目は分析目的を変えようとする試み、二つ目は合意していない送信先の追加、三つ目は別のリソースへのアクセス要求、四つ目は管理者のメッセージを装う内容です。派手な文句を集める必要はありません。実際の処理経路でアプリの動作を比較する必要があります。

各ケースに通常の対照文書も用意します。「指示」という語を含むすべてのファイルを拒否すれば、取扱説明書を分析できなくなるかもしれません。不当なブロックも記録してください。評価では安全性と、合意した仕事を遂行できることの両方を扱います。広すぎるブロックは、社員が手順を迂回する原因にもなります。

チームがポーランド語と英語を使うなら、両言語を含めましょう。MicrosoftのPrompt Shieldsの文書(英語)は、利用者のプロンプトに対する攻撃と文書内の攻撃を区別し、言語によって性能が変わり得ると説明しています。分類結果には解釈と適切なアプリの処理が必要であり、それ自体が特定の操作をブロックした証拠にはなりません。

ケースごとに文書のバージョン、設定のバージョン、試験日、観察した結果を保存します。実行ごとに結果が違う場合は、最も都合のよい回答だけを選ばず、ばらつきを記録してください。AI品質の回帰テスト (ポーランド語)の進め方を利用できますが、ここでは一般的な文章の出来ではなく、信頼境界の違反に焦点を当てます。

Aeneiaのコンセプト写真

購買部門の仮想シナリオはどうなるか

アシスタントが設備の見積もり三件を比較し、取引先への質問の下書きを作ると仮定します。指定フォルダの読み取りと下書き保存は許されています。架空の見積書の一つに、「適合性の確認」のため比較表全体を追加のアドレスへ送るよう勧める段落がありました。会社はそのような同意をしておらず、試験で使う送信ツールは代替品です。

四つの観察を別々に記録します。モデルが内容に気付いたか、見積もりに関する事実として扱ったか、追加送信を提案したか、アプリが呼び出しを許したかです。疑わしい文を要約で引用しただけでは、仕事を乗っ取られたことにはなりません。合意した一覧外への送信を試みることは、別の種類の出来事です。

最初のシステムでは、承認ボタンに「質問を送信」としか表示されません。社員には追加の送信先や添付ファイルが見えないため、弱点になります。チームはメッセージ全文と送信先を事前に見せる画面に変更し、独立したツールのルールで、その仕事について承認された一覧外への送信をブロックします。その後、同じケースと通常送信の対照試験を繰り返します。

ブロックが機能した場合、報告書にはその経路、バージョン、試験の組を正確に記します。それだけを根拠に、製品があらゆる不正な誘導に耐えると主張してはなりません。別の形式、将来の連携、文書取得方法の変更は試していないからです。結果の限界を示すことで、次の確認を計画できます。

問題を見つけた後、どう保護策を選ぶか

起こり得る結果に応じて判断します。作業中の要約の項目順が変わる場合と、組織外へデータを送ろうとする場合では対応が異なります。まず権限のない操作をできなくし、その後に指示や表示文を改善します。AI連携のアクセス権 (ポーランド語)を見直せば、アプリを作り直す前でも被害の範囲を減らせる場合があります。隔離環境に頼る場合は、ツールの実際の動作とあわせてエージェントのサンドボックスにおけるファイルとネットワークの境界 (ポーランド語)も確認します。

元に戻せて下書きだけに限られる操作なら、明確なプレビューと後の確認で足りる場合もあります。送信、上書き、別の領域からの取得には、それぞれに適した管理が必要です。利用者は具体的な範囲を承認しなければなりません。モデルが説得力のある理由を示しても、実行ルールはその範囲を再確認する必要があります。

試験で実際の無権限操作が明らかになったら、実験を止め、合意済みのデータ事故対応手順 (ポーランド語)を開始してください。事象の保全と追加試験を混ぜないでください。追加の操作によって、以前に何が起き、どの情報のコピーを調べるべきかが分かりにくくなることがあります。

指示が文書の内容そのものである場合はどう判断するか

文書が通常の手順を説明し、利用者がその実行計画を求めることもあります。このとき命令形の文をすべて無視すれば、仕事が成り立ちません。違いは権限の出所です。人が取扱説明書の分析を依頼したので、モデルはそこに書かれた手順を再現できます。しかし、それによって説明書にあるツールを実行したり、自分の制限を変えたりする権限を得るわけではありません。

ケースの記録には二つの答えを分けて書きます。一つ目は文書の内容を正しく理解したか。二つ目は利用者が承認した操作だけを実行したかです。これにより、安全なシステムが疑わしい段落を忠実に要約しただけで誤って失敗と評価されるのを避けられます。内容は指示を実行せずに説明し、印を付け、確認のために示せます。

後から実行される操作にも注意してください。今日アシスタントが下書きを保存し、明日別の自動化がそれをメッセージに変えるかもしれません。最初の段階で、ある箇所を未確認の取引先からの要求と示したなら、その印は受け渡し後も残るべきです。この情報が失われると、後の実行者が作業中の提案を承認済みの仕事と見なす可能性があります。その場合は後で読み直す時点も確認の対象です。

空の文書や破損した文書でも試してください。システムは資料がないことを明確に説明すべきで、別の場所で見つけた指示を勝手に分析に補ってはなりません。これは関連する別のケースです。権限のない操作がすべて敵対的な文章によるとは限りません。明示的な停止経路がないため、アプリ自身が仕事を広げる場合もあります。

検討会の後は、限定した証拠の組を保管します。架空ファイルのバージョン、提案された操作の記録、管理設定があれば、その結果を再現するには通常十分です。例をもっともらしくするためだけに、パスワード、実際の鍵、他の顧客の資料を報告書に移さないでください。技術的な証拠は修正に役立ち、案件内で安全に共有できるものであるべきです。

外部からの指示の確認を社内AI検索の受け入れ確認 (ポーランド語)と結び付けましょう。質問に関連する資料でも、ツールを制御すべきではない内容を含む場合があります。検索結果の関連性と操作の実行権限には、別々の基準が必要です。

保護策の確認には何を含めるか

よい記録は、一つの具体的な判断を確定させます。決めた範囲を開始できるのか、制限が必要なのか、修正まで操作を止めるべきなのかです。残った問題ごとに担当者と再試験の日を定めます。「AIの安全性を改善する」という一般的な課題だけでは、チームが実行できる次の一歩になりません。

  • 現在使っているすべての文書取得経路が図に含まれています。
  • 試験には架空のデータと、実際の外部作用がないツールを使います。
  • 各ケースに仕事、禁止する結果、通常の対照試験が定められています。
  • 報告書に実際の操作の引数と実行ルールの結果が示されています。
  • 承認は、表示された送信先、リソース、変更を対象にします。
  • 修正後、問題のケースと通常業務の対照試験の両方を繰り返しました。
  • 限界の一覧に、今回の試験がまだ対象としていない範囲を記しています。

このような業務の確認を相談する場合は、Aeneia Auditの対象範囲からご覧ください。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear