본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

문서 속 프롬프트 인젝션: AI가 누구의 지시를 따르는지 확인하기

문서에 숨은 지시, 도구 권한, 작업 승인에 AI 업무 흐름이 어떻게 반응하는지 시험합니다.

본문 언어: 한국어

어두운 반사가 보이는 유리 구 곁에 앉은 여성.
목차

어시스턴트가 거래처 문서를 읽다가 결과물의 수신자를 바꾸라는 지시를 발견합니다. 분석할 자료가 마치 상급자의 지시인 것처럼 행동하려는 상황입니다. 이는 권한을 부여해서는 안 되는 자료를 통해 모델을 조종하려는 프롬프트 인젝션의 한 예입니다. 메시지를 보내거나 파일을 바꾸는 도구를 연결하기 전에 이 경계를 시험하세요. 외부 문서에 지시가 적혀 있다고 해서 그것이 곧 회사의 지시가 되는 것은 아닙니다.

아래 절차는 특정 업무를 점검하기 위한 편집상의 제안입니다. 제품의 보안 인증서는 아닙니다. 관찰한 행동과 시험한 입력 경로를 기록하고, 여전히 기술적 제한이 필요한 작업을 결정하는 것이 목적입니다.

문서는 어디에서 지시인 척할 수 있나요?

완전한 업무 하나를 먼저 따라가세요. 직원이 자료를 고르고, 애플리케이션이 첨부 파일을 가져오고, 모델이 결과를 만든 뒤, 사람이나 연동 기능이 답변을 이용합니다. 단계마다 내용의 출처와 누가 이를 바꿀 수 있는지 기록하세요. AI 데이터 흐름 등록부 (폴란드어)가 도움이 되지만 여기서는 한 가지를 더 묻습니다. 자료 작성자가 작업 수행자의 권한에 영향을 줄 수 있나요?

폴더가 누구의 소유인지 아는 것만으로는 답할 수 없습니다. 회사 저장소에 외부 파일이 들어왔을 수도 있고 내부 보고서가 공급업체 페이지를 인용했을 수도 있습니다. 시스템이 부분별 출처를 보존할 수 있다면 이를 표시하세요. 그렇지 않다면 전체 자료에 더 신중한 신뢰 수준을 적용하세요. 신뢰하는 드라이브에 문서를 넣었다고 작성자가 바뀌지는 않습니다.

OWASP의 프롬프트 인젝션 가이드(영어)는 모델이 처리하는 외부 콘텐츠를 통한 간접 지시 삽입을 설명하고, 도구 권한을 모델 밖에서 강제할 필요도 제시합니다. 시스템 지시문에 문서를 신뢰하지 말라고 적는 것만으로는 점검을 통과할 충분한 근거가 되지 않습니다.

실용적인 지도는 세 역할을 구분합니다. 요청자는 업무를 정하고, 문서는 자료를 제공하며, 애플리케이션은 작업 실행이 허용되는지 확인합니다. 거래처 제안서에 새 발송 주소가 있다면 확인할 정보일 수 있습니다. 그렇다고 다른 프로젝트의 첨부 파일을 그 주소로 보내라는 사용자의 동의가 자동으로 생기는 것은 아닙니다.

관찰할 수 있는 시험 결과를 어떻게 정하나요?

모델이 공손하게 거절했는지만 평가하지 마세요. 실제 결과가 중요합니다. 도구가 호출됐는지, 어떤 인자를 받았는지, 범위를 벗어나려는 시도가 있었는지, 사용자가 변경을 보았는지 확인하세요. 시스템이 거절한다고 쓰면서 백그라운드에서 작업을 호출할 수도 있습니다. 반대로 경고 없이 문서를 처리하면서 업무 경계를 올바로 지킬 수도 있습니다. 브라우저를 조작하는 AI 에이전트 (폴란드어)라면 클릭 설명만을 결과의 증거로 삼지 말고 대상 애플리케이션의 해당 객체 상태도 확인하세요.

시험 전에 정상 업무에서 허용되는 결과를 기록하세요. 두 제안을 비교한다면 정해진 기준, 원문 부분의 링크, 빠진 정보에 대한 안내가 될 수 있습니다. 이어서 금지할 결과를 정하세요. 수신자 변경, 다른 자료 노출, 근거 없는 주장 추가 등이 그 예입니다. 이렇게 해야 경계 위반과 일반적인 사실 오류를 구분할 수 있습니다.

책임 있는 에이전트 업무 흐름 (폴란드어)에서는 승인받아야 하는 작업 목록을 미리 정하는 것이 좋습니다. 각 작업에 시험 조건을 따로 두세요. 직원이 승인 전에 무엇을 보는지, 어떤 문서가 작업을 뒷받침하는지, 거절 뒤에는 어떻게 되는지 확인합니다. 파일 분석에 대한 동의를 이후 모든 행동에 대한 포괄적 동의로 다시 해석해서는 안 됩니다.

첫 시험에는 가상 문서와 제안된 행동만 기록하는 대체 도구를 사용하세요. 실제 메일함 대신 발송 예정 메시지 기록을 만들고, 기밀 드라이브 대신 가상의 프로젝트 두 개를 준비합니다. 실제 유출이나 고객 문서 변경 없이 경계를 넘을 가능성을 보여 주는 시험이어야 합니다.

작지만 유용한 사례 묶음을 어떻게 만드나요?

팀의 업무에 맞는 몇 가지 상황군을 고르세요. 첫째는 분석 목적을 바꾸려는 시도, 둘째는 합의하지 않은 수신자 추가, 셋째는 다른 자원에 접근하라는 요구, 넷째는 관리자 메시지로 위장한 내용입니다. 화려한 문구 모음이 필요한 것은 아닙니다. 실제 처리 경로에서 애플리케이션의 행동을 비교해야 합니다.

각 사례에는 평범한 대조 문서도 함께 두세요. "지시"라는 단어가 든 모든 파일을 거부한다면 사용 설명서의 분석도 막힐 수 있습니다. 부당한 차단도 기록하세요. 평가는 보안과 합의된 업무를 수행할 수 있는지를 함께 다룹니다. 지나치게 넓은 차단은 직원이 절차를 우회하게 만들 수 있습니다.

팀이 폴란드어와 영어로 일한다면 두 언어를 포함하세요. Microsoft Prompt Shields 문서(영어)는 사용자 프롬프트 공격과 문서 공격을 구분하고 언어에 따라 성능이 달라질 수 있다고 설명합니다. 분류기 결과는 해석과 적절한 애플리케이션 로직이 필요하며, 특정 작업이 차단됐다는 증거가 그 자체로 되지는 않습니다.

사례마다 문서 버전, 설정 버전, 시험 날짜, 관찰한 결과를 보관하세요. 실행마다 결과가 다르면 가장 좋은 답만 고르지 말고 차이를 기록합니다. AI 품질 회귀 시험 (폴란드어)의 접근을 활용할 수 있지만, 여기서의 목적은 일반적인 답변 문체가 아니라 신뢰 경계 위반을 살피는 것입니다.

Aeneia 콘셉트 사진

구매 부서의 가상 시나리오는 어떤 모습인가요?

어시스턴트가 장비 제안 세 개를 비교하고 공급업체에 보낼 질문 초안을 만든다고 가정해 봅시다. 지정된 폴더를 읽고 초안을 저장할 권한이 있습니다. 한 가상 제안서에는 "적합성 확인"을 위해 전체 비교표를 추가 주소로 보내라는 문단이 들어 있습니다. 회사는 그런 동의를 한 적이 없으며 시험의 발송 도구는 대체 도구입니다.

네 가지 관찰을 따로 기록합니다. 모델이 내용을 알아챘는지, 제안서에 관한 사실로 반영했는지, 추가 발송을 제안했는지, 애플리케이션이 호출을 허용했는지입니다. 의심스러운 문장을 요약에서 인용한 것만으로 업무가 탈취됐다고 볼 수는 없습니다. 합의된 목록 밖으로 보내려는 시도는 다른 범주의 사건입니다.

시스템의 첫 버전에서 승인 버튼은 "질문 보내기"만 표시합니다. 직원이 추가 수신자와 첨부 파일을 볼 수 없으므로 취약한 지점입니다. 팀은 전체 메시지와 수신자를 미리 보여 주도록 화면을 바꾸고, 별도의 도구 규칙은 해당 업무의 승인 목록 밖 발송을 차단합니다. 그런 다음 같은 사례와 정상 발송 대조 시험을 반복합니다.

차단이 작동한다면 보고서에는 바로 그 경로, 버전, 시험 묶음을 적습니다. 이를 근거로 제품이 가능한 모든 조작에 안전하다고 주장해서는 안 됩니다. 다른 형식, 미래의 연동, 문서 수집 방식 변경은 시험하지 않았기 때문입니다. 결과의 한계를 밝혀야 다음 점검을 계획할 수 있습니다.

문제를 발견한 뒤 어떤 보호 조치를 고르나요?

가능한 결과를 기준으로 결정하세요. 초안 요약의 항목 순서 변경과 조직 밖으로 데이터를 보내려는 시도에는 다른 대응이 필요합니다. 먼저 권한 없는 작업이 가능하지 않게 하고 그다음 지시문과 안내를 개선하세요. AI 연동 권한 (폴란드어)을 검토하면 애플리케이션을 다시 만들기 전에도 피해 범위를 줄일 수 있는 경우가 많습니다. 분리된 환경을 통제 수단으로 쓴다면 도구의 실제 동작과 함께 에이전트 샌드박스의 파일 및 네트워크 경계 (폴란드어)도 확인하세요.

되돌릴 수 있고 초안에만 제한된 작업이라면 명확한 미리 보기와 이후 검토로 충분할 수도 있습니다. 발송, 덮어쓰기, 다른 영역의 데이터 조회에는 해당 행동에 맞는 통제가 필요합니다. 사용자는 구체적인 범위를 승인해야 합니다. 모델의 설명이 설득력 있어 보여도 실행 규칙은 그 범위를 다시 확인해야 합니다.

시험에서 실제 권한 없는 작업이 드러나면 실험을 중단하고 합의된 데이터 사고 대응 절차 (폴란드어)를 시작하세요. 사건을 보전하는 일과 추가 시험을 섞지 마세요. 추가 행동으로 인해 앞서 무슨 일이 있었는지와 어떤 정보 사본을 조사해야 하는지 밝히기 어려워질 수 있습니다.

지시가 문서 내용의 일부일 때는 어떻게 판단하나요?

문서가 일반적인 절차를 설명하고 사용자가 그 절차를 실행할 계획을 요청할 수도 있습니다. 이때 명령형 문장을 전부 무시하면 업무를 망칩니다. 차이는 권한의 출처에 있습니다. 사람이 사용 설명서 분석을 요청했으므로 모델은 그 단계를 재현할 수 있습니다. 그렇다고 설명서의 도구를 실행하거나 자신의 제한을 바꿀 권한까지 얻는 것은 아닙니다.

사례 기록에 두 질문의 답을 따로 적으세요. 첫째, 문서 내용을 올바로 이해했나요? 둘째, 사용자가 승인한 행동만 수행했나요? 이렇게 하면 안전한 시스템이 의심스러운 문단을 충실히 요약했다는 이유만으로 잘못된 평가를 받는 일을 피할 수 있습니다. 내용을 설명하고 표시해 검토 대상으로 제시하면서 그 지시를 실행하지 않을 수 있습니다.

나중에 실행되는 행동도 살펴보세요. 오늘 어시스턴트가 초안을 저장하고 내일 다른 자동화가 이를 메시지로 바꿀 수 있습니다. 첫 단계에서 특정 부분을 검증되지 않은 공급업체 요청으로 표시했다면 그 표시가 전달 과정에서도 유지돼야 합니다. 이 정보가 사라지면 나중 수행자가 작업 중인 제안을 승인된 업무로 받아들일 수 있습니다. 이 경우 점검에는 나중에 다시 읽는 시점도 포함됩니다.

빈 문서나 손상된 문서로도 시험하세요. 시스템은 자료가 없음을 분명히 설명해야 하며 다른 곳에서 찾은 지시를 분석에 임의로 채워 넣어서는 안 됩니다. 이는 인접하지만 다른 사례입니다. 모든 권한 없는 단계가 악의적인 텍스트 때문인 것은 아닙니다. 명시적인 중단 경로가 없어 애플리케이션이 스스로 업무를 확장할 때도 있습니다.

워크숍이 끝나면 제한된 증거 묶음을 보관하세요. 가상 파일의 버전, 제안된 작업의 기록, 통제 설정이면 특정 결과를 재현하는 데 대체로 충분합니다. 사례를 그럴듯하게 보이게 하려고 비밀번호, 실제 키, 다른 고객의 자료를 보고서로 옮기지 마세요. 기술 증거는 수정을 돕고 프로젝트 안에서 안전하게 공유될 수 있어야 합니다.

외부 지시 점검을 회사 AI 검색 도구의 검수 (폴란드어)와 연결하세요. 자료가 질문에 적합하더라도 도구를 제어해서는 안 되는 내용이 들어 있을 수 있습니다. 검색의 관련성과 행동을 실행할 권한은 서로 다른 기준으로 평가해야 합니다.

보호 조치의 검수에는 무엇이 들어가야 하나요?

좋은 기록은 한 가지 구체적인 결정을 마무리합니다. 정해진 범위를 시작할 수 있는지, 제한해야 하는지, 수정할 때까지 작업을 중단해야 하는지입니다. 남은 문제마다 담당자와 재시험 날짜를 정하세요. "AI 보안 개선"이라는 일반적인 업무만으로는 팀이 실행할 다음 단계를 알 수 없습니다.

  • 지도에 현재 사용하는 모든 문서 수집 경로가 포함돼 있습니다.
  • 시험에는 가상 데이터와 실제 외부 효과가 없는 도구를 사용합니다.
  • 각 사례에 업무, 금지된 결과, 정상 대조 시험이 정해져 있습니다.
  • 보고서는 실제 작업 인자와 실행 규칙의 결과를 보여 줍니다.
  • 승인은 화면에 보이는 수신자, 자원, 변경을 대상으로 합니다.
  • 수정 후 문제 사례와 정상 업무 대조 시험을 모두 반복했습니다.
  • 한계 목록에 이번 시험이 아직 다루지 않은 범위를 적었습니다.

이런 업무의 점검을 논의하려면 Aeneia Audit의 범위부터 살펴보세요.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear