본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

사내 AI 검색 감사: 출처와 최신성, 답변의 공백 확인하기

사내 AI 검색이 올바른 출처를 찾고 내용을 충실히 전달하는지, 문서 변경 뒤 최신성과 접근 권한을 어떻게 지키는지 확인합니다.

본문 언어: 한국어

일러스트: 가는 선으로 균열을 표시한 석조 기둥의 일부.
목차

인용 링크 세 개가 달린 답변은 꼼꼼하게 마친 숙제처럼 보입니다. 하지만 세 링크가 모두 오래된 지침으로 이어진다면 그 꼼꼼함은 주로 겉모양에 머무릅니다. 사내 AI 검색은 두 단계로 확인하세요. 올바른 출처를 찾았는지, 그 내용을 충실하게 답변했는지입니다. 여기에 최신성과 접근 권한을 더해 살펴봅니다. 링크는 답변을 검증하는 데 도움이 되지만, 링크가 있다는 사실만으로 시스템이 원문의 조건과 범위를 지켰다고 확인할 수는 없습니다.

검색 증강 생성(RAG)은 자료를 찾는 과정과 모델이 답변을 작성하는 과정을 결합합니다. Microsoft는 Azure AI Search 문서에서 이 방식을 설명합니다. 감사할 때 처음부터 모든 기술 설정을 분석할 필요는 없습니다. 직원들의 질문, 현재 적용되는 문서, 답변이 지켜야 할 범위부터 살펴보세요. 그다음 차이가 어느 단계에서 생겼는지 확인합니다.

회사가 답변의 근거를 알고 있는 질문을 고르세요

실제 업무에서 나오는 질문을 모읍니다. 특정 문서는 어떻게 작성하는지, 예외는 누가 승인하는지, 어떤 양식이 적용되는지, 서비스의 범위는 어디까지인지 묻는 질문입니다. 각각에 현재 유효한 출처와 그 의미를 확인할 수 있는 담당자를 연결하세요. 도구 시연에서 그럴듯하게 들리는 질문부터 고르지는 마세요.

가상의 서비스 회사에서 직원이 일반 대기열을 거치지 않는 긴급 요청을 누가 맡는지 묻는다고 해보겠습니다. 자료에는 현재 지침, 이전 버전, 변경을 논의했던 회의 메모가 있습니다. 올바른 답변은 확정된 규칙과 검토 중이었던 아이디어를 구분해야 합니다. 문서가 몇 개인지가 우선순위를 정해주지는 않습니다.

질문마다 중요한 조건을 기록하세요. 사용자의 역할, 사안의 종류, 질문이 가리키는 시점입니다. 답이 이 정보에 달려 있다면 시스템은 이를 묻거나 한계를 밝혀야 합니다. 정답 예시와 몇 단어가 일치하는지만 평가하지 마세요. 업무 절차를 이용하는 사람에게는 특정 상황에 맞는 판단이 필요합니다.

회사가 현재 적용되는 출처를 가리킬 수 없다면 시험을 이어가기 전에 그 공백부터 기록하세요. 모델을 바꾼다고 서로 충돌하는 지침이 정리되지는 않습니다. 채팅이 회사 도서관에 목소리를 줄 수는 있어도 유창한 말만으로 목록까지 정돈하지는 못합니다. 데이터 흐름 기록부를 활용하면 자료가 어떤 경로로 도구에 들어가고 누가 최신 상태를 책임지는지 파악할 수 있습니다. 자세한 내용은 AI 데이터 흐름 기록을 다룬 글에서 (폴란드어) 확인할 수 있습니다.

답변 문체를 평가하기 전에 검색 결과를 확인하세요

질문별로 시스템이 찾아낸 부분을 살펴봅니다. 올바른 서비스, 버전, 상황에 관한 내용인가요? 답변에 필요한 조건이 들어 있나요? 출처가 틀리거나 불완전하다면 모델의 문장을 다듬어도 원인은 사라지지 않습니다. 먼저 자료에 이르는 경로를 고쳐야 합니다.

같은 질문을 세 가지 방식으로 제시하는 자체 시험을 준비하세요. 지침에서 쓰는 용어, 직원들이 일상적으로 부르는 표현, 문제를 짧게 설명한 문장입니다. 어떤 표현이 올바른 출처로 이어지는지 기록합니다. 이것이 전체 어휘에서의 성능을 증명하는 것은 아닙니다. 문서의 언어와 실제 업무 언어 사이의 차이를 찾는 방법입니다.

여러 부서에서 쓰이는 이름이 들어간 질문도 확인하세요. 같은 약어가 고객 응대와 프로젝트 팀에서 서로 다른 뜻일 수 있습니다. 답변은 맥락을 반영하거나 추가 설명을 요청해야 합니다. 가장 비슷한 부분을 선택했다고 해서 과제를 제대로 파악한 것은 아닙니다.

스캔 문서라면 이전 단계인 AI 분석 전 OCR도 살펴보세요. 이름이나 표가 잘못 인식되면 텍스트 비교 방식이 설정대로 작동해도 검색 결과가 나빠질 수 있습니다. 모든 오류를 한 모델의 탓으로 돌리지 말고 원인을 나누어 확인해야 합니다. AI 분석 전 OCR 품질 확인에 관한 글도 (폴란드어) 참고하세요.

인용을 열어 실제로 무엇을 뒷받침하는지 확인하세요

링크는 해당 주장을 확인할 수 있는 자료로 이어져야 합니다. 사용자 계정으로 링크를 열고 관련 부분을 찾으세요. 제목이 비슷한 문서라는 것만으로는 충분하지 않습니다. 답변에 서로 다른 내용이 여러 가지 담겨 있다면 중요한 부분마다 근거를 확인하세요. 특히 기한, 예외, 담당자는 놓치기 쉽습니다.

앞의 가상 사례에서 지침은 코디네이터가 초기 평가 후 사안을 배정한다고 말합니다. AI가 이를 특정 전문가가 자동으로 접수한다는 약속으로 바꾸어서는 안 됩니다. 문서는 올바르게 찾았지만 결론은 지나치게 넓을 수 있습니다. 이때 오류는 검색 자체가 아니라 답변 단계에 있습니다.

인용 자체는 맞지만 해당 설명 전체를 뒷받침하지 못하는 사례를 기록하세요. 시스템이 자체 제안을 제안으로 표시하고 근거가 없다는 사실을 알릴 수 있는지도 확인합니다. 모든 문장에 긴 설명을 요구할 필요는 없습니다. 다음 행동을 결정하는 데 필요한 구분을 확인하는 것이 목적입니다.

팀과 함께 답변 검증 기준을 마련하세요. 사용자는 짧은 답변으로 대략 파악해도 되는 때와, 실행 전에 출처를 확인하거나 별도의 결정을 받아야 하는 때를 알아야 합니다. 신뢰의 크기는 인용이 얼마나 보기 좋은지가 아니라 업무에 맞춰야 합니다. 팀의 AI 답변 검증 교육을 설명하는 글에서 (폴란드어) 관련 내용을 확인할 수 있습니다.

문서 변경과 이전 버전 철회를 시험하세요

중요한 지침 하나를 수정하는 상황을 시험에 넣습니다. 원본이 바뀐 시점, 변경분이 검색 시스템에 전달된 방식, 다음 질문의 결과를 기록하세요. 파일을 바꾸면 시스템이 사용하는 모든 사본이 즉시 바뀐다고 가정하지 마세요. 실제 설정과 갱신 경로를 확인해야 합니다. 완성된 답변을 보관하는 과정이 있다면 출처 변경 후 AI 캐시 (폴란드어)도 살펴보세요. 문서는 갱신됐는데 다른 경로에는 오래된 결과가 남아 있을 수 있습니다.

그다음 통제된 환경에서 문서 하나를 철회합니다. 더 이상 검색되지 않나요? 저장된 대화의 오래된 링크를 통해 이전 답변이 무엇에 근거했는지 여전히 알 수 있나요? 현재의 접근 가능성과 과거 결과를 설명할 수 있는 능력은 서로 다른 요구입니다. 두 요구를 어떻게 조화시킬지 결정해야 합니다.

검색 대상 자료와 실제로 존재하는 다른 사본을 포함하도록 AI 데이터 보존과 삭제 기준을 정하세요. AI 데이터 보존과 삭제 안내 글 (폴란드어)에서 범위를 정하고 확인하는 방법을 참고할 수 있습니다. 어느 단계가 확인됐는지 모르면서 단순히 삭제됐다고 한 줄로 기록하지 마세요. 기록에는 확인한 범위와 근거가 드러나야 합니다.

출처가 크게 바뀐 뒤에는 회귀 테스트로 돌아가세요. 하나의 답변은 개선되더라도 같은 부분을 이용하던 다른 답변은 달라질 수 있습니다. 매번 임의의 대화부터 검수를 시작하기보다 중요한 질문을 작은 묶음으로 보관하세요. 시스템에 들어오는 질문 유형의 변화도 확인해야 합니다. 오래된 질문 묶음이 더는 일상 업무를 설명하지 못할 수 있습니다. 관련 방법은 AI 답변 회귀 테스트를 다룬 글에서 (폴란드어) 살펴볼 수 있습니다. 데이터 드리프트와 달라진 질문에 관한 글을 (폴란드어) 함께 참고할 수 있습니다.

선언이 아니라 실제 결과에서 접근 권한을 확인하세요

통제된 자료에 대해 권한이 다른 역할을 최소 두 개 사용하세요. 검색 결과, 답변, 인용 링크가 열리는지 모두 확인합니다. 권한 없는 사람이 문서를 열지 못하더라도 도구가 이미 요약에 내용을 보여줬다면 충분한 보호가 아닙니다. 결과와 출처 모두 합의된 범위를 지켜야 합니다.

Aeneia 콘셉트 사진

Microsoft는 권한에 따라 결과를 필터링하는 패턴을 설명합니다. 이 문서는 필터 자체와 인증 및 인가를 분명히 구분합니다. 따라서 필드 이름이나 설정 하나를 보호의 증거로 삼지 말고 애플리케이션의 전체 메커니즘을 확인해야 합니다.

접근 권한을 회수한 뒤와 그룹을 변경한 뒤의 시험도 추가하세요. 변경이 언제 적용되기 시작하는지, 이전 대화에는 무엇이 남는지 기록합니다. 모든 제품이 똑같이 동작한다고 가정하지 마세요. AI 연동 권한 점검 안내 글 (폴란드어)을 참고하면 실제 사용하는 연결에 맞게 시험을 정할 수 있습니다.

문서에서 검색한 내용이 애플리케이션을 제어하는 새로운 지시가 되어서는 안 됩니다. 이 경계를 별도로 시험하는 방법은 문서의 프롬프트 인젝션 (폴란드어)에서 다룹니다. 올바르게 찾은 파일도 평가할 출처일 뿐 에이전트의 권한을 소유한 주체는 아닙니다.

첫 질문뿐 아니라 이어지는 대화도 시험하세요

첫 답변이 맞아도 다음 질문이 잘못된 맥락을 물려받을 수 있습니다. 가상의 회사에서 직원이 먼저 표준 서비스를 묻고, 이어서 다른 팀의 예외를 묻는다고 해보겠습니다. 시스템이 변화를 알아채지 못하고 처음 자료를 계속 사용한다면 현재 질문과 다른 과제에 대해 그럴듯한 답을 만들 수 있습니다.

짧은 대화 순서를 준비하세요. 기본 질문, 추가 설명, 명확한 주제 변경을 차례로 넣습니다. 각 단계에서 기대하는 출처를 기록하고 시스템이 필요한 자료를 다시 찾는지 또는 이전 답변에 의존한다는 사실을 분명히 알리는지 확인합니다. 대화 기억이 언제나 결과를 개선한다고 가정하지 마세요.

사용자가 내용을 바로잡는 경우도 넣으세요. 직원이 다른 단위나 다른 기간을 뜻한다고 말하면 도구는 이후 과정에 그 정보를 반영해야 합니다. 답이 여전히 잘못된 지침에서 나온다면 동의하는 말만으로는 충분하지 않습니다. 첫 문장이 공손한지보다 자료와 결론을 평가하세요.

보고서에서는 검색 오류와 맥락 유지 오류를 구분하세요. 그래야 출처를 바꿔야 하는지, 대화 진행 방식을 바꿔야 하는지, 한계를 보여주는 방식을 바꿔야 하는지 판단할 수 있습니다. 사용자는 새 과제를 시작하는 때와 앞선 질문을 구체화하는 때를 알아야 합니다. 인터페이스는 모든 사안을 하나의 긴 채팅에 숨기기보다 그 구분을 도울 수 있습니다.

문서 접근 불가와 문서 자체의 정보를 구분하세요

역할별 시험에서는 제목, 짧은 설명, 후속 질문 제안도 확인하세요. 결과가 문서 전체를 보여주지 않더라도 사용자에게 공개해서는 안 되는 정보를 드러낼 수 있습니다. 평가 범위에는 클릭 후 파일이 열리는지만이 아니라 애플리케이션이 실제로 반환하는 내용이 포함되어야 합니다.

가상의 내용임을 명확히 표시하고 접근을 제한한 통제용 자료를 준비하세요. 접근이 허용된 역할과 허용되지 않은 역할로 그 내용을 질문합니다. 답변, 출처 목록, 제안을 기록하세요. 권한을 바꾼 뒤에도 같은 범위를 다시 확인합니다. 보호가 필요한 실제 데이터를 쓰지 않고 시스템의 동작을 시험할 수 있습니다.

설명 자체가 범위 밖 자료의 존재를 드러낼 수 있다면 거절 이유를 지나치게 상세히 설명하도록 요구하지 마세요. 답변이 없을 때 어떻게 안내할지 책임자와 합의합니다. 접근 가능한 자료에서 근거를 찾지 못했다고 알리는 것만으로 충분할 때도 있습니다. 이 결정은 회사의 기준과 실제 도구의 동작에 맞아야 합니다.

대화 내보내기와 공유도 확인하세요. 질문 당시 접근 권한이 올바르다고 해서 나중에 누가 답변 기록을 받는지까지 결정되는 것은 아닙니다. 전체 흐름을 당장 다시 설계할 필요는 없더라도 이 경계를 명시하고 이후 배포의 책임을 정하세요.

출처와 답변을 서로 다른 열에서 평가하세요

질문마다 올바른 자료를 찾았는지, 답변이 그 의미를 보존했는지, 사용자가 결과를 볼 권한이 있었는지 기록합니다. 부족한 부분의 유형과 확인에 걸린 시간도 추가하세요. 좋은 문체 점수 아래 중요한 오류를 숨기는 하나의 종합 점수를 만들 필요는 없습니다.

예를 들어 올바른 출처를 찾았다는 평가는 긍정적이어도 예외를 빠뜨린 답변은 수정이 필요할 수 있습니다. 다른 경우에는 요약이 내용을 충실히 전달해도 출처 자체가 오래됐을 수 있습니다. 두 관찰은 서로 다른 수정 작업으로 이어집니다. 감사는 채팅이 가끔 틀린다는 막연한 인상보다 이런 구분을 제공해야 합니다.

결정 자료에는 아직 결론을 내리지 못한 사례와 범위 밖 질문도 포함하세요. 자료가 한 서비스의 지침만 다룬다면 그 근거로 회사 전체 지식에 대한 검수가 끝났다고 선언하지 마세요. 책임자는 업무에 허용된 활용과 추가 시험 또는 다른 출처가 필요한 활용을 구분할 수 있어야 합니다.

답변이 없을 때의 대응과 수정 책임을 정하세요

자료에 근거가 없는 질문, 모순된 질문, 문서가 일부만 답하는 질문을 준비하세요. 공백을 알리거나 추가 설명을 요청하거나 적절한 담당자에게 연결하는 것이 올바른 결과일 수 있습니다. 대안이 조건을 지어내는 것이라면 정직하게 근거가 없다고 알리는 일을 오류로 취급하지 마세요. 모델이 아이디어를 떠올렸다는 이유만으로 회사 규칙이 생겨서는 안 됩니다.

문제의 원인은 따로 기록하세요. 문서 부재, 잘못된 검색, 오래된 버전, 틀린 결론, 접근 제한은 각각 다른 수정으로 이어집니다. 유효한 지침을 승인하면 되는 상황에서 자료 책임자에게 모델을 다시 만들라는 과제를 주어서는 안 됩니다.

자료에 AI 회의 메모가 들어간다면 그 상태를 표시하세요. AI 회의 메모 점검 안내 글 (폴란드어)에서 메모를 활용하기 전에 확인할 항목을 살펴볼 수 있습니다. 검토되지 않은 초안 요약이 승인된 결정을 대신해서는 안 됩니다. 검색에는 단순히 더 많은 파일이 아니라 회사가 실제로 따르는 출처의 우선순위가 필요합니다.

검수 전에 설정 담당자의 설명 없이 다른 사람에게 몇 가지 답변을 확인해 달라고 요청하세요. 그 사람은 출처를 찾고, 중요한 조건을 짚고, 의도적으로 근거를 비워 둔 곳을 알아볼 수 있어야 합니다. 그럴듯한 말투만 평가한다면 검증 지침을 보완하세요. 인터페이스는 확인을 도울 수 있지만 링크가 붙은 모든 문장이 회사의 승인된 답변인 것처럼 보여서는 안 됩니다.

검수 기록에는 사용자가 오류를 발견한 뒤 어떻게 행동하는지도 적으세요. 누구에게 알리는지, 어떤 부분을 가리키는지, 작업을 안전하게 계속할 수 있는지 확인합니다. 엄지 평가 버튼만으로는 출처나 답변 방식을 수정할 수 있는 사람에게 문제가 전달된다고 보장할 수 없습니다. 신고 하나가 처음부터 끝까지 어떻게 처리되는지 시험하세요.

구매 또는 확장 전에는 AI 공급업체 평가 안내 글 (폴란드어)을 참고해 이 조건을 확인하세요. 회사의 질문으로 직접 시험해 보고 싶다면 Aeneia Audit의 범위를 살펴보세요.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear