본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI의 단계별 설명에는 독립적인 증거가 필요하다

유창한 설명을 증거로 삼기보다 입력과 독립 계산으로 AI 결과를 확인합니다.

본문 언어: 한국어

일러스트: 가는 선으로 균열을 표시한 석조 기둥의 일부.
목차

"부품이 열두 개 있습니다. 한 세트에 세 개가 필요하니 네 세트를 만들 수 있습니다." 공간 장비를 준비하는 과제에서 AI가 내놓았다고 가정한 허구의 설명이다. 12를 3으로 나눈 계산은 맞다. 하지만 한 세트에 스탠드 두 개와 빔 하나가 필요하고 창고의 구성 비율은 다를 수 있으므로 결론은 틀릴 수 있다.

"모든 부품의 가용성을 분석했습니다"를 덧붙여도 문제가 해결되지는 않는다. 검수에서는 부품 종류별 수량과 조합 규칙으로 돌아가야 한다. 설명은 제안을 이해하는 데 도움이 되지만 유창하다는 사실은 독립적인 증거가 아니다. 차분한 교사의 말투로 다섯 단계를 번호까지 붙여 설명해도 잘못된 계산은 수정해야 한다.

합치지 말아야 할 두 질문

첫째, 결과가 과제에 맞는가? 둘째, 설명이 시스템이 결과를 얻은 방법을 충실히 서술하는가? 모델의 내부 과정을 알아내지 않고도 간단한 계산의 정확성을 확인할 수 있다. 반대로 올바른 결과와 함께 답에 중요한 영향을 빠뜨린 설명을 받을 수도 있다. 둘은 별도의 평가 대상이다.

설명 가능한 AI 원칙에 관한 NIST 보고서는 설명을 이해하기 쉬운지, 설명이 올바른지, 결정이 올바른지를 구분한다. 올바른 결정이 그 결정에 이른 방법의 충실한 설명을 보장하지는 않는다. 모델에 인간의 의도를 부여하지 않고도 검수에 쓸 수 있는 구분이다.

직원에게 필요한 설명은 짧을 수 있다. "세트 수는 사용 가능한 스탠드에 의해 제한됩니다." 그 옆에는 결론을 확인할 수량과 규칙을 적는다. 장비를 준비하는 사람에게 고려한 모든 가능성에 대한 긴 이야기는 필요하지 않다. 재현하고 실제 주문과 연결할 수 있는 근거가 필요하다.

모델 내부 과정에 관한 연구자의 질문은 다르다. 전문적인 방법과 명확한 연구 대상을 필요로 한다. 어시스턴트에게 무엇을 했는지 더 자세히 말해 달라고 요청하는 것만으로 그 측정이 생기지는 않는다. 이용자용 짧은 설명을 시스템에서 일어난 모든 과정의 완전한 기록과 동일시하지 않는다.

여기서 chain of thought는 제시된 추론 단계의 연속을 뜻한다. Lanham과 동료들의 2023년 연구는 이 과정을 줄이거나 오류를 추가하는 등 개입하고 답의 변화를 관찰했다. 저자들은 과제에 따른 차이를 설명했다. 결과가 제시된 모든 단계가 언제나 무의미하다는 보편적 주장을 뒷받침하지는 않는다.

이 검수의 실용적 결론은 더 좁다. 결과 확인을 근거 설명의 길이 평가로 대체하지 말자. 설명은 확인할 지점을 가리키고, 채택한 가정을 드러내며, 질문을 만드는 데 도움이 될 수 있다. 답이 만들어진 모든 원인의 완전한 기록으로 취급할 근거가 없어도 이런 기능은 유용하다.

열두 부품, 세 가지 결과

이 허구의 예시를 다시 확인하기 위해 2026년 11월 3일 Node.js에서 독립적으로 계산을 재현하고 새 실행의 코드와 결과를 기록했다. 과거 글에 서술된 이전 실행이 있었는지는 확인되지 않았다. 가상의 규칙은 세트마다 정확히 스탠드 두 개와 빔 하나가 필요하다는 것이다. 만들 수 있는 완전한 세트의 최대 개수를 찾는다. 프로그램은 정수 세트 수를 차례로 계산하고 두 부품의 가용성 제한을 모두 확인했다. AI 모델이나 창고 시스템은 호출하지 않았다. 앞의 어시스턴트 문장은 지어낸 것이다.

첫 번째 경우에는 스탠드 네 개와 빔 여덟 개가 있다. 완전한 두 세트를 만들 수 있다. 스탠드 네 개와 빔 두 개를 사용하고 빔 여섯 개가 남는다. 선반에 부품 열두 개가 있는 것은 맞지만 그중 여섯 개에는 더 이상 추가 세트에 필요한 짝이 없다. 합계만 쓴 계산은 주문의 구성을 놓쳤다.

두 세트가 가능한지는 사용량으로 확인할 수 있다. 그것이 최대임을 확인하려면 세 번째 세트도 배제해야 한다. 세 번째에는 스탠드 여섯 개가 필요하지만 네 개뿐이다. 가능한 조합과 결과를 늘리지 못하게 하는 구체적 제한을 모두 갖춘다. "두 세트를 만들 수 있다"만으로는 왜 세 개를 만들 수 없는지 설명하지 못한다.

이 차이는 AI가 최선의 선택을 추천할 때 유용하다. 가능한 해 하나를 확인했다고 다른 모든 선택보다 낫다는 사실이 확인되는 것은 아니다. 근거의 범위는 답변의 표현과 맞아야 한다. 가능성만 확인했다면 가능하다고 부르자. "최대"나 "최선"은 팀이 실제로 선택한 기준에 대한 추가 근거가 필요하다.

두 번째 경우에는 스탠드 여덟 개와 빔 네 개로 네 세트를 만들고 아무것도 남지 않는다. 전체는 여전히 열두 개다. 세 번째는 스탠드 여섯 개와 빔 여섯 개다. 결과는 세 세트와 남은 빔 세 개다. 전체 수가 아니라 구성이 바뀌었다.

새 재현에서는 세 계산의 입력, 규칙과 결과를 보존했다. 이 증거는 허구의 조합에 관한 질문에만 답한다. 실제 창고 상태, 부품의 기술적 호환성 또는 모델의 동작을 확인하지 않는다. 어시스턴트의 이야기 밖에서 검증 가능한 결과를 얻고 주장 범위를 제한하는 방법을 보여 준다.

모델이 모든 경우에 네 세트라고 답한다면 수정할 구체적인 오류가 있다. 올바른 숫자를 주더라도 설명의 모든 문장이 내부 과정을 충실히 서술한다는 증거는 아직 아니다. 이 사례들과 결과의 일치를 확인할 뿐, 방법이 조사하지 않은 질문의 답까지 덧붙이지 않는다.

실제 프로세스에는 입력의 의미가 더해진다. 재고 수치에 예약됐거나 사용이 중단된 부품이 포함될 수 있다. 부적절한 숫자로 올바르게 계산해도 행동의 근거는 잘못된다. 먼저 "가용"의 의미와 데이터 책임자를 정한다. 접근할 수 없었던 상태를 AI 설명이 확인하도록 요구하지 않는다.

Aeneia 콘셉트 사진

결정을 고르고 근거를 밝히며 어떤 증거가 결과를 확인하는지 정해 보자. Aeneia Audit과 대화하면서 필요한 점을 설명하고 협력 가능한 범위를 물어볼 수 있다. 그러면 "추론 품질"에 대한 대화가 구체적 규칙, 데이터와 확인 방법에 대한 대화가 된다.

설명 밖에서 읽을 수 있는 근거를 요청한다

계산에는 사용한 데이터, 단위와 규칙을 요청한다. 출처의 정보에는 해당 부분과 문서 버전을 요청한다. 도구의 행동에는 실제 결과를 요청한다. 이는 "생각의 과정을 더 자세히 설명해 달라"는 요청과 다르다. 각각 어시스턴트의 주장과 비교할 수 있는 자료로 이어진다.

입력과 답의 연결도 보존한다. 수정 중 스탠드 수가 네 개에서 여덟 개로 바뀐다면 새 결과는 이전 사례의 오류를 설명하지 않는다. 데이터 변경을 표시하고 해당 경우를 다시 확인해야 한다. 최종 보고서의 독자는 방법을 수정했는지, 누락을 채웠는지, 아니면 다른 과제를 푼 것인지 구분할 수 있어야 한다.

모델의 이야기 자체를 독립 재계산의 입력으로 삼지 않는다. 어시스턴트가 스탠드 네 개를 여덟 개로 잘못 바꾸면 계산기는 잘못된 입력을 정확하게 계산할 수 있다. 자체 검증은 승인된 자료에서 시작한다. 그다음 계산에 옮겨진 값과 비교한다.

작은 답변마다 방대한 기록을 요구할 필요는 없다. 이 예에서는 두 종류 부품의 수량과 세트 구성이면 충분하다. 결론이 여러 출처에 기반하면 각 출처의 역할을 기록한다. 긴 목록만으로는 어느 출처에서 제한 조건이 나왔는지 알 수 없다. 참고문헌의 정체 확인 (폴란드어)은 인용한 자료가 주장에 맞는지 평가하기보다 먼저다.

어시스턴트가 행동을 했다고 설명할 때는 보고를 실제 흔적에 연결한다. "모든 항목을 계산했다"에는 정해진 입력과 결과가 필요하다. "파일을 확인했다"면 무엇을 어떤 버전으로 읽었는지 알아야 한다. 코드 테스트 (폴란드어)에서는 예상 시험을 서술하는 것만으로 실행을 대신할 수 없다.

설명을 바꿨다고 이전 결과가 승인되는 것은 아니다. 비율에 대한 지적 뒤 모델이 스탠드 제한을 추가하면서 숫자 네 개를 유지한다고 하자. 설명은 더 성숙해 보이지만 과제는 여전히 해결되지 않았다. 모델이 옳다고 인정했다는 사실만으로 수정을 받아들이지 말고 결과와 남은 부품을 다시 확인한다.

반대도 있다. 모델이 숫자를 두 개로 바꾸면서 12를 3으로 나눈 문장은 그대로 둔다. 결과는 첫 경우에 맞지만 설명은 그 결과로 이어지지 않는다. 직원에게 전달하기 전에 답변을 정리해야 한다. 직원은 다음 재고 상태에서도 오류를 반복하지 않도록 어떤 규칙이 조합을 제한하는지 이해해야 한다.

데이터가 없을 때 유용한 답은 빠진 필드를 가리킨다. "잘 모르겠습니다" 대신 사용 가능한 스탠드 수를 묻는 질문이 필요하다. AI가 선언한 확신의 비율 (폴란드어)은 이 정보를 대신하지 못한다. 매우 높은 비율도 빠진 재고 기록이나 가용성 정의를 만들지 않는다.

설명되지 않은 영향도 존재할 수 있다

Anthropic의 2025년 자체 연구 설명은 답에 영향을 준 힌트의 사용을 모델이 드러내는지 분석했다. 항상 드러내지는 않았다. 저자들은 인위적으로 준비한 힌트, 객관식 질문, 명시된 모델 등 한계를 밝혔다. 오늘날 모든 기업 프로세스의 측정 결과가 아니다.

이 결과로 특정 어시스턴트가 왜 조합을 틀렸는지 진단하지 않는다. 보고서에는 우선 네 세트라고 답했지만 스탠드 네 개로는 최대 두 개라는 사실을 적으면 된다. 불일치와 재확인할 규칙을 보여 준다. 원인을 설명하는 것은 별도 단계이며 명백히 잘못된 숫자를 발견하기 위한 전제조건이 아니다.

두 번째 모델로 확인할 때도 조심한다. 일치하는 설명들이 부품 전체 수에 관한 같은 가정을 반복할 수 있다. 판정자로 사용하는 모델 평가 (폴란드어)에는 과제에 맞는 기준이 필요하다. 두 번째로 매끄러운 이야기가 첫 번째를 독립적으로 확인된 계산으로 바꾸지는 않는다.

시험을 준비할 때 조사할 차이만 분리하고 나머지 조건은 보존한다. 세 경우는 전체 부품 수는 같지만 비율이 다르다. 구체적인 규칙에 대해 결과를 평가할 수 있다. 이렇게 작은 시험을 모델의 모든 능력에 대한 평가나 일상 업무의 오류 빈도 예측으로 제시하면 안 된다.

더 짧은 설명이 업무에 유용할 수 있다

첫 번째 경우를 확인한 후 유용한 답은 이렇다. "두 세트를 만들 수 있습니다. 각각 스탠드 두 개와 빔 하나를 씁니다. 스탠드 네 개를 모두 사용하고 빔 여섯 개가 남습니다." 이는 예시의 올바른 결과를 우리가 설명한 것이다. 직원은 부품 열두 개의 합이 무슨 뜻인지 추측하지 않고 조합을 확인할 수 있다.

승인하는 사람에게는 입력과 계산 기록도 필요하다. 장비를 내어 주는 사람에게는 해당 품목과 확인된 실제 재고가 필요하다. 설명을 과제와 대상자에 맞춘다. 모두를 위해 한 문장을 길게 늘리면 공간 준비에 도움이 되지 않는 긴 연결 문장 사이로 중요한 조건이 숨어 버릴 수 있다.

AI 작업 검증 규칙 (폴란드어)에는 결과 유형마다 어떤 근거를 함께 제공할지 정할 수 있다. 의무적인 장문 보고서가 목적은 아니다. 다음 행동이 의존하는 요소를 확인하고 무엇을 아직 알아내지 못했는지 명확히 기록할 수 있어야 한다.

승인하기 전에 결정을 담은 문장 하나를 골라 무엇이 이를 반박할 수 있는지 묻는다. 이 예에서는 스탠드 수면 충분하다. 답이 모델이 스스로 신중했다고 말하는 문장뿐이라면 증거는 여전히 없다. 더 긴 설명을 요청하기보다 올바른 입력을 읽고 필요한 확인을 수행한다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear