AI의 확신도 퍼센트도 별도로 검증해야 한다
AI 확신도 수치의 출처, 정답 기준과 집단별 결과를 확인합니다.
본문 언어: 한국어

목차
“확신도: 93퍼센트”라는 항목은 측정 결과처럼 보이지만 사용자의 요청에 따라 모델이 적은 숫자일 수도 있다. 이 수치로 사람에게 넘길 사례를 정하기 전에 의미를 확인해야 한다. 특정 답변의 정답 확률인가? 검색된 문서와의 유사도인가? 아니면 근거 없이 퍼센트 기호를 붙인 점수인가?
각 숫자는 특정 업무에 쓰일 수 있다. 하지만 화면에 전달되는 동안 역할이 바뀌어서는 안 된다. 정답 확률을 표시한다면 해당 사용 환경에서 선언과 실제 결과의 관계를 확인해야 한다. 매끄러운 문장과 정밀해 보이는 수치가 이 검사를 대신하지는 않는다.
퍼센트가 무엇에 붙어 있는지 정한다
가상의 업무에서 어시스턴트는 실습실 장비에 관한 질문에 답하고 답마다 숫자를 표시한다. 팀은 확신도가 가장 낮은 사례부터 읽고 싶어 한다. 타당해 보이지만 실제로 오류를 찾는 데 도움이 되는지에 따라 유용성이 달라진다. 숫자 칸이 있다는 사실만으로는 알 수 없다.
공급자에게 먼저 지표의 출처를 묻는다. 모델이 숫자를 직접 썼을 수도 있고 별도 장치가 계산했거나 검색 점수 같은 다른 척도를 사용했을 수도 있다. 방법의 이름, 버전과 정확한 의미를 기록한다. 질문과 문서의 일치도가 이름표만 바뀐다고 답변의 정답 확률이 되지는 않는다.
텍스트 일부가 생성될 확률과 전체 문장이 참일 확률도 같은 것으로 보지 않는다. 현재 회사 지침에 맞지 않아도 흔한 표현은 쉽게 예측될 수 있다. 수치를 해석하기 전에 무엇을 측정했는지 알아야 한다. 0부터 100 사이에 있다는 사실만으로 퍼센트의 정의가 되지는 않는다.
2023년 Tian과 공동 연구자들의 논문은 모델의 언어적 선언과 확률값 등 확신도 산출 방법을 비교한다. 연구는 특정 모델과 질문 집합에 관한 것이다. 방법이 중요하다는 점은 보여 주지만 오늘날 어떤 숫자 선언이든 회사 업무에 맞게 보정되었다는 근거는 아니다.
선언의 대상도 정한다. 답에 사실 다섯 개와 권고가 들어 있다면 “답을 확신한다”는 말은 모호하다. 모든 사실이 맞아야 하는가? 치수 하나가 맞으면 되는가? 문서 자체가 오래됐어도 문서와 일치하면 되는가? 기준이 없으면 두 평가자가 같은 결과에 다른 판정을 내릴 수 있다.
예시에서는 좁은 과제를 택한다. 승인된 지침에 따라 실습실 좌석 수에 관한 명확한 질문에 답하는 것이다. 허용할 답과 근거 부족 조건을 미리 기록한다. 이것이 뒤따르는 모든 권고를 승인하지는 않지만 결과를 판정할 수 있는 과제에서 수치 점검을 시작하게 한다.
가상의 B실 지침은 실습 인원을 열 명으로 정하고 장비 목록은 의자 열두 개를 적었다고 하자. 질문은 지침상 인원이다. “열두 명”은 다른 항목의 실제 숫자를 사용했지만 기준에는 맞지 않는다. 93퍼센트라는 선언은 이를 해결하지 못한다. 평가자는 해당 문장과 질문의 의미가 필요하다.
한 문장에 열 명 제한과 잘못된 예약 조건이 함께 있다면 미리 평가 방법을 정한다. 용도에 따라 주장을 나누거나 전체 답이 맞아야 한다고 할 수 있다. 퍼센트를 본 뒤 규칙을 바꾸지 않는다. 한 기준에 대한 보정은 더 넓은 기준에 대한 보정을 증명하지 않는다.
지침에 필요한 제한이 없는 사례도 준비한다. 이때는 평가자가 다른 문서에서 아는 숫자를 맞혔는지가 아니라 근거 부족을 유지했는지를 평가한다. 없는 지식 때문에 올바른 답을 벌주거나 추측을 보상하지 않기 위해서다. 모든 방 사례는 검수 설계용이며 실제 모델 평가가 아니다.
보정은 결과의 집단을 다룬다
보정은 선언한 확률과 해당 집단에서 관찰된 결과 빈도의 관계다. 잘 보정된 장치에서도 90퍼센트로 표시한 답 하나가 틀릴 수 있다. 오류 한 건으로 전체를 판단할 수 없으며 정답 한 건으로 나머지 수치의 적절성을 증명할 수도 없다.
scikit-learn 문서는 예측 확률의 평균과 집단별 실제 결과 빈도를 비교하는 보정 곡선과 집단의 크기를 설명한다. 이는 분류기에 관한 문서다. 여기서는 선언한 답변의 정답 가능성과 정해진 기준에 따른 나중 평가를 비슷한 원리로 비교한다.
이 예시를 위해 새로운 가상의 기록 40개를 만들었다. 각 기록에는 임의의 선언값과 정오답 표지를 부여했다. 평균만 비교할 때 감춰지는 오류를 보여 주도록 값을 의도적으로 골랐다. 모델의 답변이나 제품 시험 결과가 아니다. 이전의 원본 데이터셋을 복원한 것도 아니다.
열 개는 90퍼센트를 선언했고 그중 여섯 개가 정답이므로 관찰 빈도는 60퍼센트다. 스무 개는 70퍼센트이고 열네 개가 정답이어서 70퍼센트다. 나머지 열 개는 50퍼센트를 선언했지만 여덟 개가 정답이어서 80퍼센트다. 이는 계산 예시이지 AI 서비스의 결과가 아니다.
전체 40개 중 정답은 28개로 70퍼센트다. 선언 40개의 가중평균도 70퍼센트다. 이 평균은 정답 표지가 아니라 선언값과 집단 크기로 계산한다. 전체 수치는 일치하지만 집단을 나누면 가장 높은 선언은 실제 빈도와 맞지 않고 가장 낮은 선언은 빈도를 과소평가한다.

따라서 “평균 확신도와 정확도가 같으니 모두 보정되었다”는 결론은 성립하지 않는다. 이 예로 실제 업무의 품질을 추정할 수는 없다. 작은 인위적 집단은 사용자 표본이 아니다. 실제 평가는 독립적으로 판정한 사례와 측정 불확실성, 특히 작은 집단의 불확실성을 보여 주어야 한다.
팀 예측의 보정 (폴란드어)도 예측과 그 결과를 다시 살핀다. 여기서는 숫자의 출처와 특정 시스템 답변의 관계도 확인해야 한다. 신중한 말투나 모델의 숫자 선언은 이 정보를 대신하지 않는다.
평가 시점과 방법을 남긴다
질문을 풀기 전의 선언은 과제를 해결할 가능성을 뜻할 수 있다. 답을 받은 뒤의 평가는 그 특정 답변을 가리킬 수 있다. 설명 없이 한 계열로 합치지 않는다. 특히 그 사이 문서를 읽거나 도구 결과를 받았다면 나중 숫자는 다른 정보 상태를 이용한다.
2026년 10월 발표된 CALIBER는 추론 전후의 두 시점과 평가 대상을 구분하고 각 시점의 선언을 서로 다른 학습 목표에 맞추는 방법을 연구한다. 그 방법과 결과가 우리 업무를 검증한 것은 아니다. 검수에서는 지표가 실제로 어느 값을 보여 주는지 정해야 한다.
답변과 함께 점수를 요청한 지시문, 출처, 장치의 버전과 숫자를 부여한 시점을 저장한다. 출처를 고친 뒤 다른 답이 나오면 새로 평가할 결과다. AI 리서치의 출처 최신성 (폴란드어)은 별도로 확인해야 한다. 높은 수치가 오래된 지침을 갱신하지는 않는다. 같은 질문의 대화 기록에 있다는 이유로 이전 점수를 수정된 답에 붙이지 않는다.
가능한 한 독립적인 정답 판정을 얻으려면 처음에 사람 평가자에게 확신도를 보여 주지 않는다. 먼저 기준과 출처에 답을 대조하고 그다음 선언과 비교한다. 그렇지 않으면 “93퍼센트”가 무의식적인 힌트가 될 수 있다.
AI 시범 운영 (폴란드어)에서는 오류와 판정할 수 없는 사례도 남긴다. 평가 불가를 자동으로 정답으로 만들거나 흔적 없이 삭제하지 않는다. 몇 건을 확인할 수 있었고 나머지는 왜 빠졌는지 밝힌다. 유리한 결과가 가장 쉬운 부분만 설명할 수 있기 때문이다.
숫자가 없는 경우와 0을 선언한 경우도 따로 기록한다. 표를 채우기 위해 기본값을 넣지 않는다. 허용 범위 밖의 값도 계산 전에 설명이 필요하다. 숫자 평가에서 제외한 사례 수와 이유를 보고한다. 보정 곡선에 넣지 못해도 시스템이 처리한 사례다.
숫자가 순서를 정해도 확률을 잘못 표현할 수 있다
좋은 결과와 나쁜 결과를 가려내는 능력과 퍼센트가 빈도에 맞는지는 서로 다른 요구다. 표시값은 고쳐야 해도 오류를 찾는 데 도움이 될 수 있다. 반대로 모든 사례에 평균 정확도와 비슷한 숫자를 주면 검토 대상을 고르는 데 도움이 적다. 회사가 실제로 계획한 용도를 평가한다.
인위적 예시에서는 선언이 가장 높은 집단의 정답이 가장 낮은 집단보다 적다. “높은 퍼센트는 검토하지 않는다”는 규칙은 일부 문제를 놓친다. 이는 구성된 데이터에 관한 관찰이다. 실제 검수에서는 제안된 순서를 독립적으로 찾은 오류와 비교하고 검토에서 빠질 사례도 표본으로 확인한다.
적절한 기준은 80, 90 또는 95라는 보편 숫자에서 나오지 않는다. 오류의 결과, 과제와 지표의 근거에 따라 달라진다. 임시 메모를 정렬하는 규칙과 답변을 자동 전송하는 규칙은 다를 수 있다. 자동 결정의 근거가 없다면 퍼센트만으로 실행을 정당화할 수 없다.
Aeneia Audit과 AI 지표를 이후 업무에서 어떻게 사용하는지 논의할 수 있다. 누가 선택된 답을 읽고 오류가 어떻게 돌아오며 무엇이 사람의 통제 아래 남는지 살펴보는 것이다. 점검 범위는 별도로 협의한다.
수정 후에는 별도의 점검을 남긴다
점수를 요청하는 지시문을 바꾸었다면 그 변경을 기록하지 않고 새 숫자를 이전 숫자와 비교하지 않는다. 방법, 모델이나 출처가 달라지면 지표의 뜻도 바뀔 수 있다. 장치를 개선하는 데 사용한 집합만으로 수정 후 평가해서는 안 된다. 규칙 조정에 이미 사용하지 않은 별도 표본이 필요하다.
답변에 신중한 표현을 더하는 것만으로 숫자를 고치지도 않는다. “아마도”라는 문장과 “99퍼센트”라는 칸은 상반된 신호를 줄 수 있다. AI의 설명 (폴란드어)은 결과 이해를 돕지만 보정을 증명하지는 않는다. 정해진 방법으로 결과를 평가해야 한다.
답할 근거가 없다면 여전히 모름을 적절히 표현하고 다음 단계를 제시해야 한다. 빠진 출처를 알려 주지 않는 낮은 수치는 사용자를 같은 문제에 남겨 둘 수 있다. 지표는 답이 틀릴 수 있다고 경고하는 데 그치지 않고 다음 행동을 돕는 것이어야 한다. 이 주제는 AI가 모른다고 말해야 하는 경우를 다룬 글 (폴란드어)에서도 살펴볼 수 있다.
가상의 어시스턴트 책임자는 이 숫자의 의미, 어떤 종류의 답에서 확인했는지, 어떤 행동에 쓸 수 있는지를 말할 수 있어야 한다. 그중 하나라도 없다면 93퍼센트는 검토할 선언으로 남는다. 소수점 자리가 증거의 자리를 대신하지는 않는다.







