80퍼센트 확신한다는 말: 팀은 그 의미를 알고 있을까요?
팀의 예측을 기록해 결과를 다시 확인하세요. 확률과 목표를 구분하고 확신, 비교, 업데이트의 한계를 살펴봅니다.
본문 언어: 한국어

목차
‘제시간에 끝낼 가능성이 80퍼센트입니다’라는 말에는 여러 뜻이 담길 수 있습니다. 근거가 충분하다는 뜻일 수도, 꼭 끝내고 싶다는 뜻일 수도, 이제 숫자 하나쯤 말해야 한다고 느꼈다는 뜻일 수도 있습니다. 듣는 사람은 어느 의미인지 모르는 경우가 많습니다. 구체적인 예측을 기록하고 나중에 결과를 확인해야 팀이 확신의 언어를 어떻게 쓰는지 살펴볼 수 있습니다.
예측의 캘리브레이션은 제시한 확률과 적절한 예측 집단에서 사건이 실제 발생한 빈도 사이의 관계를 뜻합니다. 결과 하나로 판정할 수는 없습니다. 가능성이 매우 높다고 본 사건이 일어나지 않았다고 해서 제시한 확률이 무의미했다는 뜻은 아닙니다. 평가 조건을 보존하면서 명확히 결과가 확인된 여러 질문을 살펴봐야 합니다.
자료의 디지털 카탈로그를 준비하는 회사를 생각해 보겠습니다. 팀은 예정된 검토 전에 필요한 데이터를 모두 받을 수 있을지 더 잘 예측하고 싶어 합니다. 사안별 정보를 정리하는 데 AI 보조 도구도 사용합니다. 예언을 기대하는 것은 아닙니다. 지나치게 단정하는 때, 빠뜨린 사항, 판단을 바꾸는 정보를 알고 싶을 뿐입니다.
나중에 결과를 판정할 수 있는 사건부터 시작하세요
‘프로젝트가 잘될 것이다’에는 충분히 분명한 끝이 없습니다. 이 예시에서는 ‘정해진 기한까지 이 목록에 적힌 자료 전체를 받을 수 있을까?’라고 물을 수 있습니다. 날짜와 완전함의 의미, 결과를 확인할 장소를 정해야 합니다. 여러 사람이 질문을 다르게 이해한다면 그들이 적은 숫자는 같은 예측을 설명하지 않습니다.
예측을 목표와 구분하세요. 회사의 목표는 금요일 검토 전에 자료를 받는 것일 수 있습니다. 예측은 현재 아는 내용을 바탕으로 실제 그렇게 될 가능성을 평가합니다. 계획은 팀이 취할 행동을 나타냅니다. 이 세 문장은 나란히 기록할 수 있습니다. 달력에 날짜를 적는 칸이 하나뿐이라고 해서 서로를 대신할 필요는 없습니다.
전략 시나리오 (폴란드어)는 어떤 서로 다른 조건을 고려할지라는 다른 질문에 답합니다. 캘리브레이션은 수치로 표현한 평가를 나중에 판정된 사건과 비교합니다. 두 방식 모두 사용할 수 있습니다. 다만 시나리오를 예측표에 넣기 위해 임의의 확률을 붙여서는 안 됩니다.
회사가 데이터와 결과를 보존할 수 있는 사건 유형부터 시작하는 편이 좋습니다. 카탈로그 예시에서는 평가 전에 자료의 완전함을 정의합니다. 기한이 지난 뒤 필수 첨부파일을 새로 추가하면 질문이 바뀝니다. 그 변화를 보여 주어야지 새로운 정의를 이전 자료에 소급 적용해 불완전했다고 해서는 안 됩니다.
예측 연구는 무엇을 보여 주었나요?
Mellers와 공동 저자의 2014년 논문은 2011년부터 2013년까지 열린 대회에서 지정학적 사건에 대한 예측을 연구했습니다. 저자들은 캘리브레이션과 가능성이 더 높은 사건과 낮은 사건을 구별하는 능력을 나누어 보았습니다. 연구 조건에서 특정 확률 교육과 팀 협업의 이점을 확인했습니다. 이것이 폴란드 기업의 일정을 정확하게 예측한다는 보장은 아닙니다.
IARPA의 ACE 프로그램 소개는 확률 평가를 수집하고 결합하며 실제 사건과 비교해 경험적으로 검증하는 내용을 설명합니다. 연구 프로그램의 목적에 관한 설명입니다. 예시에서 중요한 점은 예측과 나중의 판정을 연결하는 것입니다. 회의에서 의견을 모으는 것만으로 이런 검증이 끝나지는 않습니다.
회사는 질문, 평가, 그 근거와 결과를 남기는 일부터 시작할 수 있습니다. 이런 기록은 팀이 함께 쓰는 확신의 언어가 경험에 기반하는지 살펴보게 합니다. 당장 이달의 최고 예측가라는 칭호보다 기억을 고쳐 쓰지 않고 배울 방법이 필요합니다.
직접 작성하는 경영진 의사결정 메모에서는 예상 결과와 행동 선택을 구분할 수 있습니다. 경영진 의사결정 메모 작성 안내 글 (폴란드어)은 이런 문서를 준비하는 방법을 설명합니다. 가능성이 낮은 사건이 결국 일어나더라도 결정 자체는 합리적일 수 있습니다. 선택을 평가하려면 나중의 성공이나 어려움만이 아니라 당시 이용할 수 있었던 정보를 알아야 합니다.
비슷한 사건은 숫자를 이해하는 데 도움이 됩니다
카탈로그 예시에서 팀은 이전의 자료 요청으로 돌아갈 수 있습니다. 먼저 실제로 비슷했던 사례를 확인합니다. 같은 종류의 자료인지, 범위가 유사한지, 비교할 만한 단계인지 살펴봅니다. 주소를 빠르게 확인한 연락과 완전히 새로운 명세를 작성한 일을 비롯해 모든 고객 연락을 합치지는 않습니다. 모두 ‘답변 대기’라고 부른다고 진행 과정까지 비슷한 것은 아닙니다.
오로지 예시로, 이전에 기록한 열 건 중 여덟 건이 정해진 기한 전에 끝났다고 가정해 보겠습니다. 이는 그 작은 집단에 관한 정보입니다. 앞으로도 같은 빈도가 나타난다고 보장하지 않습니다. 현재 요청의 범위, 수신자의 가용 시간, 전달한 입력 자료의 완전함이 다른지 확인해야 합니다. 숫자는 질문을 정리해 줄 뿐 개별 사례를 읽을 필요를 없애지 않습니다.
비교할 만한 데이터가 없다면 평가 옆에 그 공백을 표시하세요. 양식이 소수점 둘째 자리까지의 백분율을 받는다는 이유로 겉보기 정확성을 덧붙이지 마세요. 명확한 근거와 다시 확인할 조건을 붙여 잠정 판단을 기록할 수 있습니다. 팀은 반복된 경험, 단일 신호, 자체 추측 중 무엇을 쓰는지 알아야 합니다.
고객 자문단 (폴란드어)의 일치된 의견도 시장 전체의 미래 구매 빈도를 자동으로 뜻하지 않습니다. 참여자들이 자신의 필요를 잘 설명할 수는 있지만 선정 방식과 질문 범위가 결론의 한계를 정합니다. 특정 사건의 예측을 기록하려면 팀은 그 근거와 나중에 결과를 판정할 방법을 별도로 정해야 합니다.
업데이트가 이전 평가를 지워서는 안 됩니다
가상의 예시에서 첫 예측은 일부 데이터를 받기 전에 만들어집니다. 다음 날 고객이 자료를 보내면서 첨부파일 하나가 빠졌다고 알립니다. 새로운 정보입니다. 팀은 이전 기록, 변경 시점, 이유를 남기면서 평가를 바꿀 수 있습니다. 그러면 메시지 전과 후에 상황을 어떻게 이해했는지 보입니다.

기한 직전에 마지막 숫자로 처음 숫자를 덮어쓰지 마세요. 나중 예측은 훨씬 많은 정보를 활용할 수 있습니다. 평가들을 비교한다면 각각 언제 만들어졌는지 밝혀야 합니다. 완료가 확인된 뒤의 평가는 이전에 모르던 조건에서 같은 사건을 예측한 것이 더는 아닙니다.
회사의 행동은 별도로 기록하세요. 예측 후 팀이 추가 질문을 보내면 사안의 진행을 바꿀 수 있습니다. 결과는 여전히 기록할 수 있지만 해석할 때 그 개입도 남겨야 합니다. 조직의 예측은 언제나 관중석에서만 이뤄지지 않습니다. 질문을 한 사람이 나중에 결과를 만드는 데 직접 도움을 줄 수도 있습니다.
제한된 비즈니스 실험 (폴란드어)은 특정 변화를 확인하는 데 쓰일 수 있습니다. 평가의 캘리브레이션은 별도 과제입니다. 연락 방식, 자료 범위, 기한을 동시에 바꿨다면 결과 개선을 예측의 정확성만으로 설명해서는 안 됩니다. 사건의 순서를 보존하면 이런 비약을 피하는 데 도움이 됩니다.
고객의 답변 하나가 다른 질문을 판정할 수 있습니다
카탈로그로 돌아가 보겠습니다. 목록에는 제품 설명과 지정된 첨부파일 두 개가 필요하다고 가정합니다. 고객은 기한 전에 설명과 파일 하나를 첨부해 답합니다. 보조 도구는 요약에 답변이 도착했다고 표시합니다. 팀은 방금 어떤 사건이 확인됐는지 살펴봐야 합니다. 메시지가 왔는지와 처음에 정한 전체 자료가 왔는지는 다른 질문입니다. 이 가상의 업무 흐름에서는 메시지 상태와 기대한 자료의 상태를 구분해야 합니다.
예측표에 완전한 자료 수령을 기록했다면 메시지가 있다는 사실만으로 긍정 결과로 받아들여서는 안 됩니다. 담당자는 받은 자료를 합의된 목록과 비교합니다. 빠진 첨부파일이 나중에 도착하면 두 시점을 모두 남깁니다. 그러면 답변 시점, 전체 자료 수령 시점, 검토 완료 시점을 구분할 수 있습니다. 그렇지 않으면 중간에 ‘수령’의 의미를 바꿨다는 이유만으로 결과가 더 좋아 보입니다.
첫 메시지 후 회사가 다른 기한에 합의했다고 생각해 보겠습니다. 이전 질문은 여전히 판정할 수 있다면 원래 날짜를 기준으로 결과를 내야 합니다. 새 기한은 다음 예측의 근거가 될 수 있습니다. 이전 사안이 없었던 것처럼 꾸밀 필요는 없습니다. 팀은 계획 변경이 합리적이었다고 판단하면서도 이전에 예측한 기한을 지키지 못했다는 정보를 보존할 수 있습니다.
이런 사례 후에는 평가의 입력 데이터를 고칠 수 있습니다. ‘고객이 답했다’는 단일 상태 대신 지정된 전체 자료를 받았는지 구분해야 합니다. 그렇다고 다음 예측이 더 정확해진다는 증거가 생긴 것은 아닙니다. 다만 예측을 세우고 나중에 확인할 더 나은 기반을 제공합니다. 이후 평가에서는 새로운 정보를 사용한다는 사실을 기록해 이전의 사안 설명 방식과 섞지 않도록 합니다.
이런 설명은 70퍼센트와 80퍼센트 중 어떤 숫자를 적었어야 했는지 논쟁하는 것보다 유용할 때가 있습니다. 두 사람이 서로 다른 사건을 예측했다면 숫자만 고쳐서는 비교가 바로잡히지 않습니다. 먼저 질문과 결과의 증거에 합의하고, 그다음 제시한 확신에 근거가 얼마나 있었는지 살펴봅니다.
결과를 다시 보려면 전체 집단이 필요합니다
정해진 시간이 지나면 합의한 규칙에 따라 질문의 결과를 판정하세요. 평가할 수 없는 질문은 표시하고 이유를 설명합니다. 집계의 정확도를 낮춘다는 이유만으로 불편한 사례를 버리지 마세요. 사건의 정의가 바뀌었다면 그 정보도 남깁니다. 결과를 안다면 참여자의 기억에만 의존하지 말고 확인 출처를 보존하세요.
제시한 확률과 이후의 사건 빈도를 적절한 평가 집단별로 비교하세요. 예를 들어 80퍼센트에 가까운 예측들을 모을 수 있습니다. 각 집단의 개수도 보여 주세요. 확신이 높은 예측 몇 개만으로 전체 예측 방식을 평가할 강한 근거가 생기지는 않습니다. 질문의 종류도 중요합니다. 거의 확정된 쉬운 사건과 미지수가 많은 어려운 사안은 다른 결과를 낼 수 있습니다. 이런 정보가 없는 전체 적중률은 활용하기 어렵습니다.
조심스러운 표현을 유용성과 혼동하지 마세요. 언제나 같은 중간 확률을 제시하는 팀은 자신 있게 틀리는 일을 피할 수 있지만 사건을 거의 구별하지 못할 수도 있습니다. Mellers와 공동 저자의 연구에서 캘리브레이션과 사건 구별은 평가의 별도 요소였습니다. 따라서 회사의 집계도 사람들이 단지 더 조심스럽게 말하는지뿐 아니라 새 정보가 실제 판단을 바꾸는지 보여 주어야 합니다.
결과가 예상과 다르면 증거를 바탕으로 문제의 원인 (폴란드어)을 되짚을 수 있습니다. 무엇을 놓쳤고, 그 뒤 무슨 일이 있었으며, 어떤 가정이 틀렸는지 묻습니다. 오류 하나만으로 누군가에게 책임을 돌리거나 비슷한 모든 사안에 단일 원인을 선언할 수는 없습니다.
여기서 AI는 어떤 역할을 하나요?
보조 도구가 사안의 정보를 정리한다면 그 기록을 팀의 판단과 구분하세요. 어떤 데이터를 사용했고 무엇이 빠졌는지 알아야 합니다. 답변에서 생성된 숫자는 숫자처럼 보인다는 이유만으로 캘리브레이션을 갖추지 않습니다. 도구의 예측을 확인하려면 적절한 적용 범위를 유지하면서 구체적인 예측과 나중 결과를 보존해야 합니다.
Aeneia Audit에서는 AI 활용 평가의 기반이 되는 정보 흐름에서 대화를 시작할 수 있습니다. 구체적인 질문과 입력 데이터, 결과 확인 방법을 준비하세요. 관찰, 가설, 예측을 구분하면 도구가 실제로 무엇을 하는지와 어디에 사람의 판단이 여전히 필요한지 평가하기 쉽습니다.
Aeneia Audit
특정 업무에서 AI를 사용할 데이터와 예상 결과를 제시해 주세요. 출처, 결론의 한계와 실제 사건 이후 결과를 확인할 방법을 함께 논의할 수 있는지 문의하세요. AI 활용을 평가할 기반 정리하기
잘 보존된 예측은 인상적인 ‘내가 말했잖아’로 끝날 필요가 없습니다. 더 정직하게 ‘그때는 이것을 알았고 나중에 이 정보가 추가됐으며 지금은 평가 방식을 바꾸고 있다’고 말할 수 있습니다. 다음 결정에는 모두가 처음부터 정답을 예상했다고 기억하는 것보다 이런 기록이 더 가치 있습니다.








