같은 AI 테스트, 두 가지 평가: 집계 방식이 바꾸는 결론
마이크로, 매크로, 가중 F1은 서로 다른 AI 안을 가리킬 수 있습니다. 같은 가상 테스트를 다시 계산하고 집계 방식이 어떤 결정을 뒷받침하는지 확인합니다.
본문 언어: 한국어

목차
두 보고서가 같은 테스트를 설명합니다. 첫 번째는 A안을, 두 번째는 B안을 추천합니다. 어느 쪽도 행을 빠뜨리거나 모델을 혼동하지 않았습니다. 차이는 결과를 하나의 숫자로 합치는 방식에 있습니다. 이런 논쟁에서 계산기가 고장 났다고 단정할 필요는 없습니다. 의사결정자가 묻는 것과 다른 질문에 답하고 있을 수도 있습니다.
여기서 집계란 여러 평가 결과를 선택한 규칙에 따라 요약하는 일입니다. 마이크로(micro)는 전체 데이터의 판정 결과를 합치고, 매크로(macro)는 각 클래스가 요약에 같은 비중으로 반영되게 하며, 가중평균은 클래스별 사례 수를 고려합니다. 경영진 보고서에 넣을 지표 하나를 고르기 전에 그 계산 방식이 해당 작업에서 무엇에 유리하게 작용하는지 확인하세요.
질문을 제품 카드, 배송 조건, 자료 접근이라는 세 범주로 분류하는 어시스턴트의 가상 테스트를 생각해 보겠습니다. 각 질문의 정답 클래스는 정확히 하나이며, 각 안은 레이블 하나를 반환합니다. 두 안에 같은 질문 100개를 줍니다. 제품 카드에 관한 질문이 80개, 배송이 10개, 접근이 10개입니다. 응답 거부나 집계에서 빠진 사례는 없습니다. 어떤 제품을 실측한 결과가 아니라 계산만을 위한 예시입니다.
비교에서 무엇을 고정할까요?
입력, 정답 기준 레이블, 두 안의 예측을 고정하세요. 예측이란 각 안이 배정한 범주를 뜻합니다. 계산 방식을 바꿀 때 모델도 바꾸거나 더 유리한 표본을 고르지 않습니다. 같은 응답을 다른 방식으로 요약할 것입니다. 그래야 다음 실행에서 무슨 일이 있었는지 추측하는 대신 추천이 달라진 이유를 집계 방식에서 찾을 수 있습니다.
A안은 제품 카드 질문 80개를 모두 맞힙니다. 배송 질문 10개 중 4개를 맞히고 6개는 제품 카드로 보냅니다. 접근도 같습니다. 4개를 맞히고 6개는 제품 카드로 배정합니다. 전체 정답은 88개입니다. 제품 카드 범주에 다른 범주의 질문 12개가 모였습니다.
B안은 제품 카드 질문 68개를 맞히고, 6개는 배송으로, 6개는 접근으로 보냅니다. 두 작은 클래스에서는 각각 10개 중 9개를 맞히고, 1개를 제품 카드로 잘못 보냅니다. 전체 정답은 86개입니다. 두 안 모두 같은 세 범주에서 오류를 내지만, 오류가 분포하는 방식은 다릅니다.
메시지 분류 평가의 기초에는 레이블의 의미를 정하고 오류 유형을 구별하는 일이 포함됩니다. 여기서는 정의가 이미 정해져 있습니다. 이제 관심을 둘 것은 그다음 결정입니다. 완성된 두 예측 결과를 비교할 하나의 숫자는 무엇이어야 하며, 그 숫자는 무엇을 보여주지 못할까요? 자세한 내용은 AI 메시지 분류 테스트를 다룬 글에서 (폴란드어) 확인할 수 있습니다.
계산 전에 클래스 이름이 여전히 같은 일을 뜻하는지 확인하세요. 내보낸 데이터 사이에서 배송과 접근을 합쳤다면 열 이름만 맞추는 것으로는 부족합니다. 작업 자체가 달라졌기 때문입니다. 이전 분류와 새 분류를 평균 계산법만 다른 것처럼 비교하지 마세요.
두 요약에 포함된 질문 목록을 확인하세요. 이 예시에서는 동일합니다. 한 안이 레이블을 반환하지 않았다고 그 항목을 그 안의 보고서에서만 빼고 여전히 같은 테스트라고 할 수는 없습니다. 미응답을 어떻게 평가할지 먼저 정하고 사례 수도 보여주세요. 실제로 답한 질문만 평가하는 보고서를 만들 수는 있지만, 그때는 배정된 전체 작업의 결과와 분명히 구별해야 합니다.
마이크로 집계는 언제 다수 클래스에 유리할까요?
precision_recall_fscore_support 문서에 따르면 마이크로는 전체 범위의 참양성과 두 종류의 오류를 합산한 뒤 지표를 계산합니다. 매크로는 클래스별 점수의 가중치 없는 평균을 구하고, weighted 방식은 정답 기준 레이블상 각 클래스에 속하는 사례 수를 가중치로 사용합니다.
이 작업에서는 각 질문에 세 레이블 중 하나를 붙입니다. 따라서 잘못된 예측 하나는 실제 정답 클래스의 사례를 놓치는 동시에 예측한 클래스에 사례 하나를 잘못 배정합니다. A안의 합계는 참양성 88개, 거짓양성 12개, 거짓음성 12개입니다. 마이크로 F1은 176을 200으로 나눈 0.88입니다. B안은 172를 200으로 나눈 0.86입니다.
F1은 정밀도와 재현율을 하나로 묶는 지표입니다. 여기서는 동등한 계산식을 사용합니다. 참양성의 두 배를, 참양성의 두 배에 거짓양성과 거짓음성을 더한 값으로 나눕니다. 계산을 재현할 수 있도록 식을 밝히는 것입니다. 이 식으로 특정 기업의 오류 비용이나 허용 가능한 위험 수준을 정하는 것은 아닙니다.
이처럼 정의한 전체 작업에서 마이크로 F1은 전체 응답 중 정답의 비율인 accuracy와 같습니다. classification_report 설명은 모든 클래스를 포함하는 일반적인 다중 클래스 작업에서 마이크로를 별도로 표시하지 않는 이유를 설명합니다. 같은 정보를 되풀이하기 때문입니다. 보고서가 일부 클래스만 다루거나 한 사례에 여러 레이블을 붙일 수 있다면 달라질 수 있습니다.
따라서 A안은 질문 100개에서 정답이 두 개 더 많습니다. 이 데이터에서 이 지표가 보여주는 실제 우위입니다. A안이 모든 종류의 질문을 더 잘 처리한다는 뜻은 아닙니다. 자주 등장하는 80개 사례가 합계에 큰 영향을 주고, 두 작은 범주의 실패는 그 안에서 차지하는 비중이 작습니다.
특정 목적에는 이 결과가 중요할 수 있지만, 그 목적을 밝혀야 합니다. 이 데이터셋에서 정확히 배정한 비율을 묻는다면 마이크로 F1이 바로 답합니다. 이 작업에서는 그 값에 전체 사례 수를 곱해 정확히 배정한 건수도 계산할 수 있습니다. 세 서비스 영역을 동등한 기능으로 평가하려면 클래스별 요약과 각 클래스의 결과도 봐야 합니다.
클래스에 같은 가중치를 주면 무엇이 달라질까요?
범주마다 F1을 계산해 보겠습니다. A안의 제품 카드는 참양성 80개, 거짓양성 12개, 거짓음성 0개입니다. F1은 160/172로 약 0.9302입니다. 배송은 참양성 4개, 거짓양성 0개, 거짓음성 6개이므로 8/14, 약 0.5714입니다. 접근도 같습니다. 매크로 F1은 이 세 값의 평균인 약 0.6910입니다.

B안의 제품 카드는 참양성 68개, 거짓양성 2개, 거짓음성 12개이므로 136/150, 약 0.9067입니다. 배송은 참양성 9개, 거짓양성 6개, 거짓음성 1개이므로 18/25, 즉 0.72입니다. 접근은 이번에도 같습니다. 매크로 F1은 약 0.7822입니다. 이 방식에서는 B안이 이깁니다.
예측은 단 하나도 바뀌지 않았습니다. 결과를 어떻게 요약할지에 대한 답이 달라졌습니다. 각 클래스의 비중을 같게 하자 두 작은 범주의 개선이 더 크게 반영된 것입니다. 이 차이를 모델을 바꾸지 않고 추가로 얻은 품질 향상처럼 제시해서는 안 됩니다. 이미 있던 결과를 다른 방식으로 설명한 것입니다.
매크로 F1은 임의의 질문을 그 확률로 정확히 처리한다는 뜻이 아닙니다. 클래스별 지표의 평균입니다. 평균 정밀도와 평균 재현율을 먼저 구한 뒤 계산한 F1도 아닙니다. 순서가 중요합니다. 클래스마다 F1을 계산한 다음 그 값들을 평균냅니다.
같은 가중치가 중요도의 문제를 자동으로 해결하지는 않습니다. 드문 클래스라도 오류의 결과가 심각할 수 있고, 반대로 중요도가 낮은 부가 기능일 수도 있습니다. 업무상 가중치를 정하려면 별도의 근거가 필요합니다. macro라는 이름을 고른다고 특정 사례를 잘못 배정했을 때의 결과를 알게 되는 것은 아닙니다.
규모가 작은 클래스에서는 집계 전 건수도 살펴보세요. 10개 중 한 사례의 평가가 달라져도 결과가 눈에 띄게 바뀔 수 있습니다. AI 파일럿 평가 기준에 해당 결정을 내리기에 어떤 자료가 충분하고 무엇이 아직 부족한지 기록하세요. 이 단순한 계산이 모든 연구의 최소 표본 수를 정해 주지는 않습니다. AI 파일럿 평가 기준에 관한 글도 (폴란드어) 참고하세요.
가중평균이 논쟁을 끝내 줄까요?
이번에는 정답 기준 레이블상 클래스별 사례 수인 80, 10, 10을 가중치로 사용하겠습니다. A안은 약 0.8585, B안은 약 0.8693입니다. 질문 대부분이 제품 카드에 관한 것인데도 가중 F1은 B안을 가리킵니다. accuracy를 다른 이름으로 부르는 것이 아닙니다. 정답의 원래 건수를 합치는 대신, 이미 계산한 클래스별 F1을 평균내기 때문입니다.
계산은 재현할 수 있습니다. A안에서는 0.9302326에 80을 곱하고, 0.5714286에 10을 곱한 값을 두 번 더한 뒤 100으로 나눕니다. B안에서는 0.9066667과 두 개의 0.72를 넣습니다. 실제 계산은 전체 값을 유지하고 표시할 때만 반올림했습니다. 반올림한 숫자로 다시 계산하면 마지막 자릿수가 조금 달라질 수 있습니다.
Google은 클래스 불균형 데이터셋을 설명하면서 다수 클래스와 소수 클래스를 구별하고, 불균형이 심할 때 accuracy만으로 평가하지 않도록 경고합니다. 이는 방법론 설명이지 이 예시의 비율이 어떤 기업의 실제 상황을 나타낸다는 증거가 아닙니다.
보고서에는 가중치가 어디서 왔는지 밝히세요. 의도적으로 고른 표본의 클래스별 사례 수가 앞으로 들어올 질문의 비율과 같으리라는 보장은 없습니다. 팀이 어려운 사례를 일부러 더 모았다면 가중평균은 그 데이터셋을 반영합니다. 추가 가정 없이 이를 전체 서비스의 전망으로 바꾸지 마세요.
시간이 지나며 비율이 달라지는 문제는 데이터 드리프트와 새로운 질문에서 다루는 별도 주제입니다. 오늘 비교에서는 데이터 구성을 고정합니다. 향후 유입 비율의 변화는 나중에 별도 시나리오로 확인할 수 있습니다. 그때도 실측과 가정을 둔 시뮬레이션을 구별해야 합니다. 데이터 드리프트와 달라진 질문을 설명하는 글에서 (폴란드어) 관련 내용을 확인할 수 있습니다.
평균값끼리 경쟁시키지 않고 추천을 작성하려면?
결정 자료에 세 요약과 클래스별 건수를 모두 포함하세요. 이 예시에서 A안은 마이크로 F1이 0.88, 매크로가 약 0.6910, 가중 F1이 약 0.8585입니다. B안은 각각 0.86, 약 0.7822, 약 0.8693입니다. 보고서를 검토하는 사람은 한 방식에서는 A안이, 나머지 두 방식에서는 B안이 유리한 이유를 볼 수 있어야 합니다. 지표들의 다수결로 승자를 정하지 않습니다. 두 표를 얻었다고 한 표보다 자동으로 더 나은 의사결정 근거가 되는 것은 아닙니다.
그다음 목적과 한계를 밝히세요. 세 기능이 더 고르게 작동한다는 이유로 B안을 고르면서 제품 카드 오류가 더 많다는 점을 명시적으로 받아들일 수 있습니다. A안을 제품 카드에만 남기고 다른 사례는 다르게 배정할 수도 있습니다. 다만 그런 선택을 하려면 사례를 어떻게 배정할지 별도로 평가해야 합니다. 이 테스트에서 A안은 바로 사례 유형을 잘못 판단했기 때문입니다.
사용자의 좋아요·싫어요 평가는 이 정답 기준 레이블을 대신하지 못합니다. 그 평가는 의견을 남기기로 한 사람들의 반응을 나타냅니다. 마찬가지로 AI 제안을 보기 전 사람의 독립 평가에서도 먼저 측정 조건을 정해야 합니다. 이들 정보원은 각각 평가 단위와 한계가 다릅니다. 관련 방법은 사용자의 좋아요와 싫어요 평가 해석을 다룬 글에서 (폴란드어) 살펴볼 수 있습니다. AI 제안 전 사람의 독립 평가에 관한 글을 (폴란드어) 함께 참고할 수 있습니다.
Aeneia Audit와 상담할 때는 기밀이 아닌 예측 결과, 정답 기준 레이블, 보고서가 뒷받침해야 할 결정에 대한 설명을 준비하세요. 데이터셋 버전과 레코드를 제외하는 규칙도 보관합니다. 그래야 선호하는 모델이 가장 좋아 보이는 평균을 고르는 대신 그 평균이 기업의 질문에 답하는지 확인할 수 있습니다.
보고서의 마지막 문장에는 선택한 안, 기준, 의식적으로 감수한 약점, 아직 부족한 증거가 들어가야 합니다. 보고서 검수 방법으로는 다른 사람이 한 클래스의 점수와 한 집계값을 독립적으로 다시 계산해 보는 것이 좋습니다. 입력값, 가중치 규칙, 반올림 방식을 제공하세요. 결과가 다르면 추천을 바꾸기 전에 어느 단계에서 차이가 생겼는지 확인합니다. 포함한 클래스 범위, 빠진 항목, 계산 순서가 다를 수 있습니다. 화면 표시를 위한 반올림이 어느새 새로운 비교 방법이 되어서는 안 됩니다.
평균 세 개만 나열하면 독자는 처음과 같은 일을 다시 떠안게 됩니다. 숫자는 결정을 도와야 합니다. 스프레드시트가 작동하는 방식에 결정을 슬그머니 넘겨서는 안 됩니다.









