AI 답변 평가: 누가 반응했고, 누가 보고서에서 빠졌을까
AI 답변의 엄지 평가는 무엇을 보여 줄까요? 분모를 정하고 반응을 해당 결과에 연결한 뒤, 서비스 전체를 설명하기 전에 평가가 없는 답변도 살펴보세요.
본문 언어: 한국어

목차
AI 도우미의 보고서에는 긍정 평가가 80퍼센트라고 나옵니다. 결론을 내리기 전에 이 비율이 답변, 사용자, 완료된 업무, 클릭 중 무엇을 기준으로 하는지 확인하세요.
사용자 평가는 경험을 알려 주는 유용한 정보입니다. 그렇다고 모든 답변의 정확성을 평가한 결과가 되지는 않습니다. 특정한 사람이 특정 결과에서 평가할 수 있는 기회를 봤을 때 자발적인 반응을 남깁니다. 나머지 사람은 만족했을 수도, 실망했을 수도, 바빴을 수도, 응답할 기회가 없었을 수도 있습니다. 엄지를 누르지 않았다는 사실만으로는 그중 어느 경우인지 알 수 없습니다.
직원들이 회사의 제안 자료를 찾도록 돕는 가상의 AI 도우미를 살펴보겠습니다. 정해진 기간에 답변 천 개를 보여 주었습니다. 현재 유효한 평가가 있는 답변은 백 개로, 긍정이 여든 개이고 부정이 스무 개입니다. 이 계산에서는 답변마다 현재 유효한 평가를 최대 하나만 셉니다. 실제 도구를 평가하는 것이 아닙니다. 이 단순한 숫자는 보고서에 무엇을 쓸 수 있는지, 다음 검토를 어떻게 준비할지 확인하기 위한 예시입니다.
80퍼센트는 무엇을 나타낼까요?
긍정 반응이 전체 평가 백 개 중 여든 개였다고 말할 수 있습니다. 평가가 달린 답변의 비율도 제시할 수 있습니다. 천 개 중 백 개이므로 10퍼센트입니다. 긍정 평가를 받은 여든 개는 전체 답변 천 개의 8퍼센트입니다. 각 수치는 분모가 다르고 서로 다른 질문에 답합니다.
그렇다고 나머지 구백스무 개가 잘못된 답변이었다는 뜻은 아닙니다. 구백 개에는 평가가 없고, 스무 개에는 부정 평가가 있습니다. 두 상태를 따로 유지해야 합니다. 프로그램이 빈 평가를 0으로 바꾸면 사용자가 남기지 않은 결과를 만들어 내게 됩니다.
만족한 사람의 비율도 알 수 없습니다. 직원 한 명이 답변 서른 개를 평가하고 나머지는 하나씩 평가했을 수 있습니다. 그렇다면 평가 백 개를 독립된 사용자 백 명의 표본으로 볼 수 없습니다. 사람에 관한 보고서라면 합의한 데이터 범위 안에서 사용자를 적절히 구분할 방법이 필요합니다. 이를 위해 불필요한 정보를 더 모아서는 안 됩니다.
허용된 범위에서 사람을 구분할 수 있다면 평가가 일부 사용자에게 얼마나 집중되는지도 보여 주세요. 주로 몇몇 정기 사용자의 평가로 만든 보고서는 그들의 경험을 잘 설명할 수 있지만, 도우미를 처음 쓰는 사람에 관해서는 거의 알려 주지 않을 수 있습니다. 엄지마다 임의의 가중치를 주어 해결하려 하지 마세요. 먼저 각 집단의 실제 참여 비중과 답하려는 질문을 설명하세요.
AAPOR의 설문 응답률과 조사 품질 설명은 응답률 하나를 품질의 결정적인 지표로 삼지 않도록 주의를 줍니다. 다른 증거와 투명한 방법도 필요하다고 설명합니다. 이는 설문조사에 관한 자료입니다. 이 자료를 인용한다고 AI 도우미에 달린 자발적인 엄지 평가가 대표성 있는 여론조사가 되지는 않습니다.
보고서의 모집단을 명시하세요. 정해진 기간과 채널, 버전에서 표시된 모든 AI 도우미 답변이 그 대상입니다. 내부 테스트, 작성자의 미리보기, 여러 번 새로고침한 같은 답변이 집계에 섞이지 않았는지 확인하세요. 백분율을 계산하기 전에 집계할 이벤트를 정의해야 합니다.
모든 사용자가 답변을 평가할 수 있었는지도 확인해야 합니다. 패널에는 버튼이 있지만 메신저로 전달된 메시지에는 없을 수 있습니다. 그렇다면 두 번째 채널에 평가가 없는 이유는 기술적입니다. 두 집단의 평가 의향이 다른 것처럼 비교하지 말고, 통합 보고서에 그 차이를 밝혀야 합니다.
평가 비율을 높이려고 엄지 선택을 의무화하지 마세요. 억지로 누른 반응은 창을 닫고 싶다는 뜻일 수도 있습니다. 먼저 어떤 정보가 필요한지, 사람이 어느 시점에 그 정보를 의미 있게 줄 수 있는지 정하세요. 기록이 많아졌다고 서비스의 유용성을 더 잘 알게 되는 것은 아닙니다.
이 평가는 어느 답변에 대한 것일까요?
통제된 예시에서 답변 두 개를 만든 뒤, 두 번째 답변이 이미 보이는 상태에서 첫 번째를 평가하세요. 저장된 기록을 확인합니다. 평가는 사용자가 버튼을 누른 그 결과를 가리켜야 합니다. 대화 안에 서로 다른 제안이 십여 개 있다면 대화 ID만으로는 충분하지 않습니다.
Microsoft Foundry의 사용자 평가 기록 문서는 평가를 특정 추적 기록(trace)이나 실행 구간(span)과 연결하는 방법을 설명합니다. 이 기능은 preview로 표시되어 있습니다. 여기서는 데이터를 연결하는 원칙을 참고할 뿐, 해당 버전의 운영 환경 도입을 권고하거나 어떤 AI 도우미에서나 지원한다고 말하는 것이 아닙니다.
평가와 함께 답변 버전, 버튼이 무엇을 평가하는지도 남기세요. 사용자가 텍스트를 고친 뒤에 누르거나 검색 결과에서 다른 문서를 고른 뒤에 엄지를 누를 수 있습니다. 이때는 원래 제안, 사용자가 손본 결과, 대화 전체 중 무엇을 평가했는지 이해해야 합니다. 필드 이름을 ‘feedback’으로 정했다고 팀 대신 그 의미가 설명되지는 않습니다.
평가를 바꾸는 과정도 검수하세요. 처음에는 긍정을 골랐지만 파일을 열고 오래된 제안서임을 발견해 부정으로 바꿀 수 있습니다. 보고서가 답변의 현재 평가를 보여 줄지, 이벤트 이력을 보여 줄지 합의하세요. 같은 사람의 두 번 클릭이 서로 다른 결과에 대한 두 평가로 조용히 바뀌어서는 안 됩니다.
선택을 취소할 수 있는 인터페이스라면 평가를 지우는 것과 반대 평가를 고르는 것을 구분하세요. 현재 평가가 없는 상태와 부정 평가는 서로 다른 정보를 담습니다. 화면뿐 아니라 내보낸 데이터에서도 이 과정을 확인하세요. 아이콘은 중립 색으로 돌아왔는데 시스템은 이전 이벤트를 계속 셀 수 있습니다.
시간이 지난 뒤 돌아와 예전 답변을 평가하는 경우도 테스트에 넣으세요. 한 보고서는 클릭한 날짜에 평가를 배정하고 다른 보고서는 답변을 만든 날짜에 배정한다면, 두 보고서의 기간 비교 범위는 달라집니다. 두 관점 모두 유용할 수 있습니다. 다만 각각 이름을 붙이고 구분할 수 있어야 합니다.

긍정 평가는 작업 완료를 뜻할까요?
이 예시에서 사용자는 오래된 파일로 연결되는 답변이라도 빠르고 친절하다고 좋게 평가할 수 있습니다. 반대로 찾는 자료가 아직 없다는 올바른 안내에 부정 평가를 남길 수도 있습니다. 출처와의 일치, 느낀 유용성, 만족도는 서로 다른 축입니다. 결과를 독립적으로 확인하기 위해 사용자 평가를 지울 필요는 없습니다.
OpenAI는 2025년 5월 과도한 동조 문제를 설명하면서, 사용자 선호 신호가 사용자에게 더 동조하는 답변을 유도했을 수 있고, 테스트 결과가 좋았어도 행동 문제를 모두 찾아내지는 못했다고 밝혔습니다. 이는 공급자가 자체 사고를 설명한 자료입니다. 여러분의 AI 도우미에 대한 진단이나 모든 엄지 평가가 해롭다는 증거는 아닙니다.
따라서 작업 결과는 따로 확인하세요. 제안서를 찾는 작업이라면 파일이 존재하는지, 올바른 버전인지, 질문의 범위에 맞는지 살펴보세요. 판단 근거를 기록합니다. 결과와 평가를 나란히 봐야 오류가 있어도 만족한 경우와 올바른 답변에 불만족한 경우를 구분할 수 있습니다.
사용자가 아직 확인할 기회도 없었던 일을 묻지 마세요. 자료를 열기 전에 누른 엄지는 경험의 더 이른 시점을 설명합니다. 그 파일로 제안서를 준비할 수 있었는지 알고 싶다면 그 작업 뒤의 정보가 필요합니다. 이런 질문의 설계는 작업 후 설문의 난이도와 만족도를 다룬 글에서 (폴란드어) 다룹니다.
의견란을 추가한다면 원인을 하나로 유도하지 않고 문제를 설명할 수 있게 하세요. ‘평가에 어떤 점이 영향을 주었나요?’는 ‘모델이 틀렸다’를 반드시 고르게 하는 방식보다 여지를 더 남깁니다. 원인은 오래된 파일을 찾은 것, 접근 권한 부족, 긴 대기 시간이었을 수도 있습니다. 사용자가 시스템의 내부 구조까지 판단하게 하지 마세요.
평가를 지시문 변경 자료로 쓰기 전에는 AI 피드백 데이터의 출처를 다시 살펴보세요. 긍정 엄지 하나가 텍스트 전체를 검증된 기준 자료로 만들어 주지는 않습니다. 한 목적에 유용했다는 확인이 그 안의 모든 주장을 승인하는 것은 아닙니다. AI 출력이 입력으로 다시 들어오는 경우에 관한 글도 (폴란드어) 참고하세요.
아무도 평가하지 않은 답변은 어떻게 확인할까요?
평가가 없는 답변도 독립 검토 대상으로 고르세요. 부정 평가 스무 개만 보면 평가가 없는 답변에 관한 질문을 처음부터 놓칩니다. 선정 방식과 범위를 설명하세요. 기간, 채널, 작업 유형, 도구 버전이 포함됩니다. 검토하는 답변과의 연결도 유지하세요.
자주 나오는 질문과 드문 질문에 검토를 나누어 중요한 집단이 빠지지 않게 할 수 있습니다. 이 선정이 의도적으로 비율을 바꾼다면 집단별 결과를 따로 보여 주세요. 표본의 선정 방식과 각 집단의 실제 비중을 고려하지 않은 채, 일부러 균형을 맞춘 표본의 평균을 전체 이용 사례를 대표하는 결과처럼 제시하지 마세요. 업무 집단별 AI 평가 결과의 집계를 다룬 글은 (폴란드어) 이 경계를 살펴보는 데 도움이 됩니다.
검토할 때는 평가가 없는 것과 결과가 아예 전달되지 않은 것을 구분하세요. AI 도우미가 아무것도 보여 주기 전에 사용자가 작업을 중단했을 수 있습니다. 그런 건은 이 예시의 표시된 답변 천 개에는 들어가지 않지만 서비스 전체 평가에는 중요할 수 있습니다. 회사가 둘을 바탕으로 하나의 결정을 내리려 한다면 보고서에서 두 범위를 밝혀야 합니다.
반응하지 않은 이유를 지어내지 마세요. 평가가 없는 답변에서 오류를 발견했다고 그 오류 때문에 버튼을 누르지 않았다는 뜻은 아닙니다. 자료의 품질은 확인하고, 반응하거나 반응하지 않은 이유는 합의한 조사에서 따로 물어볼 수 있습니다. 그러면 데이터가 뒷받침하지 않는 그럴듯한 이야기가 보고서에 들어가는 일을 막을 수 있습니다.
검토자가 평가 전에 어떤 정보를 받는지도 중요합니다. ‘부정 평가를 받은 답변입니다’라는 정보를 받으면 평가 정보 없이 자료를 볼 때와 다른 단서에서 출발합니다. 목적이 정확성을 독립적으로 확인하는 것이라면 검토자가 스스로 판단할 때까지 사용자 평가를 가리는 방식을 고려하세요. 그 조건은 AI 제안 전 사람의 독립 평가를 다룬 글에서 (폴란드어) 다룹니다.
발견한 오류 유형과 근거를 남기세요. 새로운 ‘검토자 일치율’ 하나로는 충분하지 않습니다. 수정할 대상이 출처 버전인지, 접근 가능 여부인지, 답변 방식인지, 평가 질문 자체인지 알아야 합니다. 각각 다른 작업으로 이어집니다.
수정한 뒤에는 찾아낸 예시로 돌아가 현재 사용 환경에서 새로 나온 대응 결과를 확인하세요. 긍정 평가 비율이 높아졌다는 사실만으로 오래된 파일이 검색에서 빠졌다고 볼 수는 없습니다. 올바른 문서를 직접 읽고 답변이 최신 버전을 사용하는지 확인해야 합니다. 사용자 평가도 계속 관찰하세요. 그러면 정확성이 바뀐 것과 사람들이 새 경로를 유용하게 여겼는지를 따로 볼 수 있습니다.
의사결정자에게 무엇을 보여 줘야 할까요?
보고서에는 표시된 답변 수, 평가된 답변 수, 반응의 구분, 독립 검토 범위가 들어가야 합니다. 가상의 답변 천 개에서 평가 비율이 10퍼센트라는 사실을 나머지 90퍼센트에 대한 추측으로 바꾸지 마세요. 무엇을 관찰했는지, 어떤 정보는 아직 모으지 않았는지 밝히세요.
기간을 비교할 때는 인터페이스 변경도 확인하세요. 버튼이 더 눈에 띄면 답변 품질이 그대로여도 평가가 늘어날 수 있습니다. 새롭게 의견 작성을 요청하면 반응하는 사람의 비율이 줄어들 수 있습니다. 평가 수집 방식의 버전을 AI 도우미 버전과 함께 기록하세요. 지표의 모든 변화를 모델 탓으로 돌리지 마세요.
평가와 함께 결과를 활용하는 데 필요한 시간과 작업량도 살펴보세요. AI를 활용한 업무 시간 측정은 이후의 수정도 포함합니다. 빠른 제안에 만족하면서도 올바른 문서를 찾는 데 오랜 시간을 쓸 수 있습니다. 그렇다면 텍스트를 보여 주는 순간뿐 아니라 전체 경로를 개선해야 합니다. AI를 활용한 업무 시간 측정에 관한 글을 (폴란드어) 함께 참고할 수 있습니다.
Aeneia Audit에서는 보고서 하나와 서로 다른 평가 상태의 비기밀 예시 몇 개로 검토를 시작할 수 있습니다. 팀이 집계가 어디에서 나왔고 클릭이 무엇을 가리키는지 다시 확인할 수 있으면 좋습니다.









