지표가 목표를 앞설 때: 숫자를 맞추기 위해 팀은 어떻게 움직일까
초록색 지표 뒤에 고객의 문제가 남아 있을 수 있습니다. 무엇을 측정하고 목표가 행동에 어떤 영향을 주는지, 빠진 결과를 어떻게 살필지 알아봅니다.
본문 언어: 한국어

목차
첫 응답 시간이 줄어든 보고서를 상상해 보겠습니다. 이제 첫 답변이 "담당 부서에 전달했습니다"라는 말이어서 고객은 오히려 더 자주 문의합니다. 팀은 측정 대상인 일을 빠르고 정확하게 해냈습니다. 하지만 고객의 요청이 회사 안에서 얼마나 빨리 처리되는지는 알 수 없습니다. 초록색 지표가 거짓이 아니더라도 충분한 이야기를 전하지는 못할 수 있습니다.
측정값은 일의 일부를 보여 줍니다. 그 값 자체가 기대하는 성과가 되면 사람들은 일의 순서와 방식을 그에 맞춰 조정할 수 있습니다. 이 변화가 고객에게 어떤 결과를 가져오는지, 무엇이 측정 밖에 남는지 살펴야 합니다. 숫자 목표를 초과 달성했다는 사실만으로 서비스 전체가 나아졌다고 판단할 수는 없습니다.
먼저 숫자로 설명하려는 필요를 정하세요
회사가 고객이 유용한 도움을 받기까지 기다리는 시간을 줄이고 싶다고 가정해 봅시다. 시스템에서 쉽게 확인할 수 있어 첫 응답 시간을 측정합니다. 연락에 관한 중요한 정보일 수 있지만, 사안이 명확해지기까지 걸린 시간이나 재문의 횟수, 고객이 안내받은 다음 단계를 실행할 수 있었는지는 자동으로 보여 주지 않습니다.
영국 국가감사원(NAO)은 규제기관의 성과 측정 안내서에서 같은 수치를 측정과 목표에 함께 사용하면 지표가 의도하지 않은 방식으로 행동에 영향을 줄 위험이 있다고 경고합니다. 더 넓은 근거와 맥락도 필요하다고 설명합니다. 2016년에 규제기관을 위해 작성한 안내서지만, 기업이 쓰는 지표의 범위를 질문하는 데 도움이 됩니다.
이 예에서 고객의 목표는 도움을 받는 것이고 첫 답변은 그중 한 단계입니다. 이 관계를 명시해 두면 응답 시간의 감소를 이후 진행과 함께 평가할 수 있습니다. 빠른 연락 뒤에 필요한 조치도 그만큼 신속하게 이루어진다면 유용한 결과일 수 있습니다. 고객을 다른 대기열로 옮길 뿐이라면 더 살펴야 합니다.
지표 하나와 거대한 대시보드 중 하나를 골라야 하는 것은 아닙니다. 현재 숫자가 답하지 못하는 질문부터 시작하세요. 몇 건의 이력과 실제로 일하는 사람의 관점을 함께 살펴봅니다. 종료 시점의 정의가 잘못된 경우도 있고, 문의가 그 뒤 어떻게 되었는지 정보가 없는 경우도 있습니다.
시스템이 사용하는 정의를 기록하세요. 첫 응답은 사람이 보낸 메시지인가요, 자동 접수 확인인가요, 아니면 발송된 모든 메시지인가요? 시간은 계속 흐르나요, 아니면 고객 응대 시간에만 계산되나요? 모든 필요에 맞는 단 하나의 정의는 없습니다. 다만 결과를 비교하고 이를 바탕으로 결정하는 사람들은 어떤 정의를 쓰는지 알아야 합니다.
설정을 바꿨다면 전후의 데이터가 여전히 같은 뜻인지 확인하세요. 자동 접수 확인을 켜면 사람의 도움이 더 빨라지지 않아도 보고상의 시간은 줄어들 수 있습니다. 이때 정의가 달라진 점을 보여 주고 새 메시지의 유용성은 따로 평가해야 합니다. 그렇지 않으면 측정 방식의 기술적 변경이 서비스 전체의 개선으로 제시될 수 있습니다.
문의를 종료하는 방식은 업무가 보이는 모습을 바꿉니다
첫 번째 가상 사례에서는 고객 지원팀이 하루에 정해진 수의 문의를 종료해야 합니다. 다른 부서에 전달한 뒤 종료 처리하면 해당 팀의 실적은 좋아집니다. 하지만 고객은 여전히 기다리고 있어 다시 연락할 수 있습니다. 보고서가 새 메시지를 완전히 별개의 요청으로 취급하면 전체 이력이 보이지 않습니다.
종료가 무엇을 뜻하고 왜 사용되는지 확인하세요. 상담원이 시스템 설정에 따라 처리했을 수도 있습니다. 회사가 전달을 상담원 단계의 끝으로 정했을 수도 있습니다. 규칙을 피해 간 행동이라고 판단하기 전에 그 규칙부터 복원해 보세요. 전체 결과와 어떤 관계인지 아무도 확인하지 않은 현장의 기대를 사람들이 정확히 따르고 있을 수 있습니다.
보조 지표는 빠진 부분을 드러내야 합니다. 일정 기간 같은 요청으로 돌아온 문의의 비율이나 특정 조치가 이루어지기까지 걸린 시간을 살펴볼 수 있습니다. 무엇을 재문의로 볼지, 어떤 사례를 비교할지 설명해야 합니다. 고객의 새 구매는 아직 수행되지 않은 일에 대한 재질문과 다릅니다.
연락이 늘어날 때는 문의가 계절적으로 몰리는 시기의 대응도 중요합니다. 결과의 변화는 문의 유형의 구성이나 팀의 가용 인력이 달라진 데서 비롯될 수 있습니다. 이런 맥락 없이 두 기간을 비교하면 입증되지 않은 영향을 지표나 직원에게 돌릴 수 있습니다. 계절적 문의 집중 대응에 관한 글 (폴란드어)에서 이 맥락을 더 살펴볼 수 있습니다.
빠른 답변이 고객에게 일을 넘길 수 있습니다
두 번째 사례는 첫 연락까지 걸리는 시간입니다. 회사가 다른 양식에 정보를 다시 보내 달라는 자동 답변을 도입합니다. 시스템에는 빠른 접수가 표시됩니다. 고객은 이미 일부 정보를 제공했는데도 추가 작업을 해야 합니다. 도움이 되었는지 평가하려면 이 과정도 봐야 합니다.
첫 요청부터 도움이 되는 다음 단계까지 몇 건을 살펴보세요. 메시지가 정보를 더하나요? 요청한 정보는 실제 조치에 필요한가요? 고객은 무엇을 기대해야 하는지 아나요? 자동 답변이 언제나 문제인 것은 아닙니다. 접수를 확인하고 진행 순서를 설명할 수 있습니다. 그 가치는 실제 응대에서 맡는 역할에 달려 있습니다.
Goals Gone Wild의 저자들은 지나치게 좁은 목표가 선택한 결과에 주의를 집중시켜 업무의 다른 중요한 요소를 놓칠 위험을 분석합니다. 앞선 연구를 바탕으로 한 2009년 토론용 논문입니다. 모든 숫자 목표가 해롭다는 증거는 아니며, 목표의 범위를 신중히 정해야 한다는 근거입니다.
이 내용을 고객 응대에 적용한 우리의 결론은 연락의 속도가 다음 행동을 돕는지 확인하자는 것입니다. 메시지가 즉시 도착해도 고객이 언제 확인받을지 여전히 모른다면 속도만으로는 알 수 있는 것이 적습니다. 적절한 정보를 제공하고 불확실성을 줄인다면 유용한 역할을 할 수 있습니다. 평가에는 발송 시간뿐 아니라 내용과 진행 과정이 필요합니다.

재문의를 볼 때는 관찰 기간을 고려하세요. 오늘 종료된 문의는 일주일 전에 종료된 문의만큼 다시 돌아올 기회가 아직 없었습니다. 이 조건 없이 비교하면 고객이 아직 다시 쓰지 않았다는 이유만으로 최신 결과가 더 좋아 보일 수 있습니다. 해당 과정에 맞는 관찰 기간을 정하고 설명에 남기세요.
열린 채 남은 문의도 살펴보세요. 팀이 쉬운 문제는 많이 끝내면서 어려운 문제는 미뤄 점점 오래 기다리게 할 수 있습니다. 이를 숫자 목표 탓으로 자동 단정해서는 안 됩니다. 다만 처리 순서를 어떻게 정하는지, 어떤 도움이 필요한지, 왜 멈췄는지 확인할 필요는 있습니다. 오래된 사례 몇 건을 읽으면 종료된 사례의 평균이 보여 주지 못하는 부분을 보완할 수 있습니다.
발행 건수만으로는 콘텐츠의 유용성을 알 수 없습니다
세 번째 사례에서 팀은 AI로 콘텐츠를 만듭니다. 완성된 글의 수를 보고하지만, 여기서 "완성"은 폴더에 저장한 초안입니다. 출처 확인과 편집은 다른 대기열에 남아 있습니다. 파일이 늘었다는 것은 누군가 아직 확인해야 할 일이 더 쌓였다는 뜻일 수 있습니다.
지표가 쓰일 지점에 맞춰 결과를 정의하세요. 초안, 검토를 거친 글, 독자가 볼 수 있는 콘텐츠는 서로 다른 상태입니다. 각각 측정할 수 있지만 같은 의미로 섞어 쓰면 안 됩니다. 회사가 발행 준비 상태를 평가한다면 대기 중인 자료와 수정 사항, 사람이 준비 완료를 확인하는 시점도 보여야 합니다.
AI를 활용한 작업 시간 측정에서도 비슷한 경계를 고려해야 합니다. 첫 버전을 더 빨리 만들었다고 해서 쓸 만한 결과를 얻기까지 얼마나 걸리는지는 아직 알 수 없습니다. 일부 일이 다른 사람에게 넘어가면 한 곳에서 절약한 시간과 보고서 밖에서 새로 생긴 부담이 함께 존재할 수 있습니다. 관련 과정은 AI 활용 업무 시간 측정에 관한 글 (폴란드어)을 참고하세요.
시연에서 보기 좋지 않은 평범한 사례도 남겨 두세요. 연출하지 않은 서비스 시연은 골라낸 최고의 표본만이 아니라 실제 조건을 드러내야 합니다. 마찬가지로 지표가 관찰한 범위도 보여야 합니다. 어려운 사례를 제외할 때는 그 이유가 필요합니다. 그렇지 않으면 결과가 일의 편리한 부분만 설명하게 될 수 있습니다. 관련 관점은 서비스 시연에서 보여 줄 범위에 관한 글 (폴란드어)에서도 다룹니다.
콘텐츠에서는 선택한 초안이 어떻게 되었는지도 따로 살펴볼 수 있습니다. 일부는 간단한 편집 후 채택되고, 일부는 추가 조사가 필요하며, 일부는 보류됩니다. 이 비율이 팀 전체를 대표할 필요는 없습니다. 그래도 구체적인 경로를 설명하면 "완성된 글"이라는 공통 이름이 서로 다른 결과를 가리고 있는지 확인하는 데 도움이 됩니다.
검토 후 제외한 자료도 보관하세요. 등록부에서 사라지면 보고서에는 다음 단계로 넘어간 것만 남고 나머지를 걸러내는 데 든 일은 보이지 않을 수 있습니다. 신뢰할 수 있는 정의는 계산에 무엇이 들어가고 그 밖의 사례는 어떻게 되는지 설명해야 합니다. 미흡한 초안을 제외했다고 벌주려는 것이 아닙니다. 검토는 바로 그런 자료를 멈추기 위해 존재할 수 있습니다.
팀과 이야기할 때 고객에게 도움이 되지만 숫자는 나쁘게 만드는 행동이 무엇인지 물어보세요. 더 긴 상담, 출처 수정, 답변 전에 특이한 요청을 명확히 하는 일이 될 수 있습니다. 오래 걸리는 일이 모두 가치 있다고 미리 판단해서는 안 됩니다. 하지만 평가 체계가 유용한 결과에 필요한 일을 할 여지를 주는지는 살펴야 합니다. 이런 필수 업무가 보고에서 사라진다면 검토와 준비, 협업 유지에 기여한 일도 이름 붙여 주세요. 확인과 조율 같은 기여를 알아보는 방법은 보이지 않는 일의 기여를 인정하는 글 (폴란드어)에서 다룹니다.
합리적인 사람이 목표를 위해 무엇을 할지 살펴보세요
지표를 도입하기 전에 짧은 연습을 해 볼 수 있습니다. 이 숫자를 개선하려 할 때 어떤 행동이 가장 쉬운 길이 될까요? 어떤 행동은 고객에게 도움이 되고, 어떤 행동은 기록만 바꿀까요? 이는 특히 시범 운영의 평가를 지표가 이끌 때 유용한 프로젝트 프리모템의 한 부분입니다. 실패의 가능한 원인을 살펴보는 방법은 프로젝트 프리모템에 관한 글 (폴란드어)에서 설명합니다.
나쁜 의도를 미리 가정하지 마세요. 지표가 쉬운 사례에 관심을 돌리게 할 수 있습니다. 그래야 더 많은 문의를 종료할 수 있기 때문입니다. 회사가 긴 대화는 모두 실패라고 전달한다면 설명 시간이 짧아질 수도 있습니다. 규칙과 실제 수행의 관계를 살펴야 합니다. 특정 직원을 평가하려면 별도로 적절한 맥락이 필요합니다.
부작용을 보여 줄 작은 정보를 더하고 도움이 되는지 확인하세요. 첫 응답에는 선택한 문의가 이후 어떻게 진행됐는지를 볼 수 있습니다. AI 초안에는 사용 전 검토에 든 시간과 범위를 볼 수 있습니다. 수주하지 못한 B2B 제안에는 보낸 문서 수만이 아니라 기회를 잃은 이유와 단계를 살펴볼 수 있습니다. 대시보드를 채우기 위해서가 아니라 목표에 따라 선택하세요. 구체적인 구매 결정을 되짚는 방법은 B2B 제안이 선택되지 않은 이유에 관한 글 (폴란드어)에서 다룹니다.
보조 지표도 행동을 바꿀 수 있습니다. 응답 시간에 재문의 횟수를 더한다면 고객이 필요한 경우 계속 연락할 수 있어야 합니다. 버튼을 숨기거나 대화를 시스템 밖으로 옮기면 필요를 해결하지 않고 보고서의 모습만 개선됩니다. 정보를 모으는 방식과 어려운 사례가 계속 보이는지도 평가하세요.
AI 활용 감사는 보고서의 의미를 읽어야 합니다
Aeneia Audit은 AI 활용과 정보, 비용, 통제 현황을 살펴보는 지원을 안내합니다. 보고서와 사례를 바탕으로 지표와 인계된 업무를 검토할지 범위를 논의할 수 있습니다.
AI 시범 운영의 평가 기준은 공정한 비교를 가능하게 해야 합니다. 시험 도중 오류가 드러나 정의를 바꿔야 할 수 있지만 변경 사실을 기록해야 합니다. 수집 방식이 다른 두 시계열을 차이 설명 없이 하나의 연속된 결과로 제시하지 마세요. 관련 질문은 AI 시범 운영의 평가 기준에 관한 글 (폴란드어)에서 확인할 수 있습니다.
다음 비교 전에 보고서가 어떤 결정을 돕는지 정하세요. 관리자는 시범 운영 범위를 선택해야 하고, 실무자는 막힌 지점을 찾아야 할 수 있습니다. 하나의 화면이 두 질문에 모두 답할 필요는 없습니다. 같은 데이터 정의를 유지하면서 같은 결과에 서로 경쟁하는 버전을 만들기보다 독자의 행동에 맞춰 상세 수준을 고르세요.
AI 활용 등록부에는 목표와 지표, 지표를 사용할 수 있는 범위를 기록할 수 있습니다. 나중에 수치의 증가가 여전히 같은 일을 설명하는지 평가하기가 쉬워집니다. 좋은 지표는 다음 질문을 하도록 돕습니다. 색깔만으로 대화가 끝나기 시작한다면 그래프 저편에 남은 일을 살펴볼 때입니다. AI 활용 등록부 관리에 관한 글 (폴란드어)도 함께 살펴보세요.







