본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 조사에서 고객을 흉내 낼 때: 답은 실제로 누구에게서 왔을까요?

UX 조사에서 합성 참가자의 제안과 실제 고객에 관한 증거를 구분합니다.

본문 언어: 한국어

Aeneia 콘셉트 이미지: 남색 천 위에 무지갯빛 조각이 박힌 금빛 잎 모양 장신구가 놓여 있다.
목차

보고서에 ‘참가자들은 계정을 만들지 않고 디자인을 보내고 싶어 한다’는 문장이 있습니다. 구체적으로 들립니다. 그러나 양식 개편을 맡기기 전에 누가 답했는지 물어보세요. 인쇄소를 이용하는 열두 사람인가요, 아니면 ‘바쁜 소기업 대표’라는 설명을 바탕으로 모델이 연기한 열두 역할인가요? 같은 문장이라도 근거는 다릅니다.

여기서 합성 참가자는 받은 프로필에 따라 질문에 답하거나 과제를 수행하는 AI 생성 인물입니다. 이런 시뮬레이션은 대화를 연습하고, 지침의 모호함을 찾거나, 추가 사례를 생각하는 데 도움이 될 수 있습니다. 유창한 말만으로 실제 고객을 관찰한 자료가 되지는 않습니다.

발표 자료를 만들다 보면 답변의 출처를 쉽게 놓칩니다. 작업 메모에는 ‘모델이 제안했다’, 슬라이드에는 ‘조사가 보여 준다’, 회의 뒤에는 ‘고객이 확인했다’가 됩니다. 대화에 온 적 없는 증인들이 문장에 생긴 셈입니다. 검토는 팀이 주제를 세기 전에 자료가 어떻게 만들어졌는지부터 시작해야 합니다.

시뮬레이션은 무엇을 확인하려 했나요?

파일 수정 요청 방식을 새로 만드는 가상의 인쇄소를 생각해 봅시다. 팀은 고객이 의견을 보내는 것과 인쇄용 디자인을 승인하는 것의 차이를 이해하는지 알고 싶습니다. 둘은 별도 과제입니다. 시뮬레이션은 시나리오에 넣을 수 있는 실수의 예를 찾는 데 도움을 주지만 실제로 몇 명이 실수하는지 증명하지는 않습니다.

도구를 쓰기 전 답변을 어디에 사용할지 기록하세요. ‘인터뷰 질문을 준비한다’와 ‘더 나은 화면을 선택한다’는 서로 다른 검토가 필요합니다. 전자에서는 질문이 명확하고 올바른 결정에 관련되는지 살핍니다. 참가자가 어떻게 받아들이는지는 나중에 확인합니다. 후자에는 적절하게 선정된 사람들의 행동 증거가 필요합니다. 설득력 있는 답을 본 뒤 목적을 바꾸려면 자료를 새로 평가해야 합니다.

‘승인’이라는 라벨을 어떻게 다르게 읽을 수 있는지 모델에 물을 수 있습니다. 결과는 가능한 해석의 목록으로 취급하세요. 설계자는 화면의 맥락에서 확인한 다음 사람을 대상으로 한 시험을 고릅니다. ‘의견 승인과 인쇄 승인 사이의 혼동 가능성’은 유용한 가설입니다. ‘대부분의 고객이 두 행동을 혼동한다’에는 다른 근거가 필요합니다.

대화 시뮬레이션은 진행자 역할을 연습하는 데도 도움이 됩니다. 모델이 일반적으로 답하면 진행자는 가장 최근 실제 사례를 묻는 중립적인 질문을 준비할 수 있습니다. 이때 평가하는 것은 자신의 시나리오와 추가 질문 방식입니다. 답변 내용을 인쇄소 고객 데이터로 세어서는 안 됩니다. 동료와 대화를 연습해도 그 동료가 자동으로 조사 대상 집단의 대표가 되는 것은 아닙니다.

생성 참가자에게 인쇄 용어를 모르거나, 완성된 파일이 없거나, 주문 번호를 기억하지 못한다는 제약을 줄 수 있습니다. 도구가 조건을 일관되게 유지하는지 확인하세요. 잠시 뒤 스스로 빠진 번호를 만들어 낸다면 시뮬레이션은 계획한 문제를 다루지 않습니다. 이는 시험 과정의 발견이지 고객 능력에 관한 발견이 아닙니다.

시뮬레이션이 브라우저에서 과제를 수행한다면 접근할 수 있는 정보도 기록하세요. 모델은 일반 사용자가 볼 수 없는 텍스트, 요소 전체 이름 또는 올바른 버튼을 지목하는 지침을 받을 수 있습니다. 그때 ‘과제를 수행했다’는 결과는 보이는 화면이 사람을 명확하게 안내한다는 증거가 아닙니다. 양식의 기술적 진행을 확인하는 유용한 시험과 내용 이해를 조사하는 시험은 다릅니다. 자동화 움직임 기록만으로 고객이 화면을 읽는 방식을 결정할 수 없습니다.

업무를 주문한 사람에게도 사용 범위가 명확해야 합니다. ‘AI를 활용한 시나리오 검토’가 ‘인터뷰 12건’보다 자료를 정확히 설명합니다. 실제 대화가 이후에 예정돼 있다면 별도로 참가자를 선정하는 다음 단계로 보여 주세요. 적절한 UX 조사 참가자 모집 (폴란드어)의 원칙은 여전히 적용됩니다.

비슷한 답이 같은 증거를 뜻하지는 않습니다

교육용 증강현실 설계 사례 연구는 합성 자료와 교사의 답을 비교했습니다. 저자들은 일부 자유 응답의 보조적 유용성과 더 구조화된 질문의 차이를 설명했습니다. 이는 특정 설계 연구의 제한된 결과이지 어떤 페르소나든 귀사 고객을 정확히 대체한다는 확인이 아닙니다.

다른 논문은 주문 서비스 과제로 에이전트와 대화하는 모의 사용자와 실제 사용자를 비교합니다. 시뮬레이션 결과는 사람에게서 얻은 결과를 안정적으로 재현하지 못했습니다. Lost in Simulation 프리프린트의 저자들은 특정 과제 집합과 구성을 조사했으며 가상의 인쇄소 양식을 시험하지 않았습니다.

실무 검토의 결론은 ‘AI는 조사에 적합하지 않다’보다 좁습니다. 누군가 특정 결정을 위해 사람 대신 시뮬레이션을 쓰려 한다면 적절한 비교와 적용 한계를 보여 줘야 합니다. 한 과제에서 주제가 일치한다고 다른 과제의 응답 분포까지 자동으로 확인되는 것은 아닙니다.

인쇄소에서 모델은 서비스에 관한 그럴듯한 주제인 속도, 가격, 편의를 언급할 수 있습니다. 실제 고객은 자리에 없는 디자이너가 만든 파일이나 공동 사업자의 승인 필요성을 이야기할 수 있습니다. 어떤 세부 사항이 결정적일지 미리 알 수 없습니다. 그래서 만들어 낸 역할의 설명 밖에서 정보를 구합니다.

반박할 수 있도록 가설을 기록하세요. ‘고객은 편의를 원한다’ 대신 수정 요청자가 누가 인쇄를 승인할 수 있는지 아는가를 묻습니다. 실제 시험 시나리오에서는 의견을 보내고 주문 상태를 설명해 달라고 요청합니다. 고객이 두 행동을 구분하고 상태를 올바르게 설명한다는 관찰은 혼동의 의심을 약화합니다. 이후의 모든 발언을 모델이 제안한 문제에 맞출 필요는 없습니다.

이 한계는 작업장에서 웹사이트 사용 관찰 (폴란드어)에서 잘 보입니다. 사람은 과제를 멈추고 전화를 받거나 문서를 보거나 동료에게 확인을 요청할 수 있습니다. 모델도 이를 지어내거나 지침으로 받으면 비슷한 사건을 설명할 수 있습니다. 그러나 조사 중 실제로 일어나는 것을 보는 것과는 다른 자료입니다.

Aeneia 콘셉트 사진

발언과 행동도 구분하세요. 사람이 말했더라도 ‘큰 버튼을 분명 누를 거예요’는 과제를 수행한 기록이 아닙니다. 생성된 발언에는 시뮬레이션에서 왔다는 불확실성이 하나 더 있습니다. 진행자가 있는 프로토타입 시험 (폴란드어)에서는 매력적인 답변에 그치지 않고 구체적인 과제의 진행과 화면 이해를 확인합니다.

프로필에 답이 이미 들어 있을 수 있습니다

페르소나를 만든 지침을 읽어 보세요. ‘사업주는 계정 생성을 꺼리고 빠른 파일 전송을 중시한다’고 적었다면 뒤에 나온 가입 불만은 독립적인 발견이 아닙니다. 조건을 인물에 입력한 것입니다. 보고서에서는 새로운 시장 발견이 아니라 가정에 넣어야 합니다.

판단이 포함된 과제 설명도 마찬가지입니다. ‘너무 긴 양식의 무엇이 방해되나요?’는 이미 양식이 너무 길고 방해된다고 가정합니다. 과제의 진행을 묻는 질문으로 바꾸고 길이는 확인할 특성으로 취급하세요. 사람을 조사할 때도 중립적인 질문이 필요하며 시뮬레이션이 이 의무를 없애지 않습니다.

모델에 어떤 자료를 제공했는지 기록하세요. 이전 인터뷰를 받았다면 그 주제를 재현할 수 있습니다. 시나리오 연습에는 유용하지만 같은 자료와의 일치만으로 새 조사를 예측할 능력이 확인되지는 않습니다. 새로운 사용을 시험하려면 답변을 준비할 때 모델이 받지 않은 자료가 필요합니다.

질문에 맞춰 프로필 세부 사항을 고르세요. 인쇄용 디자인 전달에서는 승인 역할과 파일 접근이 중요할 수 있습니다. 좋아하는 커피에 관한 장식적 약력은 인물의 성격을 더하지만 과정에 관한 지식을 확인하지는 않습니다. 세부 사항이 많다고 자동으로 신뢰성이 높아지는 것은 아닙니다.

적절한 데이터 없이 집단 라벨에서 행동을 추론하지 마세요. ‘해외 고객’에는 다양한 언어, 역할과 인쇄 경험이 포함됩니다. 현지 주문 방식에 관한 결정이라면 적절한 사람과 출처를 접해야 합니다. 아시아 시장의 B2B 고객 인터뷰 (폴란드어)는 그런 대화를 선정하는 예를 다룹니다. 상세한 페르소나가 현실 파악을 대신하지는 못합니다.

지침을 조금 바꿨을 때 답변이 얼마나 민감한지 확인하세요. ‘신중한’을 ‘경험 많은’으로 바꾸자 추천이 완전히 달라진다면 그 의존성을 기록합니다. 이는 인물 설명 방식에 자료가 크게 좌우될 수 있음을 보여 줄 수 있습니다. 어느 쪽이 고객을 더 잘 대표하는지는 정하지 못하며 추가 증거가 필요합니다.

답변을 여러 번 생성하면 가능한 제안 범위를 살펴볼 수 있습니다. 그러나 여러 실행이 각각 모집한 사람이 되지는 않습니다. 생성 횟수는 생성 횟수로 보고하세요. 이름 열두 개와 초상 열두 장이 데이터의 독립성을 자동으로 높이지는 않습니다.

분석에서는 같은 문장의 여러 버전을 별도 필요로 세지 마세요. ‘파일을 더 빨리 보내고 싶다’, ‘전송이 원활해야 한다’, ‘양식이 지체 없이 작동해야 한다’는 한 지침에서 나온 하나의 주제일 수 있습니다. 생성된 예시의 기록을 보존하면서 작업 가설로 묶습니다. 모델이 한 주제를 길게 확장했다는 이유만으로 긴 바꿔쓰기 목록이 기능의 우선순위를 결정해서는 안 됩니다.

결과를 전달하면서 없던 참가자를 만들지 않으려면

작업 자료에서 각 발언의 출처를 명확히 표시하세요. 실제 인터뷰 기록, 합성 답변, 연구자의 의견을 구분하면 됩니다. 나중에 정리할 계획이더라도 라벨 없이 하나의 인용 목록에 넣지 마세요. 그런 목록이 발표 자료로 옮겨지기 쉽습니다.

시뮬레이션의 발견에는 가정, 생성된 제안, 확인할 질문을 보여 주세요. 인쇄소 예시는 이렇습니다. 프로필은 최종 파일에 접근할 수 없다고 가정하고, 모델은 임시 저장을 제안하며, 실제 고객이 언제 파일을 받고 누가 승인하는지는 인터뷰에서 확인해야 합니다. 이는 조사를 계획하도록 돕지 조사 결과를 가장하지 않습니다.

대화가 이뤄질 때까지 가설에 책임자와 시나리오상의 위치를 지정하세요. 조사 후 실제로 관찰한 것, 가정에 반대되는 관찰, 추가 확인할 것을 덧붙입니다. AI의 원래 제안을 나중에 정확한 예측처럼 보이도록 고치지 마세요. 이전 기록을 보존하면 준비에 유용했던 아이디어와 인쇄소 업무에 맞지 않았던 아이디어를 구분할 수 있습니다. 두 결과 모두 다음에 도구를 더 합리적으로 쓰도록 돕습니다.

합성 인물의 인용은 그렇게 표시한다면 시나리오의 예로 쓸 수 있습니다. 실제 인터뷰를 암시하는 이름과 직함을 붙이지 마세요. 슬라이드가 발표 자료에서 분리돼도 독자가 출처를 알아야 합니다. 인용 옆의 짧은 라벨이 서두에만 숨겨 둔 설명보다 확실합니다.

문장의 출처를 잃었다면 만들어진 기록을 찾으세요. AI 텍스트 탐지기 (폴란드어)는 출처 이력을 대신하지 못합니다. 문체 평가로 그날 특정 고객과 대화했는지 알 수 없습니다. 녹음, 메모 또는 생성 기록을 찾아야 하며 찾을 수 없다면 그 부족을 정직하게 밝혀야 합니다.

제품 결정을 내리기 전 이미 확인된 것과 가설로 남은 것을 기록하세요. 팀이 알아본 명백한 언어적 모호성은 곧바로 고칠 수 있습니다. 로그인 방식, 승인 순서 또는 새 서비스 범위의 선택은 해당 결정에 맞는 자료에 근거해야 합니다. 존재하지 않는 참가자에게 공을 돌리지 말고 변경 이유를 보고서에 명시하세요.

예를 들어 팀은 ‘승인’보다 버튼의 결과를 더 정확히 설명하기 때문에 ‘디자인에 의견 보내기’를 고를 수 있습니다. 열두 고객의 이야기가 없어도 평가할 수 있는 설계 이유입니다. 새 라벨과 주변 화면이 실제 작업에서 혼동을 막는지는 별도 질문으로 남아 있으며 시험해야 합니다. 결정을 분리하면 이용 가능한 증거의 힘을 과장하지 않고 제품을 개선할 수 있습니다.

이런 검토는 Aeneia Audit의 AI 사용 평가에서 논의할 수 있습니다. 대화의 바탕은 도구, 전달한 자료, 결과와 그 결과에 근거한 결정입니다. 시뮬레이션은 팀의 작업실에서 유용한 보조 도구로 남을 수 있습니다. 그러나 고객에 관한 결론에서는 답변이 누구에게서 왔는지 여전히 확인해야 합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear