본문으로 건너뛰기
인터페이스 언어: 한국어
디자인 / Signal

과제 후 설문에서 ‘쉬웠다’는 답은 무엇을 뜻할까요?

과제의 체감 난이도, 만족도와 실제 성공을 구분해 짧은 설문을 설계합니다. 질문과 응답 척도, 질문 시점부터 살펴보세요.

본문 언어: 한국어

나무 탁자에서 한 사람이 열린 견본 상자의 시트를 들어 올리고 있으며 옆에는 간단한 식사가 놓여 있습니다.
목차

참가자가 촬영용 배경을 고른 뒤 ‘매우 쉬웠다’에 표시했습니다. 고른 제품의 너비는 160cm였습니다. 주어진 과제는 너비 140cm인 공간에 들어가는 제품을 찾는 일이었습니다. 설문 결과만 보면 안심할 수 있지만, 연구자는 더 살펴봐야 합니다. 두 관찰은 동시에 사실일 수 있습니다. 평가는 경험에 대한 느낌이고, 선택한 제품은 과제의 조건과 비교할 수 있기 때문입니다.

가상의 장비 대여업체 미라를 예로 들어보겠습니다. 미라는 웹사이트에서 제품을 고르는 과정을 개선하려고 합니다. 과제 직후 짧게 질문하면 경험을 이해하는 데 도움이 될 수 있습니다. 다만 무엇을 알고 싶은지 먼저 정해야 합니다. 체감 난이도, 만족도와 실제 성공 여부는 서로 다른 결과입니다. 이를 구분해야 설계 결정을 내리는 데 유용한 자료가 됩니다.

설문을 쓰기 전에 다음 문장을 완성해 보세요. “이 답변은 우리가 무엇을 결정하는 데 도움이 될까?” 결과를 어떻게 쓸지 모른다면 질문 하나가 참여 시간만 늘릴 수 있습니다. 선택한 배경의 너비를 이해했는지 확인하려는 상황에서 브랜드 전체에 관한 설문은 그다지 도움이 되지 않습니다. 하나의 구체적인 답변을 받아 실제 관찰과 연결하는 편이 낫습니다.

‘쉽고 즐거웠나요?’는 두 가지 질문입니다

“제품을 고르기가 얼마나 쉽고 즐거웠나요?”에는 서로 다른 경험이 들어 있습니다. 선택은 쉬웠지만 지루했을 수 있습니다. 화면은 보기 좋았지만 여러 번 되돌아가야 했을 수도 있습니다. 참가자는 두 가지를 하나의 숫자로 평가해야 하고, 연구자는 어느 쪽이 답변에 영향을 줬는지, 두 경험을 어떻게 저울질했는지 알기 어렵습니다.

AAPOR의 설문 연구 지침은 한 번에 하나의 개념을 묻고, 쉬운 언어를 쓰며, 응답 선택지를 신중하게 고르도록 권합니다. 이 지침이 모든 웹사이트에 적용할 수 있는 검증된 설문지를 제공하는 것은 아닙니다. 미라는 자체 질문으로 어떤 정보를 얻을지 먼저 정한 다음 사람들이 질문을 어떻게 이해하는지 확인합니다.

과제 후에는 예를 들어 이렇게 물을 수 있습니다. “제시된 조건에 맞는 배경을 찾기가 얼마나 쉽거나 어려웠나요?” 방금 수행한 과제를 가리키는 질문입니다. 혼자서 너비를 읽을 수 있는지가 의사결정의 핵심이라면 그 행동으로 질문 범위를 좁힐 수도 있습니다. 단, 답변을 분석한 뒤에야 범위를 바꾸지는 마세요. 전반적으로 좋은 평가를 특정 부분에 대한 평가로 잘못 돌리기 쉽습니다.

진행 과정에 대한 만족도가 결정에 중요하다면 따로 물을 수 있습니다. 보고서에서도 그 결과를 만족도라고 불러야 합니다. 참가자가 경험을 좋게 평가했다는 이유만으로 ‘웹사이트의 효과성’이라고 이름 붙이지 마세요. 다시 이용할 의향을 묻는 질문 역시 의향에 대한 답변이지, 실제로 다시 방문했다는 확인은 아닙니다.

2001년에 나온 보관 자료인 사용성 테스트 보고서 공통 산업 형식 2.0은 목표 달성의 효과성, 과제에 투입된 자원과 주관적 만족도를 구분합니다. 여기서는 이 개념을 설명하는 데에만 사용합니다. 미라의 예에서는 선택한 제품의 너비가 맞는지 참가자의 느낌과 별도로 확인합니다.

예비 조사에서는 답을 고르기 전에 무엇을 평가해야 한다고 생각하는지 참가자에게 물어보세요. 질문은 제품을 찾는 과정에 관한 것인데 참가자가 배경 자체의 품질을 이야기한다면 질문의 의미를 다르게 이해한 것입니다. 본 조사 참가자 모두에게 뜻을 설명해 주는 방식으로 해결하지 마세요. 문구를 고친 뒤 다른 사람과 다시 확인하세요. 이 과정은 질문의 이해도를 확인하는 시험이므로 그 답변을 본 조사 결과와 섞지 않습니다.

과제의 성공 기준은 세션 전에 정합니다. 미라에서는 배경이 제시된 공간에 들어가고 지시문의 다른 조건도 충족해야 합니다. 실제로 고른 제품과 이를 정답으로 인정한 근거를 기록하세요. 조건만으로 제품이 맞는지 판단할 수 없다면 시험 설계에도 문제가 있습니다. 설문이 빠진 성공 기준을 대신 만들어 주지는 않습니다.

척도도 질문의 일부입니다

자체적으로 만든 난이도 질문이라면 다섯 가지 응답을 문장으로 제시할 수 있습니다. ‘매우 어려움’, ‘다소 어려움’, ‘쉽지도 어렵지도 않음’, ‘다소 쉬움’, ‘매우 쉬움’입니다. 이는 직접 구성한 척도의 예시로, 표준화된 도구가 아닙니다. 예비 조사에서 중간과 양 끝의 뜻을 이해하는지, 선택지가 질문에 자연스럽게 이어지는지 확인하세요.

숫자만 설명 없이 남겨 두지 마세요. 어떤 사람은 1을 가장 좋은 평가로, 다른 사람은 가장 나쁜 평가로 받아들일 수 있습니다. 척도의 방향을 기록하고 내보낸 데이터와 보고서에도 유지하세요. 그래프에서 순서를 뒤집더라도 각 값의 의미를 라벨로 알 수 있어야 합니다. 코드를 반대로 해 계산한 평균은 계산 자체가 맞더라도 의도한 경험과 다른 것을 설명합니다.

중간 응답과 평가할 근거가 없는 상태를 구분하세요. ‘쉽지도 어렵지도 않음’은 ‘과제를 끝내지 못함’이나 ‘답하고 싶지 않음’과 같지 않습니다. 척도 밖에 어떤 선택지가 필요한지와 이를 어떻게 기록할지 정하세요. 무응답을 0으로 처리하지 마세요. 그러지 않으면 설문 양식의 문제가 웹사이트에 대한 매우 낮은 평가처럼 보일 수 있습니다.

사용 기기에 맞게 선택 방식을 조정하세요. 휴대전화에서도 모든 라벨을 읽고 해당 선택지와 연결할 수 있어야 합니다. 넓은 척도를 가로로 스크롤해야 한다면 전체 범위를 보지 못할 수 있습니다. 선택 방법을 명확히 하고 질문의 접근성을 확인하세요. 얼굴 모양 아이콘만으로 각 단계의 정확한 뜻이 전달된다고 가정하지 마세요.

이미 알려진 측정 도구를 사용할 때는 그 도구의 적용 범위와 언어 버전을 확인하세요. 질문 문구, 응답 수나 점수 계산 방식을 바꾸면 해석도 달라질 수 있습니다. 임의로 섞어 만든 질문에 잘 알려진 설문 도구의 이름을 붙이지 마세요. 보고서에는 참가자가 실제로 본 내용과 결과 계산 방법을 정확히 보여 주세요.

Aeneia 콘셉트 사진

설문을 시작하기 전에는 데이터 저장 방식도 확인하세요. 첫 번째 선택지를 고른 값과 질문을 건너뛴 값이 다르게 기록되나요? 화면으로 돌아와 답을 바꾸면 기존 값이 갱신되나요, 아니면 별도 기록이 추가되나요? 내보낸 데이터에서 답변과 과제의 연결이 유지되나요? 실제 응답을 받기 전에 테스트 데이터로 확인할 수 있습니다.

평가하고 싶은 순간에 맞춰 질문하세요

배경을 고른 직후의 질문은 방금 수행한 과제의 경험에 가깝습니다. 전체 세션이 끝난 뒤의 질문에는 배송, 연락, 카탈로그의 모양이나 앞선 활동으로 인한 피로까지 반영될 수 있습니다. 목표에 맞게 시점을 고르세요. 한 과제에 대해 묻는다면 여러 선택 중 무엇을 말하는지 참가자가 기억을 더듬지 않아도 되도록 과제를 밝혀 주세요.

제공한 도움도 기록하세요. 연구자가 올바른 너비를 알려 준 참가자는 그 이후 선택이 쉬웠다고 솔직하게 평가할 수 있습니다. 그렇다고 그 점수가 처음부터 끝까지 혼자 수행한 과정을 설명하는 것은 아닙니다. 도움을 준 시점과 내용을 결과와 함께 남기세요. 혼자 제품을 찾는 것이 목표였다면 도움을 받은 결과는 따로 표시합니다. 설문 답변은 여전히 참가자 자신의 경험 평가입니다. 답변을 지우거나 점수를 낮출 필요는 없습니다.

결과를 언제 알려 주는지도 살펴보세요. 고른 배경이 너무 넓다는 사실을 먼저 알려 주면 이후의 평가는 그 사실을 알고 난 뒤의 답이 됩니다. 그렇게 묻는 데 이유가 있을 수 있지만, 과제 직후의 즉각적인 평가와는 다릅니다. 절차에 순서를 기록하세요. 차이를 밝히지 않은 채 두 시점의 응답을 하나로 합치지 마세요.

진행자 없이 이루어지는 조사 (폴란드어)에서는 지시문과 척도를 진행자의 보충 설명 없이 이해할 수 있어야 합니다. 진행자가 실시간으로 참여하는 세션에서도 연구자는 참가자마다 질문을 다르게 풀어 설명하지 않는 편이 좋습니다. 질문에 반복해서 설명이 필요하다면 고치고 다시 시험하세요. 추가로 설명한 내용은 기록해 분석할 때 참가자별 조건을 알 수 있게 합니다.

짧은 개방형 질문을 더할 수도 있습니다. “그렇게 평가하는 데 가장 큰 영향을 준 것은 무엇인가요?” 문제가 있었다고 전제하지 않는 질문입니다. 참가자가 라벨, 시간, 화면 모양 또는 제품에 대한 자신의 익숙함 가운데 무엇을 생각했는지 알 수 있습니다. 그래도 이는 참가자의 설명이지 관찰된 모든 행동의 완전한 이유는 아닙니다. 과제 진행 기록과 선택한 제품에 함께 보관하세요.

규격을 이해했는지 확인하려면 너비를 자기 말로 설명해 달라고 요청하는 등 별도 과제를 사용하세요. 자기 말로 내용을 설명하는 이해도 시험 (폴란드어)이 그런 역할을 합니다. 쉬웠다는 평가는 제품에 대한 정답을 담고 있지 않습니다. 교육 자료에서 능력을 확인하는 질문 (폴란드어) 역시 경험에 관한 설문과 목적이 다릅니다.

만족한 참가자에게도 더 나은 정보가 필요할 수 있습니다

보고서에서는 같은 세션의 수행 결과와 평가를 나란히 보여 주세요. 정답을 골랐지만 어렵다고 평가한 경우와 잘못 골랐지만 쉽다고 평가한 경우에는 살펴볼 방향이 다릅니다. 전자에서는 들인 노력과 우회 과정을, 후자에서는 선택 조건을 화면이 어떻게 알려 주는지 살펴보세요. 기대한 성공 사례에 맞추려고 참가자의 평가를 고치지 마세요.

미라에서 어떤 사람은 마음에 드는 배경을 빨리 찾고 너비를 놓쳤기 때문에 선택이 쉬웠다고 느꼈을 수 있습니다. 이는 진행 기록과 대화로 확인할 가설입니다. 높은 점수만으로 자동으로 도출되는 결론이 아닙니다. 답변을 실제 선택한 제품과 연결하면 제품 카드의 정보 우선순위를 다시 살펴볼 수 있습니다.

한 사람이 여러 과제를 수행한다면 데이터에서도 그 연결을 유지하세요. 한 참가자의 답변 다섯 개가 서로 독립된 다섯 사람을 뜻하지는 않습니다. 과제 순서도 기록하세요. 앞선 활동에서 치수 읽는 법을 익혔을 수 있기 때문입니다. 과제가 이어지면서 평가가 달라졌다면 화면의 차이뿐 아니라 익숙해진 정도와 피로의 영향도 함께 고려하세요. 점수를 나열하는 것만으로 어느 요인이 작용했는지 결론 낼 수는 없습니다.

평균 뒤에 표본 수를 감추지 마세요. 응답 분포와 평가 수, 빠진 값을 함께 보여 주세요. 표본이 작으면 극단적인 답 하나가 요약값을 크게 바꿀 수 있습니다. 숫자 2와 4로 기록한 두 평가의 평균은 3이고, 3을 두 번 받은 경우도 평균이 3입니다. 하지만 첫 번째 집단은 척도의 서로 다른 쪽을 골랐고, 두 번째 집단은 모두 중간을 골랐습니다. 이는 계산을 설명하기 위한 자체 예시이지 미라 조사의 결과가 아닙니다. 분포를 보면 서로 다른 경험을 같은 막대 하나로 줄이기 전에 이 차이를 알아볼 수 있습니다. 누구를 초대했고 누가 응답했는지도 기록하세요. 과제를 성공적으로 마친 뒤에만 열리는 설문은 중간에 막히거나 떠난 사람의 경험을 설명하지 못합니다.

AI로 개방형 설문 답변 분석하기 (폴란드어)는 의견을 정리하는 데 도움이 될 수 있지만, 빠진 평가의 이유를 지어내서는 안 됩니다. 원문과 과제의 연결을 보관하세요. 모델이 높은 점수 전체를 ‘웹사이트가 효과적이다’라고 요약한다면 질문의 뜻과 참가자들이 실제로 선택한 결과로 돌아가 확인하세요.

언어별 버전에서는 질문 전체와 응답 라벨을 함께 확인하세요. 중간 단계의 표현을 직역하면 의도한 뜻이 전달되지 않을 수 있습니다. 데이터에 사용 언어와 설문 버전을 남기고, 해당 언어를 쓰는 사람들과 예비 조사에서 이해도를 확인하세요. 자체적으로 만든 척도를 알려진 도구의 검증된 번역이라고 표시하지 마세요. 그렇지 않으면 보고서가 실제로 확인한 범위보다 더 많은 것을 약속하게 됩니다.

화면의 대안이나 이후 버전을 비교할 때는 질문, 척도와 측정 시점을 유지하거나 바뀐 점을 명시하세요. 질문 방식을 바꾼 뒤 점수가 높아졌다는 사실만으로 디자인이 개선됐다고 볼 수는 없습니다. A/B 테스트의 결론 (폴란드어)을 내리려면 무엇을 비교했고 결과를 어떻게 계산했는지 살펴야 합니다. 전반적인 만족도는 목표에 대한 측정을 대신하지 못합니다.

설문 계획을 실험 가설 카드 (폴란드어)와 연결하세요. 어떤 변화가 어떤 과제에 도움이 되어야 하며, 무엇으로 그 효과를 알아볼 수 있을까요? 웹사이트 프로젝트와 가능한 작업 범위는 Aeneia Design과 상담할 수 있습니다. 미라에 적절한 결정은 제품 선택의 편리함을 유지하면서 너비를 더 분명히 보여 주는 것일 수 있습니다. 높은 평가는 여전히 유용합니다. 다만 어떤 질문에 대한 답인지 알아야 합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear