두 프로토타입, 하나의 과제: 디자인은 어떻게 비교할까?
같은 과제로 두 프로토타입을 비교하는 방법. 제시 순서와 학습 효과를 살피고, 선택의 정확성과 디자인 선호도를 구분합니다.
본문 언어: 한국어

목차
디자인 A는 차분하고 B는 대담합니다. 팀의 한 사람은 A를 좋아하고, 다른 사람은 회의 때마다 B를 보여 줍니다. 세 번째 사람은 둘을 합치자고 제안합니다. 그렇게 나온 C는 제목에서는 대담하지만 고객이 조건을 찾아야 하는 자리에서는 아주 차분합니다. 시안이 어떤 결정을 돕는지 먼저 정한다면, 실제 이용자와 비교해 보는 일이 도움이 될 수 있습니다.
두 프로토타입은 같은 과제와 같은 기준으로 비교해 보세요. 관찰을 통해 사람이 정보를 어디서 찾고, 어떻게 이해하며, 다음에 무엇을 선택하는지 살펴볼 수 있습니다. 디자인 취향은 별도로 기록할 자료입니다. 좋아 보인다는 이유만으로 서비스 선택이 쉬워졌는지는 알 수 없습니다.
작은 규모의 디자인 테스트에서 꼭 몇 퍼센트 차이로 승자를 선언해야 하는 것은 아닙니다. 패키지의 조건을 이름 옆에 보여 줄지, 펼쳐지는 영역에 넣을지처럼 한 가지 차이를 결정하는 것이 목표일 수도 있습니다. 그러려면 두 시안과 제시 방식을 공정하게 준비해야 합니다.
설명할 수 있는 차이부터 고르기
팀을 위한 워크숍을 판매하는 가상의 서비스를 생각해 봅시다. 기본 패키지에는 한 차례의 모임과 미리 준비된 연습 활동이 들어 있습니다. 확장 패키지는 여기에 결과를 개별적으로 논의하는 시간을 더합니다. A에서는 카드에 조건이 보이고, B에서는 짧은 요약 아래 펼치기 버튼을 눌러야 조건이 나타납니다. 확인할 것은 범위의 차이를 찾고 이해할 수 있는지입니다.
테스트 전에 예상부터 적으세요. 예를 들어 조건을 바로 보여 주면 처음 접하는 고객이 내용을 따로 펼치지 않고도 두 패키지를 구분할 수 있다는 예상입니다. 무엇을 보고 그렇게 판단할지도 함께 정합니다. 참여자가 주어진 상황에 맞는 패키지를 고르고 그 이유를 설명할 수 있어야 합니다. 펼치기 버튼을 눌렀다는 사실만으로 실패나 성공을 판단할 수는 없습니다.
두 시안의 가격과 이름, 제시된 근거의 양까지 다르면 결과를 화면 구성의 차이로 돌리기 어려워집니다. 두 콘셉트 전체를 의도적으로 비교할 수는 있습니다. 다만 그때의 결론도 콘셉트 전체에 관한 것입니다. 특정 버튼이 더 커서 효과가 있었다고 단정하지 마세요. 테스트의 질문은 실제로 바꾼 것과 맞아야 합니다.
두 버전에 같은 사실을 넣으세요. 한 프로토타입에는 조건이 모두 있고 다른 쪽에는 요약만 있다면, 정보의 가용성과 화면 구성을 함께 비교하는 셈입니다. 그것이 확인하려는 질문일 수는 있지만, 그렇게 명시해야 합니다. 특히 같은 내용을 어떤 방식으로 보여 줄지 비교한다면 정보의 범위를 맞춰야 합니다.
완성도도 확인하세요. 한 시안에서는 전체 경로가 작동하는데 다른 시안은 첫 선택 뒤 빈 화면에서 끝나서는 안 됩니다. 목업의 완성도 차이가 원래 확인하려던 과제를 가려 버릴 수 있습니다. 참가자를 만나기 전에 두 프로토타입을 직접 사용해 보고 한계도 기록하세요.
확인할 질문과 테스트 조건은 가설 카드 작성 안내 (폴란드어)를 참고해 적어 두세요. 문서가 길 필요는 없습니다. 마음에 드는 시안이 첫 세션에서 잘 작동하지 않았다는 이유로 성공의 정의를 바꾸지 않게 해 주면 됩니다.
두 번째 시안을 볼 때는 이미 앞에서 배운 것이 있습니다
같은 사람에게 두 프로토타입을 모두 보여 줄 수도 있고, 참가자를 나눠 각 그룹에 하나씩 보여 줄 수도 있습니다. 두 방식은 비교 조건이 다릅니다. 전자는 직접 비교할 수 있지만 앞선 과제에서 배운 내용이 다음 과제에 영향을 줍니다. 후자는 사람들이 서로 다른 경험을 갖고 있으며 각자 한 버전만 봅니다.
실험 설계에 관한 MIT 강의 자료는 같은 참가자 안에서 비교하는 방식과 서로 다른 그룹을 비교하는 방식을 구분하고, 제시 순서의 영향을 설명합니다. 조건의 순서를 체계적으로 바꾸는 방법도 소개합니다. 이는 작동 원리를 이해하기 위한 자료이지 모든 웹사이트 프로젝트의 참가자 수를 정해 주는 처방은 아닙니다.
같은 사람들이 두 버전을 본다면 세션마다 A-B와 B-A 순서를 나누어 계획할 수 있습니다. 그러면 늘 같은 시안이 두 번째로 제시되지는 않습니다. 그렇다고 참가자의 기억이 사라지는 것은 아닙니다. 첫 번째 시안을 본 뒤에는 개별 결과 논의가 있다는 사실과 그 정보를 어디서 찾아볼 만한지 이미 알게 됩니다.
따라서 두 번째 수행을 첫인상을 다시 확인하는 독립적인 테스트라고 부르지 마세요. 그 뒤의 경로, 사용 방식의 차이, 두 시안을 비교하는 말을 관찰할 수는 있습니다. 핵심 질문이 처음 접한 사람이 혼자 내용을 어떻게 읽는지에 관한 것이라면, 조건을 그에 맞게 나누어 설계해야 합니다. 소규모 테스트에서는 한계를 밝히세요. ‘무작위’라는 말로 덮지 말고요.
과제가 제시하는 상황의 의미는 같아야 합니다. “나중에 결과를 논의해야 하는 팀에 맞는 워크숍을 골라 주세요”는 필요를 알려 줍니다. “확장 패키지를 열어 보세요”는 해결책을 먼저 알려 주므로 확인하려던 질문의 일부가 사라집니다. 두 버전에 같은 방식으로 과제를 제시하고, 어려움을 겪는 시안에만 설명을 더하지 마세요.
비슷한 과제에 다른 데이터를 쓴다면 서로 비교할 수 있는지도 살펴보세요. 소규모 팀을 위한 패키지와 대규모 조직을 위한 패키지를 고르는 일은 지시문의 길이가 같아도 다른 판단을 요구할 수 있습니다. 이름이나 숫자를 바꾼다고 앞에서 익힌 규칙을 저절로 잊는 것도 아닙니다. 무엇을 같게 두고 무엇을 바꾸는지, 두 경우에 왜 같은 핵심 정보를 찾아야 하는지 적어 두세요. 그렇지 않으면 더 좋은 결과가 단지 더 쉬운 상황을 보여 줄 수 있습니다.
여러 과제를 할 때는 서비스 내용을 익히는 효과도 살펴보세요. 참가자가 앞선 대화에서 얻은 답을 기억해 두 번째 패키지로 더 빨리 갈 수 있습니다. 제시 순서와 진행자의 개입을 기록하세요. 조건을 추가로 설명해 준 뒤 얻은 답은 참가자가 프로토타입에서 혼자 정보를 찾은 결과와 다릅니다.
과제에 맞는 참여자를 고르는 방법은 UX 조사 참가자 모집 안내 (폴란드어)를 참고하세요. 한 버전은 교육을 기획하고 운영한 경험이 많은 사람만 보고 다른 버전은 처음 주문하는 사람만 본다면, 결과 차이를 화면 구성만의 차이라고 볼 수 없습니다. 그룹을 나눌 때는 과제와 관련된 기준을 고려하고 한계를 분명히 밝혀야 합니다.

같은 과제와 같은 기록 방식을 사용하는 정성 비교는 두 제안의 장애물을 찾는 데 도움이 됩니다. 결론은 관찰한 문제와 이후 디자인에 활용할 가설에 관한 것이어야 합니다. 근거 없이 정교한 비율을 붙일 필요는 없습니다.
무엇을 했고, 무엇을 이뤘다고 생각했는지 기록하기
보여 주기 전에 시안에 A와 B처럼 중립적인 이름을 붙이세요. 질문에 꼭 필요한 정보가 아니라면 하나는 기존안, 다른 하나는 개선안이라고 소개하지 마세요. 진행자도 자신이 만든 해법을 변호하지 않아야 합니다. 공통 안내와 어려움이 생겼을 때의 대응을 미리 정해 두면 선호하는 시안에만 더 친절한 설명을 보태는 일을 막는 데 도움이 됩니다.
세션 전에 공통 관찰 기록지를 준비하세요. 과제마다 필요한 정보를 찾았는지, 제대로 이해했는지, 다음 단계가 무엇인지 짚었는지 적습니다. 도움을 준 시점과 프로토타입의 한계도 함께 기록하세요. 버튼을 가리켜 준 뒤 완료한 경우와 혼자 완료한 경우는 구분해야 합니다.
GOV.UK의 사용성 벤치마킹 안내는 과제 완료 여부와 시간뿐 아니라, 실제로는 완료하지 못했는데 참가자가 완료했다고 생각하는 경우도 살핍니다. 서비스를 고르는 화면에서도 유용한 구분입니다. 참가자 수와 비교 방법은 별도로 계획해야 합니다.
앞의 예에서 참가자는 개별 결과 논의가 기본 패키지에 포함돼 있다고 믿고 빠르게 기본 패키지를 고를 수 있습니다. 시간만 보면 훌륭합니다. 하지만 선택은 잘못된 이해에 기초했습니다. “선택한 범위의 어떤 부분이 이 상황에 맞나요?”라고 짧게 물어보세요. 정답을 알려 주기 전에 선택한 근거를 기록합니다.
내용을 자기 말로 설명해 보게 하는 방법 안내 (폴란드어)는 문장을 찾았는지와 그 의미를 제대로 이해했는지 구분하는 데 도움이 됩니다. 두 버전에 같은 질문을 하세요. 그렇지 않으면 한 프로토타입에서는 이해도를 확인하고 다른 쪽에서는 보기 좋은지만 묻게 됩니다.
과제와 조건을 비교할 수 있다면 시간도 유용합니다. 다만 도구 문제로 멈춘 시간이나 상황을 더 길게 설명한 시간은 따로 기록하세요. 모든 초를 화면 구성의 탓으로 돌릴 수는 없습니다. 참가자가 적을 때는 서로 매우 다른 몇 번의 수행 시간을 평균 내는 것보다 구체적인 장애물을 관찰하는 편이 유용할 수 있습니다.
참가자가 두 버전을 모두 보았다면 선호도는 과제를 마친 뒤에 물어보세요. 이유를 듣고 구체적인 순간과 연결해 봅니다. “B가 더 좋아요. 세부 내용이 너무 많이 보이지 않거든요”라는 답은 흥미로운 의견입니다. 같은 사람이 B에서 필요한 조건을 찾지 못했다면 두 정보 모두 남겨야 합니다. 한 사람의 의견만으로 미적 완성도와 올바른 이해 중 하나를 택할 필요는 없습니다. 과제 후 설문을 함께 쓴다면 어려움과 만족도를 묻는 질문 안내 (폴란드어)를 참고해 그 결과를 실제 수행과 분리해 보여 주세요.
잘 풀린 경로도 기록하세요. A는 패키지의 차이를 잘 설명하고, B는 입력 양식까지 더 편하게 안내할 수 있습니다. 이런 결과는 두 접근을 합칠 근거가 될 수 있습니다. 다만 팀원 모두를 만족시켜야 한다는 의무가 아니라 각 요소의 기능을 바탕으로 조합해야 합니다.
Aeneia Design과 프로젝트를 논의할 때 아직 내리지 못한 결정 하나와 비교할 자료부터 가져올 수 있습니다. 질문이 구체적일수록 필요한 프로토타입과 테스트의 범위도 더 분명히 정할 수 있습니다.
승자가 없어도 다음 결정을 고르기
기준이 엇갈릴 때 어떻게 판단할지 테스트 전에 정하세요. 어떤 버전이 더 빠르더라도 패키지 범위를 잘못 고르게 한다면 시간 절약만으로 그 버전이 더 낫다고 결론 낼 수는 없습니다. 이 과제에서는 정확한 이해가 기본 조건이고 속도는 그다음 기준일 수 있습니다. 다른 과제라면 우선순위가 달라질 수 있습니다. 순서를 기록해 두면 팀이 가장 좋아하는 결과에 맞춰 평가 기준을 바꾸는 일을 막을 수 있습니다.
세션이 끝나면 디자이너가 발언한 순서가 아니라 과제와 기준별로 자료를 정리하세요. 문제와 그 근거, 이용자에게 생기는 결과를 함께 보여 주세요. 두 버전에서 같은 오해가 나타났다면 카드의 배치가 아니라 공통 내용부터 고쳐야 할 수도 있습니다.
가능한 결과는 세 가지로 나눌 수 있습니다. 한 버전이 특정 문제를 더 잘 해결하거나, 둘 다 수정이 필요하거나, 자료만으로는 결론을 낼 수 없는 경우입니다. 세 번째 결과도 테스트의 실패는 아닙니다. 과제가 맞지 않았거나 조건 차이가 너무 컸거나 프로토타입에 필요한 정보가 빠졌다는 사실을 드러낼 수 있습니다.
제시 순서별로도 결과를 살펴보세요. 참가자들이 주로 두 번째에 본 시안에서 더 잘했다면 앞서 서비스 내용을 알게 된 것이 영향을 미쳤을 가능성을 기록합니다. 그 효과를 임의로 시간에서 빼거나 감으로 점수를 보정하지 마세요. 다음 테스트에서는 조건을 다른 방식으로 나누어야 할 수도 있습니다. 그 관찰은 화면 구성의 선택을 미루기로 할 때도 도움이 됩니다.
각 요소를 따로 평가했을 때 더 낫다는 이유만으로 하나씩 모아 승리한 시안을 만들지는 마세요. 합친 결과는 정보의 위계를 바꾸고 새로운 장애물을 만들 수 있습니다. A의 설명을 B의 경로에 옮긴다면 조합한 전체 흐름을 준비해 다시 확인하세요. 버튼 주변에 여백이 충분해도 버튼은 혼자 작동하지 않습니다.
디자인 결정 기록 안내 (폴란드어)를 참고해 질문과 버전, 제시 순서, 선택 이유를 남기세요. 테스트가 다루지 않은 범위도 적습니다. 한 달 뒤에도 그 결정이 근거가 있어 계속 적용할 원칙인지, 확인한 범위에서만 유효한 결정인지 더 쉽게 구분할 수 있습니다.
짧은 5초 테스트는 첫인상에서 무엇을 파악하는지 살피는 데 보탬이 될 수 있지만, 과제 수행을 대신하지는 못합니다. 이 방법은 5초 테스트 안내 (폴란드어)에서 더 살펴볼 수 있습니다. 마찬가지로 프로토타입에서 클릭할 수 있다는 사실이 나중에 구현된 사이트의 작동을 증명하지도 않습니다. 각 테스트에는 저마다의 질문과 결과가 있습니다.
방향을 고른 뒤에는 관찰을 바탕으로 고친 다음 버전을 준비하세요. 모든 사람의 취향을 최종적으로 정리했다고 약속할 필요는 없습니다. 왜 이 구성이 고객의 해당 결정을 더 잘 돕는지, 무엇을 더 확인해야 하는지 설명할 수 있으면 됩니다. 그때의 C는 회의 참석자들 사이에서 제목을 적당히 절충한 결과가 아니라 근거 있는 조합이 될 수 있습니다.









