진행자 없는 조사: 과제만으로 무엇을 할지 알 수 있어야 한다
명확한 과제와 종료 지점, 전체 파일럿과 근거에 기반한 분석으로 비진행 조사를 준비합니다.
본문 언어: 한국어

목차
참여자가 밤 9시 17분에 조사를 연다. 화면에는 ‘워크숍 신청을 확인하세요’라고 적혀 있다. 안내 내용을 평가해야 할까, 시간을 골라야 할까, 양식을 작성해야 할까, 아니면 실제로 신청해야 할까? 진행자는 없다. 지시문은 일찍 퇴근하면서 짧은 문장과 여러 해석만 남긴 듯하다.
비진행 조사는 세션을 실시간으로 이끄는 사람 없이 진행된다. 참여자는 미리 준비된 지시를 받고 과제를 수행한 뒤 정해진 방식으로 결과를 전달한다. 팀은 나중에 자료를 살펴본다. 원하는 시간에 참여할 수 있다는 편리함이 준비 작업을 없애지는 않는다. 목표와 시작 상태, 끝내는 방법은 현장에서 덧붙이는 설명 없이도 이해되어야 한다.
가상의 작업실 론도를 위한 조사를 설계해 보자. 팀원 두 명을 위한 워크숍을 선택하고 요약에서 선택한 시간을 알아볼 수 있는지 확인하려 한다. 실제 신청이 발생하지 않는 테스트 버전을 사용한다. 아래 예시는 조사 설계이며 참여자에게서 수집한 결과가 아니다.
하나의 조사 질문에는 구체적인 과제가 필요하다
수집한 자료로 어떤 결정을 내릴지 적자. 론도에서는 브랜드의 전반적인 매력이 아니라 올바른 시간과 인원수를 선택하는지 묻는다. 교육 상품을 구매하기로 결정한 이유를 이해하는 것이 목표라면 짧은 인터페이스 시험만으로 전부 답할 수 없다. 방법은 연구 플랫폼의 남는 구독권이 아니라 팀이 모르는 것에서 출발해 고른다.
Government Statistical Service (GSS)의 설문 개발 도구 모음은 짧은 과제와 명확한 조사 질문에 비진행 시험이 유용할 수 있다고 설명한다. 한계도 있다. 세션 중 바로 추가 질문을 할 수 없다. 이 지침은 설문 자료에 관한 것이며, 여기서는 그 구분을 혼자 수행하는 웹사이트 시험의 계획에 적용한다.
론도의 지시문은 이렇게 쓸 수 있다. ‘팀원 두 명이 제품 사진 워크숍에 참여하려고 합니다. 두 사람 모두 금요일 오후 3시부터 올 수 있습니다. 알맞은 시간과 두 자리를 선택하세요. 신청을 보내기 전 요약 화면에서 멈추세요.’ 테스트 자료에는 이 과제를 수행할 수 있는 시간이 있어야 한다. 프로토타입에 없는 선택지를 알아맞히도록 요구해서는 안 된다.
‘오후’라고만 하면 결과를 평가할 때 중요한 모호함이 남는다. 오후 3시부터 올 수 있다고 적으면 정오가 조건에 맞는지를 두고 다툴 일이 없다. 이는 인터페이스 요소의 이름을 알려주지 않으면서 필요 조건을 제공한다. 평가 기준에 연구자만 아는 숨은 조건이 있어서는 안 된다.
필터나 버튼의 이름을 알아보는지 평가하려 한다면 지시문에 그 이름을 넣지 말자. ‘일정 탭을 선택한 뒤 참가자를 누르세요’라고 쓰면 시험의 일부가 연구자 지시를 따르는 능력 확인으로 바뀐다. 상황에 필요한 정보는 분명히 주되 경로는 직접 찾게 하자. 파일럿에서 해석 차이가 과제 문구 때문인지 인터페이스 때문인지 확인할 수 있다.
시작 데이터를 정하자. 참여자는 준비된 계정을 쓸까, 처음 방문하는 사람으로 시작할까? 두 사람의 가상 정보가 과제에 제공되는가? 양식에 전화번호가 필수인가? 동료의 개인정보를 입력해 달라고 하는 대신 적절한 테스트 자료를 준비하자. 비어 있는 필수 입력란 때문에 세션이 중단된다면 웹사이트는 정상이어도 조사 운영이 원인일 수 있다.
적절한 참여자 모집 (폴란드어)도 여전히 중요하다. 링크된 글은 폴란드어다. 팀을 위해 워크숍을 고르는 사람은 그런 종류의 과제를 이해해야 한다. 화면 녹화 능력만으로 그 기준을 대신하지 말자. 연구 플랫폼에 익숙하다고 해서 자동으로 론도 서비스의 이용자가 되는 것은 아니다.
플랫폼 자체의 기기, 브라우저, 언어 지원과 자료 공유 방식도 확인하자. 휴대전화로 이용하는 신규 고객을 조사한다면 실수로 컴퓨터와 브라우저 확장 프로그램이 있는 사람만 참여하도록 제한하지 말자. 도구의 제한을 모집 범위에 기록하자. 사전 선별 양식이 세션을 시작할 수 없는 사람을 제외했다고 해서 그 제한이 해석에서 사라지는 것은 아니다.
참여자는 끝을 알고 연구자는 결과를 확인한다
시작하기 전에 참여자가 언제 끝났는지 어떻게 알 수 있는지, 연구자가 어떤 기준으로 결과를 평가할지 설명하자. 론도에서는 요약 화면에서 멈춘다. 연구자는 시간, 워크숍 주제와 두 자리를 확인한다. 플랫폼의 ‘완료’를 누른 사실만으로 이 값이 확인되지는 않는다. 프로그램을 읽은 뒤나 한 자리만 선택한 뒤 끝냈을 수도 있다.
NN/g의 비진행 사용성 시험 안내에서 Kathryn Whitenton은 실무 경험을 바탕으로 독립적으로 이해되는 지시문, 명시적인 중단 지점과 파일럿의 필요성을 강조한다. 과제는 올바른 클릭 순서를 전부 알려주지 않으면서 어디에서 멈출지 설명해야 한다.
증거의 종류를 질문에 맞추자. 시간 선택이 관심사라면 녹화에서 요약을 읽을 수 있어야 하거나 참여자가 다른 정해진 방법으로 요약을 전달해야 한다. 자리 수를 고르며 망설이는 순간을 조사한다면 마지막 화면 캡처만으로는 과정을 볼 수 없다. 도구에 기능이 있다는 이유만으로 얼굴 영상을 수집하지 말자. 자료의 각 종류에는 분석에서 맡을 역할이 있어야 한다.
녹화 전에 화면의 어느 부분을 기록하는지, 참여를 어떻게 끝내는지 설명하자. 개인 알림이 보이지 않도록 화면을 준비할 시간도 주자. 행동을 소리 내어 설명해야 한다면 그 지시가 과제에서 주의를 빼앗지 않는지 파일럿에서 확인하자. 일하면서 말하기 어렵다는 사실이 곧바로 사이트 사용의 어려움을 뜻하지는 않는다.
예정된 참여 환경에서 기술적 과정 전체를 확인하자. 링크 열기, 프로토타입 접근, 지시문으로 돌아가기, 녹화 시작과 결과 전송이 모두 조사 경로를 이룬다. 프로토타입이 새 탭에서 열리면 필요한 내용이 계속 기록되는지 확인하자. 녹화가 없다고 과제를 포기한 것으로 자동 해석하지 말자.

중단 후 복귀를 허용할 계획이라면 그 경로도 준비하자. 플랫폼이 같은 진행을 이어가는지 새 시도를 시작하는지, 프로토타입에는 어떤 상태가 남는지 확인한다. 한 사람이 링크를 다시 열어 남긴 두 답변을 확인 없이 두 참여자로 세어서는 안 된다. 복귀가 지원되지 않으면 시작 전에 알리고 중단된 진행의 기록을 보존하자.
조사 플랫폼의 인터페이스와 시험 대상 사이트를 구분하자. 참여자가 다음 과제로 넘어가는 버튼을 양식의 다음 단계로 오인할 수 있다. 명확한 안내를 준비하고 파일럿에서 확인하자. 녹화 방법을 설명해야 한다면 론도의 실제 과제 해답을 알려주지 않는 중립적인 예를 사용하자.
과제 후에는 짧은 체감 난이도 평가 (폴란드어)를 요청할 수 있다. 링크된 글은 폴란드어다. 자기보고는 결과를 보완하지만 대신하지는 못한다. 금요일 대신 토요일을 골랐어도 만족할 수 있다. 답변을 특정 세션에 연결해 요약 화면의 내용과 경험을 비교할 수 있게 하자.
파일럿에는 수집된 파일을 직접 열어보는 일도 포함된다
먼저 스스로 조사를 진행하되 자신의 녹화가 성공한 것으로 끝내지 말자. 적절한 경험을 가진 사람을 초대해 그 사람의 기기로 파일럿을 진행하자. 진행자가 있는 시험에서 지시를 설명했다면 기록하고 자료를 수정한다. 그다음 그런 설명 없이 작동해야 하는 버전을 확인하자. 그렇지 않으면 이후 참여자가 받지 못할 도움까지 포함해 지시문을 시험한 셈이다.
파일럿의 모든 파일을 열어보자. 화면을 읽을 수 있는가? 어느 창이 과제이고 어느 창이 조사인지 알 수 있는가? 완료 후 질문이 올바른 단계에 관한 것인가? ‘응답 수집됨’ 상태는 전체 과정 중 일부만 확인해 준다. 빈 화면의 녹화도 정상적으로 저장된 파일일 수 있지만 프로젝트 목표에는 쓸모없는 자료일 수 있다.
실패도 시험하자. 프로토타입이 열리지 않거나 과제에 맞는 시간이 하나도 없으면 참여자는 어떻게 해야 할까? 문제를 표시하고 참여를 끝낼 방법이 있어야 한다. 조사 제출 버튼을 활성화하기 위해 무작위 선택을 강요하지 말자. 그렇게 강요된 결과는 나중에 상품에 관한 선택처럼 보일 수 있다.
론도에서는 선택한 시간에 두 번째 자리가 없을 수 있다. 의도적으로 조사하는 상태라면 질문과 평가 기준에 포함하자. 이전 세션의 우연한 영향이라면 다음 시험 전에 준비된 상태를 복원한다. 참여자 사이에 공유되는 데이터가 기록 없이 과제 조건을 바꿔서는 안 된다. 연구자는 각 진행에서 실제로 무엇이 가능했는지 알아야 한다.
지시문을 바꾸면 버전도 기록하자. 내용을 명확히 하기 전과 후의 결과를 모두 같은 지시를 받은 것처럼 합치지 말자. 과제의 핵심을 수정했다면 이전 세션은 파일럿 진단에는 쓸 수 있어도 본 조사 질문의 답이 되지는 않을 수 있다. 역할을 설명해 자료를 보존하자.
참여자가 이용한 사이트나 프로토타입의 버전도 기록하자. 수집 도중 수정하면 화면의 이름과 순서가 달라질 수 있다. 꼭 수정해야 한다면 시점을 적고 어떤 진행이 어느 버전에 속하는지 정한다. 같은 조사 링크 이름만으로 조건이 같았다는 것을 증명할 수는 없다. 론도에서는 특히 두 자리 선택과 요약 화면의 구성이 중요하다.
Aeneia Design
하나의 과제와 프로토타입, 관찰할 수 있는 종료 지점을 준비하세요. 조사 경로 전체의 파일럿을 통해 지시문과 나중에 서비스 설계를 평가할 자료를 다듬을 수 있습니다. 혼자 수행하는 과제 시험 준비하기
모든 중단이 웹사이트 오류를 뜻하지는 않는다
분석할 때 올바른 수행, 잘못된 결과, 의식적인 포기, 충분한 증거가 없는 세션을 구분하자. 각 판단의 근거로 요약 값, 발언 또는 기술 메시지를 보존한다. 세션을 분류하기 전에 규칙을 보고서에 적자. 나중에 중단된 진행의 분류 방법을 바꾸면 평가된 결과 수에 어떤 영향이 있었는지도 보여준다. 어려운 세션을 제외해 성공률이 조용히 올라가서는 안 된다. 커서가 사라지는 모습만 보인다면 이유를 지어내지 말자. 참여자가 휴대전화에서 잠시 자리를 비웠거나 연결을 잃었거나 알 수 없는 이유로 중단했을 수 있다.
맥락은 자료의 한계를 이해하는 데 도움이 된다. 평소 업무 환경에서 사용을 관찰하는 방법 (폴란드어)에 관한 폴란드어 글은 녹화만으로 해결할 수 없는 질문에 답하는 데 도움이 될 수 있다. 그렇다고 나중의 설명이 세션 중 모든 생각을 재현한다고 가장하지 말자. 과제 후 수집한 추가 설명으로 표시하고 기억과 맥락의 한계도 밝히자.
집단이 지시문의 목표를 오해한다면 사이트를 평가하기 전에 조사 설계부터 고치자. 과제를 이해했지만 잘못된 입력란을 선택했다면 인터페이스 분석에 더 강한 자료가 된다. 완료율만으로 판단하지 말고 증거를 비교하자. 작은 표본에서는 구체적인 어려움의 설명이 모든 고객에 대한 겉보기로 정밀한 예측보다 유용할 수 있다.
두 프로토타입을 비교할 때 (폴란드어)는 차이를 이해할 수 있는 조건을 유지하자. 링크된 글은 폴란드어다. 과제 설명, 자리의 가용성, 결과 기록 방식이 다르면 결과를 설계 차이에 돌리기 어려워진다. 어떤 집단에서 마지막 화면을 더 자주 복원할 수 있었다는 이유만으로 해당 버전이 더 낫다고 평가하지 말자.
비진행 시험은 추가 대화가 필요한 지점을 드러낼 수 있다. 이유를 유연하게 되물어야 한다면 진행자와 함께하는 사용성 시험 (폴란드어)을 고려하자. 링크된 글은 폴란드어다. 수집한 녹화는 질문을 준비하는 데 도움이 되지만 파일 수가 빠진 대화를 대신하지는 못한다. 확신에 찬 연구자 요약으로 해석할 수 없는 세션을 고칠 수는 없다.
론도의 결과에는 과제를 이해했는지, 어떤 선택이 기록됐는지, 증거가 어디까지인지 담겨야 한다. 이런 준비 범위는 Aeneia Design과 논의할 수 있다. 더 넓게 시작하기 전에 수정 사항을 반영한 전체 파일럿을 다시 진행하자. 다음 참여자도 자신이 고른 시간에 조사를 열 것이며, 부재중인 진행자에게 짧은 지시문을 설명해 달라고 요청할 수는 없다.







