本文へスキップ
表示言語: 日本語
デザイン / Signal

進行役のいない調査では、課題だけで何をするか分かるようにする

明確な課題と終了点、全体のパイロット、根拠に基づく分析で非モデレート調査を準備します。

記事の言語: 日本語

イラスト:開放的なギャラリーに、赤い服の女性と金色の光の筋が見える。
目次

参加者が21時17分に調査を開く。画面には「ワークショップの申し込みを確認してください」とある。内容を評価するのか、日時を選ぶのか、フォームに入力するのか、それとも実際に申し込むのか。進行役はいない。短い指示だけが、いくつもの解釈を残して取り残されている。

非モデレート調査は、その場でセッションを進める人がいない状態で行う。参加者は事前に用意された指示を受け、課題を実行し、決められた方法で結果を伝える。チームは後から資料を見る。好きな時間に参加できる便利さがあっても、準備作業はなくならない。目的、開始時の状態、終了方法は、その場で説明を足さなくても理解できる必要がある。

架空の工房ロンドのために、こうした調査を計画しよう。チームの2人分のワークショップを選び、選んだ日時を確認画面で見分けられるかを調べたい。実際の申し込みが発生しないテスト版を使う。以下の例は調査計画であり、参加者から集めた結果ではない。

1つの調査質問には具体的な課題が必要

資料をどの判断に役立てるのかを書き出そう。ロンドで尋ねるのは、ブランド全体の魅力ではなく、適切な日時と人数を選べるかどうかだ。研修を購入する理由の理解が目的なら、短いインターフェース試験だけですべてに答えることはできない。手法は、余っている調査プラットフォームの契約ではなく、チームが何を分かっていないかから選ぶ。

Government Statistical Service(GSS)の調査票開発ツールキットは、短い課題と明確な調査質問に非モデレート試験が役立つと説明している。同時に、その場で追加質問できないという限界も示している。これは調査票の資料に関する手引きであり、この例ではその区別を、1人で行うウェブサイト試験の計画に応用する。

ロンドの指示は、例えばこう書ける。「チームの2人が商品写真のワークショップに参加する予定です。2人とも金曜日の15時以降に来られます。適切な日時と2人分の席を選んでください。申し込みを送信する前に確認画面で止まってください」。テスト資料には、この課題を実行できる日時が含まれていなければならない。プロトタイプにない選択肢を推測させてはいけない。

「午後」とだけ書くと、結果の評価に関わる曖昧さが残る。15時以降に来られると示せば、正午が条件を満たすかという争いを避けられる。これはインターフェース要素の名前を明かさずに必要条件を伝える情報だ。評価基準に、研究者だけが知る隠れた条件を含めてはいけない。

フィルターやボタンの名前を認識できるかを評価したいなら、その名前を指示に書き足さない。「日程タブを選び、次に参加者を選ぶ」とすれば、試験の一部が研究者の指示に従う確認に変わる。状況に必要な情報は明示し、そこへ至る道筋は参加者自身に見つけてもらう。解釈の違いが課題文から生じるのか、インターフェースから生じるのかはパイロットで確認できる。

開始時のデータを決めよう。参加者は用意されたアカウントを使うのか、初めての訪問者として始めるのか。2人分の架空データは課題で渡されるか。フォームには電話番号が必須か。同僚の個人情報を入力してもらう代わりに、適切なテスト資料を用意する。空の必須欄によってセッションが止まる原因は、サイトが正常でも調査運営にあるかもしれない。

適切な参加者の募集 (ポーランド語)は引き続き重要だ。リンク先はポーランド語。チームのためにワークショップを選ぶ人は、その種類の課題を理解できる必要がある。画面録画ができることだけで、この基準を置き換えてはいけない。調査プラットフォームに慣れていても、自動的にロンドのサービス利用者になるわけではない。

プラットフォーム自体の条件も確認する。端末、ブラウザ、言語対応、資料の共有方法だ。スマートフォンを使う新規顧客の調査なら、意図せずパソコンとブラウザ拡張機能を持つ人に限定してはいけない。ツールの制限は募集範囲に記録しよう。事前選別でセッションを開始できない人を除いても、その制限は解釈から消えない。

参加者は終了点を知り、研究者は結果を確かめる

開始前に、参加者が何をもって終了と分かるか、研究者が何をもって結果を評価するかを説明する。ロンドでは確認画面で止まる。研究者は日時、ワークショップの内容、2人分の席を確認する。プラットフォームで「完了」を押しただけでは、これらの値は確認できない。参加者はプログラムを読んだ後や、1人分しか選んでいない段階で終えたかもしれない。

NN/gの非モデレート試験の手引きでKathryn Whitentonは、実務経験に基づき、それ自体で理解できる指示、明確な停止点、パイロットの必要性を強調している。自分の課題でも、正解のクリック順序をすべて列挙せずに、終了点を説明しよう。

必要な記録は質問に合わせて選ぶ。日時の選択を調べるなら、録画で確認画面を読めるか、別の決めた方法で参加者に内容を伝えてもらう必要がある。人数を選ぶ際の迷いを調べるなら、最後のスクリーンショットだけでは過程が分からない。ツールに機能があるだけの理由で顔の映像を集めてはいけない。資料の種類ごとに分析上の役割が必要だ。

録画前に、画面のどの範囲を記録するか、参加をどう終えるかを説明する。私的な通知が映らないよう、画面を準備する時間も設ける。行動を声に出して説明してもらう場合は、その指示が課題から注意を奪いすぎないかパイロットで確認しよう。作業しながら話す難しさを、サイト利用の難しさの証拠に自動的にしてはいけない。

予定する参加環境で、技術的な流れ全体を確認する。リンクを開く、プロトタイプにアクセスする、指示に戻る、録画を始める、結果を送信する。これらすべてが調査の経路を作る。プロトタイプが新しいタブで開く場合も、必要な資料が記録され続けるか確かめよう。録画がないことを、課題を放棄した証拠と自動的に解釈してはいけない。

Aeneiaのコンセプト写真

中断後の復帰を認めるなら、その経路も用意する。プラットフォームが同じセッションを再開するのか、新しい試行を始めるのか、プロトタイプにどんな状態が残るのか確認する。1人がリンクを開き直して残した2つの回答を、確認せず2人分として数えてはいけない。復帰できないなら開始前に伝え、中断した経過の記録を残す。

調査プラットフォームと調査対象サイトのインターフェースを区別する。次の課題へ進むボタンを、フォームの次のステップだと誤解するかもしれない。明確な導入を用意し、パイロットで確かめよう。録画操作の説明が必要なら、ロンドの本番課題の答えを示唆しない中立的な例を使う。

課題後に短い体感難易度の評価 (ポーランド語)を求めることもできる。リンク先はポーランド語。この自己申告は結果を補うが、結果の代わりにはならない。金曜ではなく土曜を選んでも、本人は満足しているかもしれない。回答を特定のセッションに結びつけ、確認画面に見える内容と体験を比較できるようにする。

パイロットには集めたファイルを開く作業も含まれる

まず自分で調査を通してみる。ただし、自分の録画が成功しただけで終えてはいけない。適切な経験を持つ人を招き、その人自身の機器でパイロットを行う。進行役がいる試行で指示を説明したなら、それを記録して資料を修正する。そのうえで、説明を足さずに動く予定の版を確認する。そうしなければ、後の参加者には与えられない助けを含めて指示を試したことになる。

パイロットの各ファイルを開こう。画面は読めるか。どのウィンドウが課題でどれが調査か分かるか。終了後の質問は適切なステップに関係しているか。「回答を収集済み」という状態が確認するのは流れの一部だけだ。空白画面の録画も正しく保存されたファイルにはなり得るが、プロジェクトの目的には使えないかもしれない。

失敗も試す。プロトタイプが開かない、または課題に合う日時が1つもない場合、参加者はどうすればよいか。問題を示し、参加を終える方法が必要だ。調査の送信ボタンを有効にするためだけに、でたらめな選択を強制してはいけない。強制された結果は後から、提供内容についての意思決定に見えてしまう。

ロンドでは、選択した日時に2人目の席が残っていないこともある。意図して調べる状態なら、質問と評価基準に含める。以前のセッションが偶然残した影響なら、次の試行前に用意した状態を復元する。参加者間で共有するデータが、記録なしに課題条件を変えてはならない。研究者は各回に実際に何が利用可能だったかを知る必要がある。

指示を変更したら版を記録する。明確化の前後の結果を、全員が同じ指示を受けたかのようにまとめてはいけない。課題の核心に関わる修正なら、以前のセッションはパイロットの診断に役立っても、本調査の質問への回答にはならないかもしれない。資料は役割を説明して保存する。

参加者が利用したサイトやプロトタイプの版も記録しよう。結果収集中の修正によって、画面名や順序が変わることがある。修正が必要なら時点を記録し、どのセッションがどの版に属するかを決める。同じ調査リンクの名前だけでは、条件が同一だったとは証明できない。ロンドでは特に2人分の席を選ぶ画面と確認画面の構成が重要だ。

Aeneia Design

1つの課題、プロトタイプ、観察できる終了点を準備しましょう。調査経路全体のパイロットによって、指示と、後にサービス設計を評価するための資料を改善できます。1人で行う課題の試験を準備する

中断したセッションがすべてサイトのエラーを示すわけではない

分析では、正しい遂行、誤った結果、意図的な中止、十分な記録のないセッションを分ける。それぞれの判断の根拠として、確認画面の値、発言、技術的なメッセージを残す。セッションを分類する前に、ルールを報告書に書く。後から中断した経過の分類方法を変えた場合は、評価された結果の数への影響も示す。難しいセッションを除き、成功率をひそかに上げてはいけない。カーソルが消えたことしか見えないなら、理由を作り足さない。参加者はスマートフォンから離れたのかもしれず、接続を失ったのか、分からない別の理由で中止したのかもしれない。

文脈は資料の限界を理解する助けになる。普段の職場での利用観察 (ポーランド語)は、録画だけでは解けない質問に答えられる場合がある。リンク先はポーランド語。ただし、後からのコメントがセッション中の思考をすべて再現すると装ってはいけない。課題後に集めた追加説明として示し、記憶と文脈の限界も明記する。

参加者の集団が指示の目的を誤解したなら、サイトを評価する前に調査設計を修正する。課題は理解したが違う欄を選んだなら、インターフェース分析のためにはより強い資料になる。完了率だけで判断せず、証拠を比較しよう。小さな標本では、具体的な困難の説明のほうが、全顧客について一見精密に見える予測より役立つことがある。

2つのプロトタイプを比較する (ポーランド語)ときは、違いを理解できる条件を保つ。リンク先はポーランド語。課題の説明、席の空き状況、結果の記録方法が異なれば、結果を設計の違いに帰することは難しくなる。あるグループで最終画面を再現できる頻度が高かったというだけで、その版が優れていると評価してはいけない。

非モデレート試験は、さらに話を聞くべき箇所を見つけられる。理由について柔軟に追加質問する必要があるなら、モデレート型の使用性試験 (ポーランド語)を検討しよう。リンク先はポーランド語。録画は質問の準備に役立つが、ファイルの数だけでは欠けた対話の代わりにならない。研究者が自信ありげにまとめても、解釈できないセッションを修復することはできない。

ロンドの結果には、課題が理解されたか、どんな選択が記録されたか、証拠がどこまで及ぶかを示す必要がある。こうした準備の範囲はAeneia Designに相談できる。広く開始する前に、修正後の完全なパイロットをもう一度行おう。次の参加者も自分で選んだ時間に調査を開き、不在の進行役に短い指示の説明を求めることはできない。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear