二つのプロトタイプを同じ課題で比べるには
二つの案を同じ課題と基準で比較し、提示順や参加者の学習効果を考慮する方法。見た目の好みと判断の正確さを分けて考えます。
記事の言語: 日本語

目次
案Aは落ち着いたデザイン、案Bは大胆なデザイン。チームの一人はAを好み、別の一人は会議のたびにBを見せる。三人目は両方を組み合わせようと提案します。そうして生まれた案Cは、見出しこそ大胆ですが、顧客が条件を探す場所はずいぶん控えめ。利用者と一緒に比較する前に、そのデザインがどんな判断を助けるのかを決めておくと、話が前に進みます。
二つのプロトタイプは、同じ課題と同じ基準で比べます。どこで情報を見つけ、どう理解し、次に何を選ぶのかを観察するためです。見た目の好みも聞きますが、それは別の材料。好きなデザインが分かっただけでは、サービスを選びやすくなったかは分かりません。
少人数の試行なら、何%の差でどちらが勝ったと発表することを目的にしなくてもかまいません。例えば、プランの条件を名前のそばに表示するか、展開した先に置くかという一つの違いを検討できます。その判断に意味を持たせるには、両方の案と提示方法を公平に準備する必要があります。
説明できる違いを選ぶ
チーム向けワークショップの架空のサービスを考えてみましょう。基本プランには一回のミーティングと、あらかじめ用意された演習が含まれます。拡張プランには、結果についての個別の振り返りも加わります。案Aでは条件をカード上に表示し、案Bでは短い概要と展開ボタンの先に置きます。知りたいのは、範囲の違いを見つけ、理解できるかどうかです。
試行前に予想を書き留めます。例えば「条件が見えていれば、初めての人も追加で内容を開かずにプランの違いを見分けられる」。その効果を何で確かめるかも決めます。参加者が指定された状況に合うプランを示し、理由を説明できるか。展開ボタンを押したこと自体は、失敗でも成功でもありません。
二つの案で価格、名称、根拠として示す情報の量まで違うなら、結果がレイアウトによるものかは判断しにくくなります。コンセプト全体を意図的に比較することはできます。ただし、結論もコンセプト全体についてのものです。その場合に「大きなボタンが効いた」と断定することはできません。実際に何を変えたのかに合わせて、試行を設計します。
両方に同じ事実を用意します。一方には条件を完全に載せ、もう一方には要約しか載せない場合は、レイアウトと一緒に情報へのアクセスも比較することになります。それ自体が適切な問いになることはありますが、何を比べているかを明示しましょう。情報の見せ方だけを評価したいなら、内容をそろえることが特に大切です。
プロトタイプの完成度も確認します。一方は最後まで操作でき、もう一方は最初の選択後に空白の画面で終わる、といった状態は避けたいところです。モックアップの違いが、本来の課題より大きく結果に影響しかねません。制約を書き留め、参加者とのセッション前に両方の流れを通して確かめます。
仮説カードの作り方 (ポーランド語)を参考に、問いと試行の条件を記録します。大がかりな文書である必要はありません。お気に入りの案が最初のセッションでうまくいかなかった後に、成功の定義を変えてしまうのを防ぐためのものです。
二つ目の案を見るとき、参加者はすでに何かを学んでいる
同じ人に両方を見せる方法も、参加者を分けて別々の案を見せる方法もあります。どちらを選ぶかで比較の条件は変わります。前者では直接比べられる一方、先の課題で得た知識を次に持ち込みます。後者では参加者の経験に差があり、一人が見るのは一つの案だけです。
MITの実験計画に関する教材は、同じ参加者内での比較と、異なるグループ間の比較を区別し、提示順の影響を説明しています。条件の順番を体系的に変える方法も紹介しています。仕組みを理解するための資料であり、どのサイト制作にもそのまま使える参加人数を決めてくれるものではありません。
同じ人に二つの案を見せるなら、あるセッションではA→B、別のセッションではB→Aの順にする方法があります。いつも同じ案が二番目になるのを避けるためです。それでも参加者の記憶は消えません。一度目の後には、個別の振り返りがあることも、どこを探せばよいかも、すでに知っています。
したがって、二度目の操作を、独立した第一印象の再テストとして扱うことはできません。引き続き操作の流れや使い方の違いを観察したり、両案を比べた感想を聞いたりはできます。知りたいことが最初の自力での読み取りなら、それに合わせて条件の分け方を設計する必要があります。少人数の試行では、制約を「ランダム」という言葉の下に隠さず、明記しましょう。
課題の状況も同じ意味に保ちます。「結果について後で振り返る必要があるチームに、ワークショップを選んでください」は必要なことを示しています。一方、「拡張プランを開いてください」は答えを示してしまい、問いの一部が消えます。両方の案に同じ指示を用意し、操作に困っている案だけに追加の説明をしないようにします。
似た課題に別のデータを使う場合は、結果を比べられる条件かを確かめます。小さなチーム向けのプラン選びと大きな組織向けの選択では、指示文の長さが同じでも、必要な検討が違うかもしれません。名前や数字を変えただけで、覚えたルールが自動的に消えるわけでもありません。共通の情報と変更する情報を記録し、どちらの場合も同じ重要な情報を探す必要がある理由を残します。そうしなければ、良い結果は単にシナリオが簡単だったことを示すだけかもしれません。
複数の課題では、サービス内容そのものを覚えていくことにも注意します。参加者が二つ目のプランに早く進めたのは、前の会話の結果を覚えていたからかもしれません。順番と介入を記録します。条件を補足してから得た回答と、プロトタイプ内で自力で見つけた回答は区別します。
課題に合う参加者を選ぶ際は、UX調査の参加者募集の解説 (ポーランド語)を参考にします。一方の案を見るのが研修の運営経験が豊富な人ばかりで、もう一方が初めて発注する人なら、結果の差をレイアウトだけの違いとは言えません。グループを分ける際は、課題に関係する条件を考慮し、限界を明示します。

共通の課題と記録方法を使った定性的な比較は、両方の案にある障害を見つける助けになります。結論は観察された問題と設計上の仮説に関するものです。根拠のない細かな百分率を添える必要はありません。
何をして、何を結果だと思ったかを記録する
案を見せる前に、AとBのような中立的な名前を付けます。問いに必要でない限り、一方を従来案、もう一方を改善案として紹介しません。進行役も、自分が作った案を擁護しないようにします。導入の説明と、参加者が困ったときの対応を事前にそろえれば、お気に入りの案にだけ、より優しい口調で追加の説明をすることも避けられます。
セッション前に共通の観察シートを用意します。各課題について、参加者が必要な情報を見つけ、正しく読み取り、次のステップを示せたかを記録します。助けたタイミングと、プロトタイプの制約も残します。ボタンの位置を教えてから完了した場合は、自力で完了した場合と分けます。
GOV.UKのユーザビリティ・ベンチマークの解説では、課題の完了、所要時間に加え、実際には達成していないのに達成したと思っているケースも扱っています。サービスの内容を理解できたかを見るうえで役立つ区別です。参加人数や比較方法は別途計画する必要があります。
架空の例に戻りましょう。参加者が基本プランを素早く選んでも、個別の振り返りが含まれると勘違いしているかもしれません。時間だけ見れば優秀ですが、判断は誤解に基づいています。そこで「選んだプランのどの部分が、この状況に合っていますか」と短く尋ねます。正しい答えを示す前に、選択の根拠を記録します。
内容を自分の言葉で説明してもらう方法の解説 (ポーランド語)は、文章を見つけることと、その意味を正しく理解することを分けて考える助けになります。比較するときは両方に同じ質問を用意します。そうしないと、一方では理解度を調べ、もう一方では見た目の良さだけを尋ねることになりかねません。
課題と条件が比較に適していれば、所要時間も参考になります。ただし、ツールの問題で中断した時間や、状況の説明が長くなった時間は記録します。すべての秒数をページのレイアウトのせいにすることはできません。参加者が少ない場合は、まったく異なるいくつかの経過を平均するより、障害を詳しく観察したほうが役立つこともあります。
参加者が両方を見た場合は、課題を終えてから好みを尋ねます。理由を聞き、具体的な場面と結び付けましょう。「細かい情報が多く見えないのでBのほうが好き」という意見は興味深いものです。その同じ人がBで必要な条件を見つけられなかったなら、両方の情報を残します。一人の声だけで、美しさと正確な理解のどちらかを選ばなければならないわけではありません。課題後のアンケートも取るなら、難しさと満足度の質問についての解説 (ポーランド語)を参考に、その結果を実際の操作結果と分けて示します。
うまく進んだ経路も記録します。案Aはプランの違いをよく説明し、案Bはフォームまで進みやすいかもしれません。そこから意味のある組み合わせが見えてくることもあります。組み合わせる理由は要素の働きに求めます。チーム全員を満足させるため、という義務からではありません。
Aeneia Designにプロジェクトを相談する際は、まだ決めきれていないことを一つ挙げ、比較したい資料を用意するところから始められます。問いが具体的であるほど、必要なプロトタイプや試行の範囲も決めやすくなります。
どちらも勝たなくても、次の判断を決める
基準が食い違った場合にどうするかを、試行前に決めます。ある案が速くても、プランの範囲を誤って選ばせるなら、時間の短縮だけでその案が優れているとは言えません。この課題では、正しい理解を基本条件とし、速さを次の基準にできます。別の課題なら優先順位は変わるかもしれません。先に順番を記録しておくと、チームが気に入った結果に合わせて評価を後から調整せずに済みます。
セッション後は、デザイナーの発言順ではなく、課題と基準に沿って記録を整理します。問題とその根拠、利用者にとっての影響を示します。両案で同じ誤解が生じているなら、直すべきなのはカードの配置ではなく、共通する文章かもしれません。
結果は三つに分けて考えられます。ある問題を一方の案がよりよく解決した、両方に改善が必要、あるいは記録からは判断できない。三つ目は調査の失敗ではありません。課題が合っていなかった、条件の差が大きすぎた、プロトタイプに必要な情報がなかった、といったことを示している可能性があります。
提示順ごとにも結果を見直します。参加者が主に二番目の案でうまく進んでいたなら、先にサービス内容を知った影響があるかもしれないと記録します。その影響を仮に時間から差し引いたり、感覚で評価を補正したりはしません。次の試行では条件の分け方を変える必要があるかもしれません。その観察を受けてレイアウトの選択を保留する場合も、有益な結果です。
個別に良いと評価された要素をすべて集めて「勝ち案」を作ろうとしないでください。組み合わせると情報の優先順位が変わり、新たな障害が生まれることもあります。Aの説明をBの流れに移すなら、組み合わせた全体を用意し、もう一度確かめます。画面上に十分な余白があっても、ボタンは周囲から切り離されて機能するわけではありません。
デザイン上の意思決定の記録についての解説 (ポーランド語)を参考に、問い、案、提示順、選択した理由を残します。試行に含まれなかったことも追記します。一か月後、根拠のある原則と、今回確かめた範囲だけに当てはまる判断を区別しやすくなります。
短い五秒テストは、最初に何を把握できるかを調べる補助になりますが、課題を実行してもらう代わりにはなりません。この方法は五秒テストの解説 (ポーランド語)でも詳しく扱っています。同様に、プロトタイプをクリックできたことは、後の実装が問題なく動く証拠にはなりません。それぞれの試行に、それぞれの問いと結果があります。
方向を選んだら、観察に基づく修正を加えて次の版を用意します。あらゆる好みに最終的な決着を付けると約束する必要はありません。そのレイアウトが顧客の判断をなぜよりよく支えるのか、まだ何を確かめる必要があるのかを説明できれば十分です。そうすれば案Cは、会議の参加者に配慮して見出しを分け合う妥協案ではなく、根拠のある組み合わせとして生まれます。









