タスク後のアンケートで「簡単だった」は何を表す?
タスクの難しさ、満足度、実際に達成できたかを分けて、短いアンケートを設計します。質問、選択肢、尋ねる時点を確認しましょう。
記事の言語: 日本語

目次
参加者は撮影用の背景を選び、「とても簡単だった」と答えました。選んだ背景の幅は160センチ。課題は、幅140センチのスペースに収まるものを探すことでした。アンケートの数字は良く見えますが、調査者には確認すべきことがあります。二つの観察は矛盾するとは限りません。評価は本人の感じ方を表し、選んだ商品は課題の条件に照らして確認できるからです。
これは架空の機材レンタル会社ミラの例です。同社はウェブサイトで商品を選ぶ体験を改善したいと考えています。タスク後の短い質問は体験の理解に役立ちますが、何を知りたいのかを先に決める必要があります。感じた難しさ、満足度、実際に達成できたかどうかは別々の結果です。分けて扱うことで、設計上の判断に使いやすくなります。
アンケートを書く前に、次の文を完成させてみてください。「この回答は、私たちが何を決めるのに役立つか」。結果をどう使うか分からなければ、質問を増やしても参加時間が長くなるだけかもしれません。選んだ背景の幅を理解できたかを調べたいとき、ブランド全体についての質問ではあまり分かりません。一つの具体的な回答を得て、実際の行動と結びつけましょう。
「簡単で楽しかったですか」は二つの質問
「商品を選ぶのはどのくらい簡単で楽しかったですか」は、異なる体験を一緒に尋ねています。選ぶのは簡単でも面倒だったかもしれません。画面は魅力的でも、何度も戻る必要があったかもしれません。参加者は二つの事柄を一つの数字で評価しなければならず、調査者はどちらが回答に影響したのか、本人がどう折り合いをつけたのか分かりません。
AAPORの調査実施に関する指針は、一度に一つの概念を尋ねること、平易な言葉を使うこと、回答の選択肢を慎重に選ぶことを勧めています。どのサイトにも使える検証済みの質問票が、この指針からそのまま得られるわけではありません。ミラでは、独自の質問で何を知りたいかを定め、人がどう理解するかを確認します。
タスク後の質問なら、例えば「提示された条件に合う背景を見つけるのは、どのくらい簡単または難しかったですか」と尋ねられます。これは今行ったタスクを指しています。幅を一人で読み取れるかどうかが判断の焦点なら、その操作に絞って尋ねることもできます。ただし、回答を分析するときになって質問の範囲を狭めないでください。全体への好評価を、特定の部分への評価と結びつけやすくなります。
進め方への満足度が判断に必要なら、別に質問できます。その場合、報告書でも満足度と呼びましょう。体験の評価が高かったというだけで「サイトの有効性」と名づけてはいけません。再利用したいかという質問も、意向の申告であり、将来の再訪を確認したものではありません。
2001年の資料であるユーザビリティテスト報告書の共通産業フォーマット第2.0版では、目標達成の有効性、タスクに使った資源、主観的な満足度を区別しています。ここでは概念を説明するために参照します。ミラの例では、選んだ商品の幅が正しいかを、参加者の感じ方とは別に確認します。
予備調査では、回答を選ぶ前に、何を評価する質問だと思うかを尋ねてみましょう。商品を探す過程についての質問なのに、参加者が背景そのものの品質について話すなら、意味の食い違いが見つかったことになります。本調査の参加者全員に質問の意味を教えて対処するのではなく、文言を直して別の人に確かめます。これは質問の理解を確かめる試行なので、その回答を本調査の結果に混ぜません。
タスクの成功条件はセッション前に定めます。ミラでは、背景が指定されたスペースに収まり、指示のほかの条件も満たす必要があります。実際に選んだ商品と、それを正解と判断した根拠を記録しましょう。条件だけでは適合するか判断できないなら、試行の設計にも問題があります。欠けている成功条件をアンケートで補うことはできません。
尺度も質問の一部です
独自に難しさを尋ねるなら、五つの選択肢に言葉を付ける方法があります。「とても難しい」「やや難しい」「簡単でも難しくもない」「やや簡単」「とても簡単」です。これは例として作った尺度であり、標準化された測定ツールではありません。予備調査で、中央と両端が理解されるか、質問と選択肢のつながりが自然かを確かめます。
説明のない数字だけを並べないでください。1を最高評価と受け取る人もいれば、最低評価と受け取る人もいます。尺度の方向を記録し、出力データと報告書にも残しましょう。グラフの順序を逆にする場合も、ラベルから意味が分かるようにします。符号を逆にしたデータの平均が計算上正しくても、意図した体験とは別のことを表してしまいます。
中央の回答と、評価する根拠がない状態は区別します。「簡単でも難しくもない」は「タスクを終えられなかった」や「回答したくない」と同じではありません。尺度の外に必要な選択肢と記録方法を決めましょう。無回答をゼロとして扱わないでください。そうしないと、アンケート画面の問題がサイトへの極端に低い評価に見えてしまいます。
使う端末に合った選択方法にします。スマートフォンでも、すべてのラベルを読めて、どの選択肢のものか分かる必要があります。横に長い尺度をスクロールしなければならないと、範囲の一部を見落とすかもしれません。選び方を明確にし、質問のアクセシビリティを確認します。顔のアイコンだけで各段階の正確な意味が伝わると決めつけないでください。
既存の測定ツールを使うときは、本来の適用範囲と言語版を確かめます。質問文、回答数、得点の付け方を変えると、解釈も変える必要があるかもしれません。独自に組み合わせたものに、よく知られた質問票の名前を付けないでください。報告書には参加者が実際に見た内容と、結果の計算方法を示します。

開始前にはデータの保存方法も確認します。最初の選択肢を選んだ場合と質問を飛ばした場合は、異なる値として記録されますか。画面に戻って回答を変えた場合、更新されますか、それとも別の記録として追加されますか。出力データでもタスクとの対応は保たれていますか。実際の回答を集める前に、テストデータで確認できます。
評価したい時点に合わせて尋ねる
背景を選んだ直後の質問では、そのタスクを行った直後の体験について尋ねます。セッション全体の後なら、配送、問い合わせ、カタログの見た目や、それまでの作業による疲れも含まれるかもしれません。目的に合わせて時点を選びましょう。一つのタスクについて尋ねるなら、複数の選択のうちどれを指すか、参加者が記憶をたどらずに分かるように名前を示します。
与えた助けも記録します。調査者から正しい幅を示された人が、その後の選択を簡単だったと正直に評価することはあります。ただし、それは最初から最後まで一人で進めた体験の評価ではありません。助言した時点と内容を結果とともに残します。一人で商品を見つけることが目標なら、助けを受けた結果は別に示しましょう。アンケートの回答は本人の体験評価のままです。削除したり、点数を低く直したりする必要はありません。
結果をいつ伝えるかにも注意します。選んだ背景が広すぎると先に知らせれば、その後の評価にはその情報が影響し得ます。それを尋ねる理由がある場合もありますが、タスク直後の率直な評価とは別です。手順に順序を記録し、違いを明らかにせずに二つの時点の回答を一つの系列にまとめないでください。
進行役のいない調査 (ポーランド語)では、指示と尺度を補足説明なしで理解できる必要があります。進行役がリアルタイムで参加するセッションでも、調査者が参加者ごとに質問を違う言葉で説明し直さないようにします。繰り返し説明が必要なら、質問を直して再度確かめましょう。追加した説明は記録し、分析時に各参加者の条件が分かるようにします。
短い自由回答の質問を加えることもできます。「その評価に最も影響したことは何ですか」。この聞き方は、問題が起きたと決めつけません。ラベル、時間、見た目、商品への自分の慣れのどれを考えていたのかを知る手がかりになります。ただし、それも参加者自身の説明であり、観察されたすべての行動を完全に説明するものではありません。タスクの記録と選んだ商品に結びつけて残しましょう。
仕様を理解したかを調べるには、幅を自分の言葉で説明してもらうなど、別のタスクを使います。その役割を担うのが内容の理解を自分の言葉で確かめるテスト (ポーランド語)です。簡単だったという評価には、商品についての正解は含まれていません。教材で技能を確かめる質問 (ポーランド語)も、体験についてのアンケートとは役割が異なります。
満足した参加者にも、より分かりやすい情報が必要かもしれません
報告書では、同じセッションの結果と評価を並べて示します。正しくできたが難しかった場合と、間違えたが簡単だった場合では、調べる方向が異なります。前者では労力や回り道を、後者では選択条件を画面がどう示しているかを見ます。期待する成功談に合わせるために、参加者の評価を修正しないでください。
ミラでは、気に入った背景をすぐ見つけた一方で幅を見落とし、選択を簡単だと感じた人がいたかもしれません。これは進行記録や対話で確かめる仮説です。高い評価から自動的に導ける結論ではありません。回答と実際に選んだ商品を結びつけることで、商品カードの情報の優先順位を見直せます。
一人が複数のタスクを行う場合は、データでもその関係を保ちます。一人の参加者から得た五つの回答は、互いに独立した五人の回答ではありません。順序も記録しましょう。先の作業で寸法の読み方を覚えた可能性があります。後のタスクで評価が変わった場合は、画面の違いに加え、慣れや疲れの影響も考えます。評価を並べるだけでは、どの要因が働いたかは決まりません。
平均値の裏に人数を隠さないでください。回答の分布、評価数、欠けている値を示しましょう。少ない人数では、極端な回答一つで要約値が大きく変わることがあります。2と4の二つの評価の平均は3で、3が二つの場合も平均は3です。しかし前者では尺度の異なる側が選ばれ、後者では二人とも中央を選びました。これは計算を示すための例で、ミラの調査結果ではありません。分布を見れば、異なる体験をグラフの同じ棒一本にまとめる前に、この違いに気づけます。誰を招待し、誰が回答したかも記録します。タスクの成功後にしか表示されないアンケートでは、途中で行き詰まった人や離脱した人の体験は分かりません。
AIを使った自由回答の分析 (ポーランド語)はコメントの整理に役立つことがありますが、欠けた評価の理由を作り出してはいけません。元の文章とタスクとの対応を残してください。モデルが高い評価をまとめて「サイトは有効だ」と要約したら、質問の意味と参加者が実際に選んだものに立ち戻ります。
言語版を用意するときは、質問全体と回答ラベルを一緒に確認します。中央の選択肢を直訳しても、意図した意味が伝わらないことがあります。データには使用言語とフォームの版を残し、その言語を使う人と予備調査で理解を確かめましょう。独自の尺度を、既存ツールの検証済み翻訳として示してはいけません。そうすると、報告書が実際に確認した範囲を超えることになります。
画面の案や後のリリースを比較するときは、質問、尺度、測定時点をそろえるか、変えた点を明記します。質問の仕方を変えた後に評価が高くなっても、それだけでデザイン改善の証拠にはなりません。A/Bテストから結論を出すとき (ポーランド語)も、何を比較し、どう計算したかを確かめる必要があります。全体的な満足度は、目標の達成を測る指標の代わりにはなりません。
アンケートの計画を実験の仮説カード (ポーランド語)と結びつけます。どの変更が、どのタスクに役立つはずで、何を見れば効果が分かるでしょうか。サイト制作と対応できる範囲については、Aeneia Designに相談できます。ミラにとって適切な判断は、選びやすさを保ちながら幅をもっと分かりやすく示すことかもしれません。高い評価にも価値があります。どの質問への回答なのか分かっていることが、その前提です。






