Ankieta po użyciu strony: o co właściwie pytasz, kiedy pytasz „czy było łatwo”?

Uczestniczka zaznaczyła „bardzo łatwo” i wybrała tło fotograficzne o szerokości 160 centymetrów. W zadaniu miała znaleźć model mieszczący się w przestrzeni szerokiej na 140 centymetrów. Ankieta jest zadowolona, badacz już mniej. Te informacje nie muszą jednak sobie przeczyć: ocena opisuje odczucie, a wybrany produkt pozwala sprawdzić zgodność z warunkiem zadania.

To wymyślony przykład z wypożyczalni Mira. Firma chce poprawić wybór wyposażenia na stronie. Krótkie pytanie po zadaniu może pomóc zrozumieć doświadczenie, ale trzeba ustalić, o jaką informację pytamy. Odczuwana trudność, satysfakcja i faktyczne powodzenie nie są trzema nazwami tego samego wyniku. Ich rozdzielenie daje użyteczny materiał do decyzji projektowej.

Zanim napiszesz ankietę, dokończ zdanie: „Ta odpowiedź pomoże nam zdecydować…”. Jeśli nie wiadomo, co zespół zrobi z wynikiem, kolejne pytanie może tylko wydłużyć udział. Kwestionariusz o całej marce niewiele wyjaśni, gdy sprawdzasz rozumienie szerokości wybranego tła. Lepiej zebrać jedną określoną deklarację i powiązać ją z obserwacją.

„Łatwo i przyjemnie” to dwa pytania

„Jak łatwo i przyjemnie było wybrać produkt?” łączy różne doświadczenia. Wybór mógł być łatwy, ale żmudny; strona mogła wyglądać atrakcyjnie, lecz wymagać wielu powrotów. Uczestnik ma wtedy wybrać jedną liczbę dla dwóch spraw. Badacz nie wie, którą z nich ocenił ani jak rozumiał kompromis.

AAPOR w zaleceniach projektowania ankiet wskazuje pytania dotyczące jednego pojęcia, prosty język oraz staranny dobór odpowiedzi. Nie otrzymujemy stąd gotowego, zweryfikowanego kwestionariusza do każdego serwisu. W Mirze najpierw definiujemy informację, którą ma dostarczyć własne pytanie, a potem sprawdzamy jego rozumienie.

Przykład pytania po zadaniu brzmi: „Jak łatwe lub trudne było znalezienie tła spełniającego podane wymagania?”. Odpowiedź odnosi się do wykonanego właśnie zadania. Jeśli interesuje nas samodzielne odczytanie szerokości, można zawęzić pytanie do tej czynności. Nie zmieniaj jednak zakresu dopiero podczas analizowania odpowiedzi, bo korzystny wynik ogólny łatwo przypisać wybranemu szczegółowi.

Osobno można zapytać o zadowolenie z przebiegu, jeżeli ma ono znaczenie dla decyzji zespołu. Wtedy trzeba zachować tę nazwę w raporcie. Nie podpisuj wyniku „skuteczność strony” tylko dlatego, że uczestnicy dobrze ocenili doświadczenie. Pytanie o zamiar ponownego użycia też dotyczy deklaracji, a nie potwierdzonej przyszłej wizyty.

W archiwalnym Common Industry Format for Usability Test Reports, wersja 2.0 z 2001 roku rozdzielono skuteczność osiągania celu, zasoby wykorzystane w zadaniu i subiektywną satysfakcję. Dokument służy tu wyłącznie do wyjaśnienia tych pojęć. W naszym przykładzie poprawność szerokości sprawdzamy niezależnie od odczucia uczestniczki.

W pilotażu poproś osobę o wyjaśnienie, co ma ocenić, zanim zacznie wybierać odpowiedź. Jeżeli mówi o jakości samego tła, a pytanie miało dotyczyć znalezienia produktu, wykryłeś rozbieżność znaczeń. Nie naprawiaj jej przez pouczenie wszystkich właściwych uczestników, jak mają rozumieć pytanie. Zmień sformułowanie i sprawdź je z kolejną osobą. Taka próba dotyczy rozumienia pytania, więc nie mieszaj jej odpowiedzi z wynikami docelowego badania.

Wynik zadania określ przed sesją. Dla Miry tło musi zmieścić się w podanej przestrzeni i odpowiadać pozostałym warunkom polecenia. Zapisz konkretny wybór oraz podstawę uznania go za poprawny. Jeśli warunki nie pozwalają rozstrzygnąć, czy produkt pasuje, problem znajduje się także w projekcie próby. Ankieta nie dostarczy brakującego kryterium powodzenia.

Skala też jest częścią pytania

Dla własnego pytania o trudność możesz przygotować pięć opisanych odpowiedzi: „bardzo trudne”, „raczej trudne”, „ani łatwe, ani trudne”, „raczej łatwe”, „bardzo łatwe”. To roboczy przykład skali, nie nazwa standaryzowanego narzędzia. Sprawdź w pilotażu, czy osoby rozumieją jej środek i końce oraz czy odpowiedzi pasują gramatycznie do pytania.

Nie zostawiaj samych liczb bez wyjaśnienia. Jedna osoba może uznać jedynkę za najlepszą ocenę, a inna za najgorszą. Zapisz kierunek skali i zachowaj go w eksporcie oraz raporcie. Jeśli wykres odwraca kolejność, podpisy powinny nadal pozwalać zrozumieć sens. Technicznie poprawna średnia z odwróconych kodów opisuje coś innego niż zamierzone doświadczenie.

Oddziel odpowiedź środkową od braku podstaw do oceny. „Ani łatwe, ani trudne” nie znaczy „nie wykonałem zadania” ani „nie chcę odpowiadać”. Ustal potrzebne opcje poza skalą i sposób ich zapisu. Nie traktuj braku odpowiedzi jako zera. W przeciwnym razie kłopot z formularzem ankiety może wyglądać jak szczególnie niska ocena serwisu.

Dopasuj sposób zaznaczania do używanego urządzenia. Na telefonie wszystkie etykiety powinny dać się przeczytać i powiązać z właściwą opcją. Jeśli trzeba przewinąć szeroką skalę, osoba może nie zauważyć całego zakresu. Użyj jednoznacznego wyboru i sprawdź dostępność pytania, zamiast liczyć, że ikonki buziek samodzielnie przekażą dokładne znaczenie stopni.

Gdy korzystasz z istniejącego, opisanego narzędzia pomiarowego, ustal jego właściwy zakres i wersję językową. Zmiana tekstu pytania, liczby odpowiedzi albo sposobu punktowania może wymagać innej interpretacji. Nie nazywaj autorskiej mieszanki nazwą znanego kwestionariusza. W raporcie pokaż dokładnie to, co zobaczył uczestnik, oraz sposób wyliczenia przedstawionego wyniku.

Przed uruchomieniem sprawdź również zapis danych. Czy wybór pierwszej opcji i pominięcie pytania mają inne wartości? Czy odpowiedź po powrocie na ekran została zaktualizowana, czy dopisana jako oddzielny rekord? Czy w eksporcie pozostało powiązanie z zadaniem? Takie próby można wykonać na danych testowych, zanim do ankiety trafią właściwe odpowiedzi.

Zapytaj o tę chwilę, którą rzeczywiście chcesz ocenić

Pytanie bezpośrednio po wyborze tła dotyczy świeżego doświadczenia tego zadania. Pytanie po całej sesji może obejmować także dostawę, kontakt, wygląd katalogu i zmęczenie kolejnymi ćwiczeniami. Wybierz moment zgodnie z celem. Jeśli pytasz o jedno zadanie, nazwij je tak, aby uczestnik nie musiał odtwarzać, który z kilku wyborów masz na myśli.

Zapisz także udzieloną pomoc. Osoba, której badacz wskazał właściwą szerokość, może zgodnie ze swoim odczuciem ocenić dalszy wybór jako łatwy. Taka nota nie opisuje jednak samodzielnego przejścia całej drogi. Przy wyniku zachowaj moment i treść podpowiedzi. Jeśli celem było samodzielne znalezienie produktu, wynik po pomocy oznacz osobno; odpowiedź ankietowa nadal pozostaje jej oceną doświadczenia. Nie trzeba jej usuwać ani poprawiać na niższą.

Zwróć uwagę na informację o wyniku. Gdy najpierw pokażesz uczestniczce, że wybrała zbyt szerokie tło, późniejsza ocena będzie już udzielona z tą wiedzą. To może być uzasadnione pytanie, ale inne niż spontaniczna ocena po wykonaniu. Zapisz kolejność w procedurze. Nie łącz obu momentów w jedną serię bez ujawnienia różnicy.

W badaniu niemoderowanym instrukcja i skala muszą być zrozumiałe bez dopowiedzenia prowadzącego. W sesji na żywo badacz również nie powinien parafrazować pytania inaczej dla każdej osoby. Jeżeli pytanie wymaga ciągłych wyjaśnień, popraw je i sprawdź ponownie. Odnotuj każde dodatkowe wyjaśnienie, aby przy analizie było wiadomo, jakie warunki miała dana osoba.

Możesz dodać krótkie pytanie otwarte: „Co najbardziej wpłynęło na tę ocenę?”. Nie zakłada ono, że wystąpił problem. Odpowiedź pozwala dowiedzieć się, czy osoba oceniała etykiety, czas, wygląd czy własną znajomość produktów. Nadal jest wypowiedzią uczestnika, a nie pełnym wyjaśnieniem wszystkich obserwowanych zachowań. Zachowaj ją razem z przebiegiem i wybranym produktem.

Aby sprawdzić rozumienie parametru, użyj osobnego zadania, na przykład prośby o wyjaśnienie szerokości własnymi słowami. Taką rolę pełni test rozumienia treści. Ocena łatwości nie zawiera poprawnej odpowiedzi na pytanie o produkt. Również pytanie sprawdzające umiejętność w materiale szkoleniowym ma inną rolę niż ankieta o doświadczeniu.

Zadowolony uczestnik może potrzebować lepszej informacji

W raporcie zestaw wynik i deklarację dla tej samej sesji. Poprawne wykonanie ocenione jako trudne wskazuje inny kierunek niż łatwo oceniona pomyłka. W pierwszym przypadku przyjrzyj się wysiłkowi i obejściom, w drugim temu, jak strona sygnalizuje warunki wyboru. Nie poprawiaj samej oceny uczestnika, bo nie pasuje do oczekiwanej historii sukcesu.

W Mirze osoba mogła uznać wybór za łatwy, ponieważ szybko znalazła ładne tło, a szerokości nie zauważyła. To hipoteza do sprawdzenia na przebiegu i w rozmowie. Nie wynika automatycznie z wysokiej oceny. Dokładne powiązanie odpowiedzi z wybranym wariantem pozwala wrócić do pytania o hierarchię informacji na karcie produktu.

Gdy jedna osoba wykonuje kilka zadań, zachowaj to powiązanie w danych. Pięć odpowiedzi tej samej uczestniczki nie oznacza pięciu niezależnych osób. Zapisz kolejność zadań: wcześniejsze ćwiczenie mogło nauczyć ją sposobu odczytywania wymiarów. Jeśli oceny zmieniały się przy kolejnych zadaniach, rozważ wpływ wprawy i zmęczenia obok różnic między ekranami. Samo zestawienie ocen nie rozstrzygnie, który z tych powodów zadziałał.

Nie ukrywaj liczebności pod średnią. Pokaż rozkład odpowiedzi, liczbę ocen i brakujące wartości. Przy małej próbie jedna skrajna ocena może mocno zmienić podsumowanie. Dwie oceny zakodowane jako dwa i cztery dają średnią trzy, podobnie jak dwie trójki. W pierwszym zestawie osoby wybrały jednak różne strony skali, w drugim obie zaznaczyły jej środek. To własny przykład rachunkowy, a nie wynik badania Miry. Rozkład pozwala zauważyć tę różnicę, zanim zespół sprowadzi oba doświadczenia do identycznego słupka na wykresie. Zapisz, kogo zaproszono i kto odpowiedział. Ankieta dostępna wyłącznie po poprawnym zakończeniu zadania nie opisuje odczuć osób, które wcześniej utknęły lub zrezygnowały.

Analiza odpowiedzi otwartych z pomocą AI może pomóc uporządkować komentarze, lecz nie powinna dopisywać powodu brakującej oceny. Zachowaj tekst źródłowy i związek z zadaniem. Jeśli model podsumuje wszystkie wysokie noty jako „strona jest skuteczna”, wróć do znaczenia pytania oraz rzeczywistych wyborów.

Przy wersjach językowych sprawdź całe pytanie razem z opisami odpowiedzi. Dosłowne tłumaczenie środkowego stopnia może nie oddawać zamierzonego sensu. Zachowaj w danych język i wersję formularza, a w pilotażu sprawdź rozumienie z osobami używającymi danej wersji. Nie podpisuj tak przygotowanej własnej skali jako zweryfikowanego tłumaczenia znanego narzędzia. W przeciwnym razie raport obiecuje więcej, niż potwierdza wykonana praca.

Przy porównywaniu wariantów lub kolejnych wydań zachowaj pytanie, skalę i moment pomiaru albo jawnie opisz zmianę. Wyższa nota po zmianie sposobu pytania nie stanowi sama w sobie dowodu poprawy projektu. Wniosek z testu A/B wymaga sprawdzenia tego, co porównano i jak liczono wynik. Ogólna satysfakcja nie zastąpi miary celu.

Powiąż plan ankiety z kartą hipotezy eksperymentu: jaka zmiana ma pomóc, w jakim zadaniu i po czym rozpoznacie efekt. W ramach Aeneia Design można przygotować taki zakres dla projektu strony. W Mirze dobra decyzja może oznaczać czytelniejsze pokazanie szerokości przy zachowaniu wygodnej drogi wyboru. Wysoka nota nadal jest przydatna — pod warunkiem, że wiadomo, na jakie pytanie odpowiada.