Dwa prototypy, jedno zadanie: jak porównać rozwiązania bez konkursu piękności

Projekt A jest spokojny, projekt B odważny. Jedna osoba z zespołu lubi pierwszy, druga pokazuje drugi na każdym spotkaniu, a trzecia proponuje połączyć oba. W ten sposób powstaje projekt C, który jest odważny w nagłówku i bardzo spokojny w miejscu, gdzie klient powinien odnaleźć warunki. Porównanie z odbiorcami może pomóc, jeśli wcześniej ustalimy, jaką decyzję projekt ma ułatwić.

Dwa prototypy warto zestawić na tym samym zadaniu i według tych samych kryteriów. Obserwacja pokaże, gdzie człowiek znajduje informację, jak ją rozumie i jaki następny krok wybiera. Preferencja wyglądu pozostaje osobnym materiałem. Sama nie wyjaśnia, czy oferta stała się łatwiejsza do wyboru.

W małej próbie projektowej celem nie musi być ogłoszenie zwycięzcy z procentową przewagą. Może nim być rozstrzygnięcie jednej różnicy: czy informację o warunkach pakietu lepiej pokazać przy jego nazwie, czy w rozwinięciu. Żeby takie rozstrzygnięcie miało sens, trzeba uczciwie przygotować oba warianty oraz sposób ich prezentacji.

Wybierz różnicę, którą da się wyjaśnić

Weźmy fikcyjną ofertę warsztatów dla zespołów. Pakiet podstawowy obejmuje jedno spotkanie i przygotowane ćwiczenia. Pakiet rozszerzony dodaje indywidualne omówienie wyników. W wariancie A warunki są widoczne w kartach. W wariancie B znajdują się pod krótkim podsumowaniem i przyciskiem rozwinięcia. Pytanie dotyczy odnalezienia oraz rozumienia różnicy zakresu.

Zapisz przewidywanie przed próbą. Na przykład: widoczne warunki pomogą początkującym odbiorcom odróżnić pakiety bez dodatkowego otwierania treści. Dopisz, po czym rozpoznasz ten skutek. Uczestnik powinien wskazać właściwy pakiet dla opisanej sytuacji i wyjaśnić powód. Samo kliknięcie rozwinięcia nie jest ani porażką, ani sukcesem.

Jeżeli warianty różnią się również ceną, nazwami i ilością dowodów, trudniej będzie przypisać wynik układowi. Możesz świadomie porównywać całe koncepcje, ale wniosek będzie dotyczył całych koncepcji. Nie ogłaszaj wtedy, że zadziałał konkretnie większy przycisk. Próba powinna odpowiadać temu, co rzeczywiście zmieniono.

Przygotuj te same fakty w obu wersjach. Gdy jeden prototyp zawiera kompletny warunek, a drugi tylko skrót, porównujesz dostępność informacji razem z układem. To może być właściwe pytanie, lecz trzeba je tak nazwać. Wyrównanie treści jest szczególnie potrzebne wtedy, gdy zespół chce ocenić sam sposób jej przedstawienia.

Sprawdź poziom dopracowania. Jeden wariant nie powinien mieć działającej całej drogi, a drugi kończyć się pustym ekranem po pierwszym wyborze. Różnice wynikające z makiety mogą zdominować właściwe zadanie. Zanotuj ograniczenia i przejdź oba prototypy przed spotkaniami z uczestnikami.

Pytanie zapisz w karcie hipotezy razem z warunkami próby. Taki dokument nie musi być rozbudowany. Ma powstrzymać zespół przed zmianą definicji sukcesu po zobaczeniu, że ulubiony wariant nie poradził sobie z pierwszą sesją.

Ta sama osoba poznająca drugi projekt nie zaczyna już od zera

Możesz pokazać oba prototypy tym samym osobom albo rozdzielić je między grupy. Każde rozwiązanie zmienia warunki porównania. W pierwszym człowiek ma możliwość bezpośredniego zestawienia, ale przenosi wiedzę z wcześniejszego zadania. W drugim osoby różnią się doświadczeniem, a każda ogląda tylko jedną wersję.

Materiały kursu MIT o projektowaniu eksperymentów rozróżniają porównanie w tej samej grupie i między grupami oraz opisują wpływ kolejności. Wskazują też systematyczną zmianę kolejności warunków. To wyjaśnienie mechanizmu, nie gotowy dobór liczebności dla każdego projektu strony.

Dla dwóch wersji oglądanych przez te same osoby można zaplanować kolejność A–B oraz B–A w różnych sesjach. Dzięki temu druga pozycja nie zawsze przypada temu samemu wariantowi. Nadal nie usuwa to pamięci uczestnika. Po pierwszej próbie wie już, że istnieje indywidualne omówienie i gdzie warto go szukać.

Nie nazywaj więc drugiego wykonania ponowną próbą pierwszego wrażenia. Możesz obserwować dalszą drogę, różnice obsługi i wypowiedzi porównawcze. Jeśli główne pytanie dotyczy pierwszego samodzielnego odczytania, trzeba odpowiednio zaprojektować rozdzielenie warunków. W małej próbie oznacz ograniczenie zamiast ukrywać je pod słowem „losowo”.

Sytuacja zadaniowa powinna zachować ten sam sens. „Wybierz warsztat dla zespołu, który potrzebuje późniejszego omówienia wyników” wskazuje potrzebę. „Otwórz pakiet rozszerzony” wskazuje rozwiązanie i usuwa część pytania. Tak samo przygotuj polecenie dla obu wersji, bez dodatkowych wyjaśnień przy tej, która sprawia kłopot.

Jeżeli stosujesz podobne zadania z innymi danymi, sprawdź ich porównywalność. Wybór pakietu dla małego zespołu i wybór dla wielkiej organizacji mogą wymagać innej analizy, nawet gdy polecenia mają tę samą długość. Zmiana nazw lub liczb nie usuwa automatycznie zapamiętanej reguły. Zanotuj, co pozostaje wspólne, co zmieniasz i dlaczego oba przypadki wymagają odszukania tej samej istotnej informacji. W przeciwnym razie lepszy wynik może opisywać prostszy scenariusz.

Przy wielu zadaniach uważaj także na uczenie się treści oferty. Uczestnik może szybciej przejść do drugiego pakietu, bo zapamiętał wynik poprzedniej rozmowy. Zapisz kolejność i interwencje. Odpowiedź udzielona po dopowiedzeniu warunku ma inny status niż samodzielne odnalezienie go w prototypie.

O dopasowaniu osób decyduje rekrutacja do badania UX. Jeżeli jedną wersję oglądają wyłącznie doświadczeni organizatorzy szkoleń, a drugą osoby zamawiające po raz pierwszy, różnica wyników nie opisuje samego układu. Przy rozdzieleniu grup trzeba uwzględnić kryteria istotne dla zadania i jawnie pokazać ograniczenia.

Jakościowe porównanie ze wspólnymi zadaniami i sposobem notowania pomoże znaleźć przeszkody w obu propozycjach. Wnioski będą dotyczyły obserwowanych problemów i hipotez do projektu, bez nieuzasadnionej precyzji procentów.

Zapisz, co człowiek zrobił i co uznał za wynik

Przed prezentacją nazwij warianty neutralnie, na przykład A i B. Nie przedstawiaj jednego jako dotychczasowego, a drugiego jako ulepszonego, jeśli ta wiedza nie jest potrzebna do pytania. Prowadzący powinien też unikać obrony rozwiązania, którego jest autorem. Warto wcześniej ustalić wspólny wstęp oraz sposób reagowania na trudność, aby ulubiona wersja nie otrzymywała dodatkowych wyjaśnień podanych łagodniejszym tonem.

Przed sesją przygotuj wspólną kartę obserwacji. Dla każdego zadania zapisz, czy uczestnik odnalazł potrzebną informację, trafnie ją odczytał i wskazał następny krok. Dodaj moment pomocy oraz ograniczenie prototypu. Ukończenie po wskazaniu przycisku powinno być odróżnione od ukończenia samodzielnego.

GOV.UK w opisie benchmarku użyteczności uwzględnia wykonanie zadania, czas oraz sytuację, w której człowiek sądzi, że osiągnął cel, choć tak się nie stało. To cenne rozróżnienie dla oferty. Dobór skali próby i sposobu porównania wymaga już osobnego planu.

W naszym przykładzie uczestnik może szybko wybrać pakiet podstawowy, przekonany, że zawiera indywidualne omówienie. Sam czas wygląda znakomicie. Decyzja jest jednak oparta na błędnym rozumieniu. Dlatego poproś o krótkie wyjaśnienie: „Co w wybranym zakresie odpowiada tej sytuacji?”. Zapisz podstawę wyboru, zanim pokażesz poprawną odpowiedź.

Sprawdzanie treści własnymi słowami pomaga oddzielić odnalezienie zdania od nadania mu właściwego znaczenia. W porównaniu warto zachować te same pytania dla obu wersji. Inaczej jeden prototyp otrzyma próbę zrozumienia, a drugi tylko pytanie, czy ładnie wygląda.

Czas może być przydatny, jeśli zadanie i warunki pozwalają go porównać. Zanotuj jednak przerwę na problem narzędzia albo dłuższe wyjaśnienie sytuacji. Nie przypisuj każdej sekundy układowi strony. Przy niewielkiej liczbie osób dokładna obserwacja przeszkody może być bardziej użyteczna niż średnia z kilku bardzo różnych przebiegów.

Pytanie o preferencję zadaj po wykonaniu zadań, jeśli uczestnik widział obie wersje. Poproś o powód i powiąż go z konkretnym momentem. „Bardziej lubię B, bo nie widzę tylu szczegółów” jest interesującą opinią. Jeżeli ta sama osoba w B nie znalazła potrzebnego warunku, trzeba zachować obie informacje. Projekt nie musi wybierać między estetyką a poprawnym znaczeniem na podstawie jednego głosu. Jeśli zbierasz także ankietę o trudności i satysfakcji po zadaniu, pokaż jej wynik osobno od faktycznego wykonania.

Utrzymuj także zapis udanych dróg. Wariant A może dobrze wyjaśniać różnicę pakietów, a B wygodniej prowadzić do formularza. Takie wyniki mogą wskazać sensowną syntezę. Powinna ona wynikać z funkcji elementów, nie z obowiązku zadowolenia wszystkich osób z zespołu.

Przy rozmowie o projekcie Aeneia Design można zacząć od jednej nierozstrzygniętej decyzji i materiału do porównania. Im precyzyjniejsze pytanie, tym łatwiej ustalić potrzebny zakres prototypów i próby.

Wybierz dalszą decyzję, nawet jeśli żaden wariant nie wygrywa

Ustal przed próbą, jak postąpisz przy sprzecznych kryteriach. Jeżeli wersja jest szybsza, ale prowadzi do błędnego wyboru zakresu, sama oszczędność czasu nie rozstrzyga na jej korzyść. Dla tego zadania trafne rozumienie może być warunkiem podstawowym, a szybkość dalszym kryterium. W innym zadaniu priorytet może wyglądać inaczej. Zapisanie tej kolejności chroni przed dopasowaniem ocen do wyniku, który najbardziej podoba się zespołowi.

Po sesjach opracuj materiał według zadań i kryteriów, a nie według kolejności wystąpień projektantów. Pokaż problem, jego podstawę i konsekwencję dla odbiorcy. Jeżeli w obu wersjach pojawia się to samo nieporozumienie, poprawa może dotyczyć treści wspólnej, a nie układu kart.

Rozdziel trzy możliwe rezultaty: jedna wersja lepiej rozwiązuje określony problem, obie potrzebują poprawy albo materiał nie pozwala rozstrzygnąć. Trzeci wynik nie jest porażką badania. Może ujawnić źle dobrane zadanie, za duże różnice między warunkami lub brak odpowiedniej informacji w prototypie.

Przejrzyj wyniki także według kolejności prezentacji. Jeżeli uczestnicy radzili sobie lepiej głównie z drugim oglądanym wariantem, odnotuj możliwy wpływ wcześniejszego poznania oferty. Nie odejmuj go umownie od czasu ani nie poprawiaj ocen według wyczucia. Materiał może wymagać innego rozdzielenia warunków w kolejnej próbie. Taka obserwacja jest użyteczna również wtedy, gdy na tej podstawie odkładasz wybór układu.

Nie składaj zwycięskiego projektu z każdego elementu ocenionego osobno jako lepszy. Połączenie może zmienić hierarchię i stworzyć nową przeszkodę. Jeżeli przenosisz wyjaśnienie z A do drogi B, przygotuj całość i sprawdź ją ponownie. Przycisk nie działa w próżni, nawet jeśli na planszy ma wystarczająco dużo wolnego miejsca.

W rejestrze decyzji projektowych zachowaj pytanie, wersje, kolejność i powód wyboru. Dopisz także, czego próba nie obejmowała. Za miesiąc łatwiej będzie odróżnić uzasadnioną zasadę od decyzji obowiązującej tylko w jednym sprawdzonym zakresie.

Krótki test pięciu sekund może uzupełnić pracę o pierwszą orientację, lecz nie zastąpi wykonania zadania. Podobnie kliknięcie w prototypie nie dowodzi sprawności późniejszego wdrożenia. Każda próba ma własne pytanie i własny rodzaj wyniku.

Po wyborze kierunku przygotuj kolejną wersję z poprawkami wynikającymi z obserwacji. Nie trzeba obiecywać ostatecznego rozstrzygnięcia wszystkich gustów. Wystarczy móc wyjaśnić, dlaczego ten układ lepiej wspiera daną decyzję klienta i co jeszcze trzeba sprawdzić. Wtedy projekt C może powstać z uzasadnionej syntezy, a nie z dyplomatycznego podziału nagłówka między uczestników spotkania.