Za pierwszym razem z pomocą, za tydzień samodzielnie. Jak zbadać uczenie się interfejsu

„Po krótkim wyjaśnieniu wszyscy wykonali zadanie” brzmi jak dobra wiadomość z testu. W narzędziu otwieranym raz na miesiąc brakuje jednak drugiej połowy zdania: co stało się przy następnym użyciu? Prowadzący nie przyjedzie wtedy z kawą i przypomnieniem, że właściwa opcja schowała się pod trzema kropkami. Użytkownik zostanie z ekranem, własnymi notatkami i pracą do wykonania.

Badanie uczenia się interfejsu wymaga rozłożenia próby w czasie. Samo sprawniejsze powtórzenie czynności pięć minut później nie odpowiada na pytanie o powrót po przerwie. Nie musimy jednak budować laboratorium pamięci. Potrzebujemy porównywalnych zadań, jawnych zasad pomocy i informacji o tym, co działo się między spotkaniami.

Rozważmy hipotetyczny panel do publikowania instrukcji montażowych. Redaktorka raz na kilka tygodni dodaje zdjęcie kroku, przesuwa ostrzeżenie i udostępnia nową wersję instrukcji. Przykład i proponowany przebieg poniżej są fikcyjne. Nie opisują przeprowadzonego badania ani wyników klientów Aeneia.

Co ma przetrwać do następnej wizyty

W autorskiej taksonomii Grossmana, Fitzmaurice’a i Attara rozróżniono początkowe wykonanie oraz zmianę wykonania w czasie. Autorzy uwzględniają też doświadczenie użytkownika. To przydatne rozróżnienie celu: udany pierwszy kontakt i sprawny powrót po przerwie wymagają osobnych obserwacji.

Dla naszego panelu wybieramy konkret: osoba potrafi przygotować i opublikować poprawioną instrukcję bez podpowiedzi człowieka. Nie oczekujemy, że wyrecytuje nazwy przycisków. Może czytać etykiety, korzystać z podglądu i otworzyć zwykłą pomoc dostępną w produkcie. Jeżeli właśnie tak powinna pracować, szukanie wskazówki na ekranie nie jest automatycznie porażką pamięci.

Rozdziel natomiast wskazówkę produktu od pomocy prowadzącego. Tekst „Zmiany są zapisane w szkicu” jest częścią interfejsu. Zdanie badacza „Teraz proszę wybrać publikowanie” staje się dodatkowym szkoleniem. Jeśli obie sytuacje zapiszemy jako samodzielny sukces, nie rozpoznamy, co użytkownik rzeczywiście umiał odtworzyć.

Wcześniejsze przejście poznawcze pierwszego użycia pomaga przewidzieć, czy kolejne kroki będą zrozumiałe dla nowicjusza. W badaniu powrotu interesuje nas osoba, która już czegoś doświadczyła. Jej zawahanie nie musi oznaczać tej samej przeszkody co przy pierwszej wizycie. Może pamiętać cel, ale szukać funkcji tam, gdzie zobaczyła ją poprzednio.

Ustal, co konkretnie powinno pozostać stabilne między sesjami: układ narzędzia, role konta, podstawowe nazwy i rodzaj czynności. Jeśli po drodze zmienisz nawigację, kolejne spotkanie będzie także próbą nowego projektu. Takie badanie może być potrzebne, lecz nie opisuj wyniku jako czystego utrzymania wcześniejszej umiejętności.

Wybór odstępu powinien wynikać z rytmu użycia i pytania. Tydzień może być rozsądnym etapem pilotażowym, lecz nie zastąpi miesięcznej przerwy, jeśli to ona jest typowa. Nie należy też obiecywać, że tygodniowa próba przewidzi powrót po roku. Zapisz dokładne daty i rzeczywisty odstęp, zamiast wrzucać wszystkie powroty do szuflady „później”.

Badanie Iwona i Miłosza dotyczące edytora Gutenberg w Drupal obejmowało trzy sesje oddzielone tygodniem. Autorzy resetowali środowisko i zmieniali tematykę strony między sesjami. To przykład przygotowania powtarzalnych czynności przy innej treści, a nie dowód, że każdy interfejs trzeba badać dokładnie co siedem dni.

W naszym przykładzie pierwsza instrukcja może dotyczyć montażu półki, a druga składania stojaka. W obu trzeba zastąpić zdjęcie, przesunąć ostrzeżenie przed odpowiedni krok i opublikować wersję. Zmiana nazwy produktu nie wystarczy, jeśli druga instrukcja ma dwa razy więcej zdjęć lub wymaga dodatkowych uprawnień. Porównywalność dotyczy trudności czynności, nie dekoracji.

W pilotażu sprawdź, czy jeden zestaw materiałów nie ułatwia zadania przez przypadek. Jeśli ostrzeżenie na pierwszej stronie jest oczywiste, a na drugiej trzeba dopiero ustalić jego sens, mierzysz także różnicę treści. Przy większym planie można zamieniać kolejność zestawów między uczestnikami. Nadal trzeba opisać zasady przydziału: późniejsza wizyta nie powinna zawsze otrzymywać łatwiejszego wariantu.

Przygotuj prawidłowy stan końcowy osobno dla każdej wersji zadania. Ostrzeżenie musi znaleźć się przed wskazanym krokiem, nowe zdjęcie zastąpić stare, a czytelnik otrzymać właściwą opublikowaną wersję. Sam komunikat „Gotowe” nie rozstrzyga poprawności. Uczestnik może sprawnie powtórzyć błędną sekwencję i być z niej coraz bardziej zadowolony.

Zadania wykonuj w środowisku z fikcyjną treścią, w którym publikacja nie udostępni błędnej instrukcji prawdziwym odbiorcom. Zachowaj jednak rzeczywiste rozróżnienie szkicu i opublikowanego widoku. Prototyp, który po każdym kliknięciu pokazuje ten sam sukces, nie pozwoli ocenić, czy osoba rozpoznaje właściwy rezultat. Przed sesją sprawdź obie wersje zadania także od strony osoby czytającej instrukcję.

Ta sama osoba, inne warunki pomocy

Pierwsza sesja powinna pokazać zarówno samodzielny start, jak i to, czego uczestnik został nauczony. Przygotuj zasady reakcji na zatrzymanie. Możesz najpierw zapytać o aktualny cel, potem zaoferować pomoc, a dopiero na końcu wskazać konkretny element. Zapisuj każdą ingerencję i jej moment. Nie odtwarzaj jej później z pamięci prowadzącego.

Określ również, na czym kończy się pierwsze spotkanie. Jeżeli plan przewiduje nauczenie się publikowania, po pokazie poproś o samodzielne wykonanie krótkiej czynności tego rodzaju. Zapisz, czy osoba osiągnęła przyjęty poziom przed przerwą. Bez tego późniejsze niepowodzenie może oznaczać zarówno zapomnienie drogi, jak i to, że uczestnik nigdy wcześniej jej nie opanował.

Jeśli jedna osoba zobaczyła pełny pokaz publikacji, a druga znalazła wszystko samodzielnie, mają różne doświadczenie wejściowe do drugiej sesji. Zachowaj obie drogi w materiale i uwzględnij różnicę przy interpretacji. Zestawienie „pierwsza próba — druga próba” bez informacji o szkoleniu byłoby zbyt ubogie.

Przy powrocie daj cel i nowe materiały, ale nie przypominaj poprzedniej drogi. Inaczej sam początek sesji stanie się kolejną lekcją. Osoba może zadać pytanie o obsługę. Prowadzący powinien postąpić według wcześniej przyjętej reguły, a nie pomagać bardziej wtedy, gdy akurat zależy mu na płynnym nagraniu.

Sformułowanie celu także może podpowiadać drogę. „Opublikuj nową wersję przyciskiem Udostępnij” odtwarza fragment szkolenia. „Spraw, aby odbiorca zobaczył nowe zdjęcie i ostrzeżenie przed montażem” opisuje wynik. Używaj porównywalnego sposobu formułowania zadań we wszystkich sesjach. Inaczej poprawa może wynikać z bardziej pomocnej instrukcji badacza, a nie z doświadczenia uczestnika.

W badaniu uczenia i zapamiętywania gestów Ali, Morris i Wobbrock sprawdzali także odtwarzanie po tygodniu bez ćwiczenia. Badali określone zestawy gestów, nie formularze internetowe. Dla projektu naszej próby przydatne jest rozdzielenie nauki od późniejszego odtworzenia; nie przenosimy ich wyników liczbowych na panel instrukcji.

Zdecyduj także, co wolno robić między spotkaniami. Jeśli pytasz o pamięć bez dalszego treningu, kolejne ćwiczenia zmienią warunki. Jeśli pytasz o rzeczywiste wdrożenie, normalnej pracy nie należy sztucznie zabraniać. Wtedy zbierz informację, ile razy osoba korzystała z narzędzia, czy ktoś jej pomagał i czy zmieniła się wersja aplikacji.

Badanie dzienniczkowe może pomóc zebrać zdarzenia pomiędzy wizytami, ale nie zastąpi obserwacji ponownego zadania. Wystarczy nieraz krótka notatka o użyciu i źródle pomocy. Nie każ uczestnikowi codziennie opisywać narzędzia, do którego przez cały tydzień nie miał powodu zajrzeć.

Pamiętaj o pomocy współpracownika. Przy pracy zespołowej pytanie „czy wykonała pani samodzielnie?” może pominąć wcześniejszą rozmowę z kolegą. To może być naturalny sposób pracy, który warto badać w zadaniu wykonywanym w parze. Nie przypisuj jednak umiejętności całego duetu wyłącznie pamięci jednej osoby.

W zapisie każdej próby połącz rezultat, pomoc i przebieg. Odnotuj poprawność opublikowanej instrukcji, miejsce zatrzymania, pytania i użycie dostępnej pomocy. Czas licz od przekazania celu do sprawdzonego zakończenia, zgodnie z przyjętym planem. Jeżeli oczekiwanie na system mierzysz osobno, rób to w każdej sesji. Szybsze zakończenie po podpowiedzi badacza nie jest tym samym co szybsze samodzielne wykonanie.

Gdy uczestnik utknie, możesz zamknąć część samodzielną i przejść do osobnej próby z pomocą. Odnotuj tę granicę, zamiast usuwać wcześniejsze minuty. Druga część odpowie, czy dostępna wskazówka pozwala wrócić do pracy. Pierwsza nadal pokazuje, że w określonych warunkach osoba nie doszła do końca samodzielnie. Obie informacje mogą prowadzić do różnych poprawek ekranu.

Osobno oznacz brak możliwości wykonania: wygasłe hasło, niedziałający przycisk w prototypie lub brak właściwych danych. Nie zamieniaj usterki środowiska w błąd uczestnika. Jeżeli naprawa wymaga rozpoczęcia od nowa, zachowaj oba przebiegi i wyjaśnij, dlaczego pierwszy nie nadaje się do bezpośredniego porównania.

Wcześniejszy test pierwszego kliknięcia może ujawnić, gdzie osoba szuka wejścia. Powrót po przerwie idzie dalej: sprawdza także rozpoznanie skutku publikacji. Użytkownik, który od razu trafił do edytora, wciąż może pozostawić zmianę tylko w szkicu.

Decyzja projektowa potrzebuje całego przebiegu

Wyobraźmy sobie dwa możliwe zapisy, nadal wyłącznie hipotetyczne. W pierwszym osoba wraca bez pomocy do edytora, ale publikuje poprzednią wersję. W drugim długo szuka opcji publikacji, korzysta z pomocy na ekranie i udostępnia właściwą instrukcję. Jedna średnia czasu ukryłaby różnicę między błędnym skutkiem a wolniejszym, poprawnym wykonaniem.

Do pierwszego przypadku pasuje praca nad rozróżnieniem wersji i potwierdzeniem tego, co właśnie udostępniono. Do drugiego — nad widocznością przejścia ze szkicu do publikacji. Kolejna animowana wycieczka po całej aplikacji mogłaby ominąć oba problemy. W Aeneia Design taki materiał może zasilić projekt konkretnych ekranów i interakcji, zamiast ogólnego polecenia „uprościć obsługę”.

Zachowaj wyniki osób, które nie wróciły na drugą sesję, jako osobną informację o przebiegu badania. Nie dopisuj im niepowodzenia zadania, którego nie podjęły. Nie opisuj też samych powracających jako wszystkich zaproszonych. Przy małej próbie warto pokazać indywidualne drogi i ograniczenia, zamiast nadawać średniej pozór precyzyjnej prognozy dla całej firmy.

Porównuj przede wszystkim kolejne wykonania tej samej osoby. Uczestnik, który nie wrócił, nie może zostać zastąpiony nowym ochotnikiem jako jego „druga sesja”. Jeżeli w drugiej turze pojawia się ktoś nowy, jego pierwsza próba jest osobnym materiałem. W raporcie podaj, ile osób wykonało oba zadania, a ile tylko jedno; przy każdym porównaniu musi być jasne, czy dotyczy tego samego zestawu uczestników.

Po zadaniu można zebrać ocenę trudności i satysfakcji. Niech będzie komentarzem do obserwacji. „Tym razem było łatwo” może współistnieć z nieopublikowanym ostrzeżeniem. Można wtedy zapytać, po czym osoba poznała, że instrukcja jest już dostępna dla czytelnika. Zachowaj jej ocenę, nawet gdy stan publikacji pokazuje błąd.

Na podstawie próby wybierz, jaka informacja ma być dostępna także za miesiąc. Być może potrzebna jest stała nazwa czynności, podgląd publikowanej wersji lub krótka wskazówka przy rzadkiej operacji. Ekran ma wspierać powrót do pracy. Nie musi zmuszać użytkownika do udowadniania, że nadal pamięta szkolenie.