AI podsumowuje test A/B: więcej kliknięć to jeszcze nie odpowiedź na pytanie

Wariant A przyniósł 50 wysłanych formularzy, wariant B — 60. AI napisała: „B zwiększył skuteczność o 20%, rekomendujemy wdrożenie”. Zdanie mieści się w nagłówku slajdu i wygląda jak gotowa decyzja. Brakuje tylko informacji, że A miał 1000 wizyt, a B 1500. Mianownik nie zmieścił się na podium.

To własny, hipotetyczny przykład. Przyjmijmy, że każdy z formularzy wysłano podczas osobnej wizyty. W A 5% wizyt zakończyło się wysłaniem, w B — 4%. B ma o 20% więcej zgłoszeń, ale odsetek na wizytę jest niższy o jeden punkt procentowy. Już sama arytmetyka zmienia treść nagłówka. Nadal nie wiemy jednak, czy wizyty są właściwą jednostką tego eksperymentu.

Odbiór raportu A/B przygotowanego przez AI zaczyna się od odtworzenia porównania: co zmieniano, komu przypisano wariant, co liczono i kiedy zakończono próbę. Rozdziel zgodność raportu z danymi od formalnego rozstrzygnięcia eksperymentu. Analiza statystyczna wymaga odpowiedniego projektu oraz kompetencji; poniższe liczby nie są dowodem skuteczności rzeczywistego formularza.

Odszukaj pytanie sprzed uruchomienia testu

Załóżmy, że firma porównuje dwa sposoby przedstawienia pola „opis projektu”. W A klient widzi pusty obszar, w B krótkie pytania pomocnicze. Celem ma być otrzymanie zgłoszenia zawierającego informacje potrzebne do przygotowania rozmowy. Sama liczba kliknięć przycisku wysłania nie potwierdza jeszcze osiągnięcia tego celu.

Poproś o zapis hipotezy i definicji wyniku sprzed eksperymentu. Jeśli zespół wybrał liczbę użytecznych zgłoszeń, model nie powinien zastępować jej liczbą otwarć formularza tylko dlatego, że ten wykres rośnie. W karcie hipotezy eksperymentu biznesowego właśnie po to określa się pytanie i warunki oceny przed zebraniem danych.

Sprawdź, czy raport dotyczy tej samej wersji interfejsu, którą zaplanowano. Jeśli w trakcie próby zmieniono obowiązkowe pole lub działanie wysyłki, materiał zawiera więcej niż jedno porównanie. Zapisz zakresy czasu i wersje. Połączenie ich bez wyjaśnienia pod hasłem „wariant B” może ukryć różnicę między pierwszą i poprawioną wersją.

Nazwij także, jakie zdarzenie uznano za sukces. Kliknięcie przycisku, poprawne przyjęcie formularza przez serwer i uznanie zgłoszenia za użyteczne to trzy kolejne zdarzenia. Mogą mieć różne liczniki. Osoba czytająca raport powinna wiedzieć, które z nich stoi za słowem „konwersja”.

Sprawdź moment rejestrowania zdarzenia. W fikcyjnym formularzu naciśnięcie przycisku może wywołać błąd walidacji i skłonić do ponowienia. Dwa kliknięcia nie oznaczają dwóch przyjętych zgłoszeń. Z kolei udane przyjęcie może nie pokazać potwierdzenia na ekranie. Do odbioru licznika dobierz kilka takich przypadków i porównaj zapis z rzeczywistym skutkiem. Sam opis nazwy zdarzenia w panelu nie dowodzi, że zapisuje się ono w odpowiednim momencie.

Przy jakości zgłoszeń uzgodnij regułę klasyfikacji. W fikcyjnym przykładzie za użyteczne uznajmy zgłoszenie zawierające typ projektu i orientacyjny zakres. Oceniający powinien stosować te same warunki w obu wariantach. Nie zmieniaj definicji dopiero po zauważeniu, że B częściej zbiera długie, lecz nieprzydatne opisy.

Odszukaj regułę zakończenia próby oraz faktyczny moment jej zatrzymania. Czy test miał trwać do wskazanej daty, osiągnięcia uzgodnionego zakresu danych czy spełnienia warunku określonego przez przyjętą metodę? Jeśli skończono go po pierwszym korzystnym poranku, raport powinien ujawnić tę zmianę. Nie opisuj jej jak wykonania wcześniejszego planu.

Zapis planu może zawierać także wynik, którego nie chcecie pogorszyć: liczbę błędów wysyłki, czas obsługi zgłoszenia lub odsetek przypadków wymagających dopytania. Weryfikuj je według przyjętych definicji. Więcej formularzy nie musi odpowiadać lepszej realizacji zadania, jeśli każdy trafia potem do ręcznego wyjaśnienia.

Co oznacza liczba pod kreską

Podręcznik NIST przy porównaniu proporcji opisuje liczby zdarzeń wraz z licznością każdej próby. Ten podstawowy związek jest widoczny w rozdziale o porównywaniu proporcji. Przed odbiorem dowolnego procentu znajdź więc jego licznik, mianownik i jednostkę. Sama liczba formularzy nie definiuje odsetka.

W naszym przykładzie 50 podzielone przez 1000 daje 5%, a 60 przez 1500 daje 4%. To porównanie zdarzeń na wizytę. Różnica wynosi minus jeden punkt procentowy. Względem 5% jest to spadek o 20%. Nie należy podpisywać go „spadek o 1%”, ponieważ taki zapis opisuje inną zmianę.

Teraz dołóżmy informację, że każdy wariant odwiedziło po 800 różnych osób, lecz w B częściej wracano. Jeśli te 50 i 60 formularzy wysłało odpowiednio 50 i 60 różnych osób, otrzymujemy odpowiednio 6,25% i 7,5% osób. Odsetek na osobę jest w B wyższy, choć odsetek na wizytę był niższy. Nie ma tu sprzeczności matematycznej. Zmieniliśmy jednostkę i pytanie.

Wybór właściwego porównania musi wynikać z planu. Jeżeli wariant przypisywano osobie, sprawdź, jak rozpoznawano jej powrót i czy zachowywała wariant. Gdy jedna osoba mogła zobaczyć A i B, samo policzenie unikalnych identyfikatorów w każdej grupie nie rozstrzyga problemu. Raport powinien opisać tę sytuację i jej znaczenie dla analizy.

Odróżnij liczbę zdarzeń od liczby osób ze zdarzeniem. Jeden klient mógł wysłać formularz dwa razy, poprawiając treść po rozmowie. Dwa rekordy w bazie mogą być poprawnym zapisem procesu, ale nie oznaczają dwóch różnych klientów. Przy odbiorze poproś o definicję usuwania powtórzeń oraz o przykład obejmujący ponowne wysłanie.

Zapisz również, kto trafia do mianownika. „Wszystkie przypisane osoby”, „osoby, które zobaczyły formularz” i „osoby, które zaczęły go wypełniać” opisują różne zbiory. Wariant może wpływać na przejście między tymi etapami. Raport nie powinien nazywać trzech wyliczeń jednym odsetkiem skuteczności. Przy każdym pokaż nazwę zbioru oraz warunek zaliczenia osoby, aby odbiorca umiał prześledzić drogę od przydziału do wyniku.

Ten sam porządek dotyczy ankiety po wykonaniu zadania. Odpowiedzi udziela tylko część osób, które wykonały próbę, a ocenę wygody można pomylić ze skutecznym zakończeniem. Ankieta po zadaniu o trudności i satysfakcji pomaga rozdzielić te miary. W raporcie nie przypisuj oceny zadowolenia wszystkim odwiedzającym, jeśli pochodzi od węższego zbioru respondentów.

Sprawdź zakres czasu po obu stronach ułamka. Formularz otwarty przed zakończeniem próby mógł zostać wysłany później. Licznik zgłoszeń z dodatkowego dnia i mianownik wizyt bez tego dnia nie opisują zgodnego okna. Regułę przypisania opóźnionego wyniku trzeba ustalić i stosować jednakowo, zamiast wybierać dogodniejszą datę dla każdego wariantu.

Do odtworzenia raportu zachowaj wersję zbioru i sposób jego przygotowania. Model może otrzymać już zagregowane liczby, bez informacji o powrotach, błędach lub wyłączeniach. Jeżeli dane nie pozwalają policzyć zaplanowanej miary, poprawna odpowiedź brzmi: brakuje podstawy do tego wyliczenia. Gładkie zdanie o trendzie nie uzupełni brakujących rekordów.

Przy przekazaniu danych do modelu zachowaj słownik kolumn. Pole nazwane „users” może w eksporcie oznaczać aktywne identyfikatory z danego dnia, a nie osoby w całej próbie. Suma dziennych wartości nie musi usuwać powrotów między dniami. Jeżeli znaczenia nie da się ustalić z dokumentacji pomiaru, poproś właściciela danych o wyjaśnienie. Nie pozwalaj, aby model wybierał definicję na podstawie samego nagłówka pliku.

Nierówny podział to pytanie do wyjaśnienia

Równe liczby osób w obu wariantach nie są warunkiem każdego eksperymentu. Plan mógł zakładać inny podział. Potrzebne jest porównanie podziału oczekiwanego z obserwowanym, we właściwej jednostce i według przyjętej metody. Naszych 1000 i 1500 wizyt nie należy automatycznie traktować jako dowodu nierównego przydziału osób.

Publikacja Microsoft Research opisuje Sample Ratio Mismatch, czyli rozbieżność między oczekiwanym a obserwowanym podziałem próby, jako możliwy sygnał problemów z jakością danych. Autorzy wskazują potrzebę wyjaśnienia przyczyny. To wąskie ustalenie z materiału o diagnozowaniu SRM, nie diagnoza naszego przykładu.

Przy odbiorze zapytaj, gdzie policzono przydzielone jednostki. Przed wyświetleniem formularza czy dopiero po jego załadowaniu? Jeśli B czasem się nie otwierał, zestaw zawierający wyłącznie udane załadowania może pomijać właśnie przypadki potrzebne do oceny działania. Nie usuwaj problematycznych rekordów bez opisania reguły oraz wpływu na porównanie.

Podobnie traktuj filtrowanie urządzeń, źródeł ruchu i dni. Model może pokazać korzystny wynik w jednym fragmencie zbioru. To inny wniosek niż wynik całego zaplanowanego testu. Jeśli dalsza analiza konkretnej grupy ma sens, oznacz ją jako odrębne pytanie i sprawdź podstawę takiego podziału. Nie dopisuj go wstecz do pierwotnej hipotezy.

Odbiór powinien pozostawić ślad wyłączeń. Zamiast „oczyszczono dane” zapisz, które rekordy pominięto i dlaczego. Osoba odpowiedzialna za analizę oceni, czy reguła odpowiada projektowi próby. AI może pomóc przygotować taki opis, ale źródłem informacji musi być rzeczywisty sposób przetworzenia danych.

Od poprawnego procentu do zdania o wyniku

Nawet poprawnie policzona różnica nie oznacza jeszcze, że wariant „na pewno wygrywa”. Raport powinien odwołać się do uzgodnionej metody analizy i pokazać niepewność w odpowiedniej formie. Jeżeli model otrzymał tylko dwie sumy i sam dopisał pewność wniosku, poproś o podstawę. Stanowczy ton modelu nie zastąpi wskazanej metody i wyniku analizy.

W roboczym raporcie można zachować trzy osobne zdania: co zaobserwowano w danych, co wynika z przyjętej analizy i jaką decyzję proponuje zespół. Dzięki temu poprawka mianownika nie wymaga ukrywania całej historii. Zmienia się wyliczenie i odpowiedni wniosek; rekomendację trzeba ponownie odnieść do celu. Zapis wersji pozwala później sprawdzić, czy decyzję podjęto na podstawie poprawionego materiału, czy pierwszego efektownego slajdu.

Oddziel obserwację od wyjaśnienia przyczyny. „W B odsetek osób wysyłających formularz wyniósł 7,5%” opisuje liczbę w fikcyjnym zbiorze. „Pytania pomocnicze zwiększyły zaufanie” jest już interpretacją mechanizmu. Nawet gdy eksperyment uzasadnia określony wniosek o zmianie wyniku, nie wyjaśnia automatycznie, co użytkownik pomyślał.

Do sprawdzenia rozumienia ekranu można dobrać osobne badanie. Test pięciu sekund odpowiada na inne pytanie niż losowe porównanie zachowania. Wynik jednego nie powinien zastępować drugiego. Jeśli raport miesza te metody, przepisz wnioski tak, aby czytelnik wiedział, który materiał wspiera dane zdanie.

Przejrzyj także prezentację różnicy. Przy odczytywaniu wykresu przez AI znaczenie mają osie, okres i brakujące punkty. Wykres z urwaną osią może wyolbrzymić małą różnicę wizualnie, a wykres sum narastających ukryć zmianę dziennego przebiegu. Prawidłowy procent w tekście nie naprawia mylącej grafiki obok.

Sprawdź, jaką decyzję proponuje raport. Wdrożenie B, dalsza próba i naprawa pomiaru to różne decyzje. Przy braku definicji osoby albo rozbieżnym oknie danych rozsądnym wynikiem odbioru może być uzupełnienie materiału. Nie trzeba ogłaszać zwycięzcy tylko dlatego, że prezentacja ma ostatni slajd z miejscem na puchar.

Jeżeli zespół zaczyna optymalizować wyłącznie liczbę zgłoszeń, sprawdź, czy nie zaniedbuje ich jakości i kosztu obsługi. Tekst o miarach pracy i niepożądanych zachowaniach pokazuje, dlaczego wskaźnik trzeba wiązać z celem zadania. Eksperyment ma wspierać decyzję o formularzu, a nie ułatwiać kolekcjonowanie dowolnych rekordów.

Przegląd wykorzystania AI i dowodów w raporcie można uzgodnić z Aeneia Audit. Do rozmowy przygotuj plan próby, definicje miar i zbiór, z którego powstał raport. W naszym przykładzie odzyskanie mianownika pozwoliło najpierw poprawić rachunek, a następnie postawić właściwe pytanie: czy oceniamy skuteczność wizyty, czy drogę osoby do wysłania zgłoszenia?