Ten sam test AI, dwie oceny. Co zmienia sposób agregacji

Dwa raporty opisują ten sam test. Pierwszy stawia na wariant A, drugi na B. Żaden nie zgubił wiersza ani nie pomylił modelu. Różni je sposób złożenia wyników w jedną liczbę. W takim sporze kalkulator nie musi być uszkodzony. Może po prostu odpowiadać na inne pytanie niż osoba podejmująca decyzję.

Agregacja oznacza tu podsumowanie wielu ocen według wybranej reguły. Mikro sumuje rozstrzygnięcia w całym zbiorze, makro daje każdej klasie równy udział w podsumowaniu, a średnia ważona uwzględnia liczebność klas. Zanim wybierzesz jeden wskaźnik do raportu zarządu, sprawdź, co jego konstrukcja premiuje w waszym zadaniu.

Rozważmy fikcyjny test asystenta przypisującego pytania do trzech kategorii: karta produktu, warunki dostawy i dostęp do materiałów. Każde pytanie ma dokładnie jedną prawidłową klasę, a każdy wariant zwraca jedną etykietę. Jest sto tych samych pytań: osiemdziesiąt o kartę, dziesięć o dostawę i dziesięć o dostęp. Nie ma odmów ani przypadków pominiętych. To wyłącznie przykład rachunkowy, bez pomiaru jakiegokolwiek produktu.

Co pozostaje stałe w porównaniu?

Zachowaj stałe wejścia, etykiety odniesienia i predykcje obu wariantów, czyli przypisane przez nie kategorie. Nie zmieniamy modelu między sposobami liczenia i nie dobieramy wygodniejszej próbki. Będziemy inaczej podsumowywać te same odpowiedzi. Dzięki temu różnicę w rekomendacji da się przypisać metodzie agregacji, zamiast domyślać się, co wydarzyło się podczas kolejnego uruchomienia.

Wariant A prawidłowo rozpoznaje wszystkie osiemdziesiąt pytań o kartę produktu. Z dziesięciu pytań o dostawę rozpoznaje cztery, a sześć kieruje do karty. Tak samo postępuje z dostępem: cztery poprawne, sześć przypisanych do karty. Otrzymujemy łącznie osiemdziesiąt osiem prawidłowych odpowiedzi. Kategoria karty przyciąga dwanaście cudzych pytań.

Wariant B rozpoznaje sześćdziesiąt osiem pytań o kartę, sześć kieruje do dostawy i sześć do dostępu. Z każdej mniejszej klasy rozpoznaje dziewięć z dziesięciu, a jedno pytanie błędnie odsyła do karty. Łącznie daje osiemdziesiąt sześć poprawnych odpowiedzi. Oba warianty popełniają błędy w tych samych trzech kategoriach, ale inaczej je rozkładają.

Podstawy oceny klasyfikacji wiadomości obejmują znaczenie etykiet i rozróżnienie pomyłek. Tutaj definicje są już ustalone. Interesuje nas dalsza decyzja: co powinno stać się jedną liczbą porównującą dwa gotowe zestawy predykcji i czego ta liczba nie pokaże.

Przed liczeniem upewnij się, że nazwa klasy nadal oznacza tę samą czynność. Jeśli między eksportami połączono dostawę z dostępem, nie wystarczy dopasować nazw kolumn. Zmieniło się zadanie. Nie porównuj starego podziału z nowym tak, jakby różnił je wyłącznie sposób liczenia średniej.

Sprawdź listę pytań włączonych do obu podsumowań. W tym przykładzie jest identyczna. Gdy jeden wariant nie zwróci etykiety, nie wolno po prostu wyrzucić tej pozycji tylko z jego raportu i nadal mówić o tym samym teście. Wcześniej ustal regułę oceny braku odpowiedzi oraz pokaż liczbę takich przypadków. Raport może zawierać ocenę samych udzielonych odpowiedzi, ale powinien wtedy jawnie odróżniać ją od wyniku wszystkich skierowanych zadań.

Kiedy mikro daje przewagę większości?

Według dokumentacji precision_recall_fscore_support mikro liczy metryki po zsumowaniu prawidłowych trafień oraz dwóch rodzajów błędów w całym zakresie. Makro uśrednia wynik poszczególnych klas bez wag, a wariant weighted waży go liczebnością prawdziwych przykładów danej klasy.

W naszym zadaniu każde pytanie dostaje jedną z trzech etykiet, więc każda błędna predykcja jednocześnie odbiera trafienie klasie prawdziwej i dopisuje pomyłkę klasie wskazanej. Dla A suma trafień wynosi 88, fałszywych przypisań 12 i przeoczeń 12. Mikro F1 to zatem 176 podzielone przez 200, czyli 0,88. Dla B będzie to 172 przez 200, czyli 0,86.

F1 łączy precyzję i czułość w jedną miarę. W tym obliczeniu używamy równoważnego zapisu: dwa razy trafienia podzielone przez dwa razy trafienia plus fałszywe przypisania i przeoczenia. Podajemy formułę, aby można było odtworzyć rachunek. Nie ustalamy przez nią kosztu pomyłki ani dopuszczalnego poziomu ryzyka w konkretnej firmie.

Dla tak zdefiniowanego pełnego zadania mikro F1 jest równe accuracy, czyli udziałowi poprawnych odpowiedzi. Opis classification_report wyjaśnia, dlaczego mikro nie jest osobno pokazywane dla pełnego zwykłego zadania wieloklasowego: powiela wtedy tę samą informację. Inaczej może być przy ograniczeniu raportu do części klas albo przy wielu etykietach jednocześnie.

Przewaga A wynosi więc dwie poprawne odpowiedzi na sto. To rzeczywista przewaga tego wskaźnika na tych danych. Nie znaczy, że A lepiej obsługuje wszystkie rodzaje pytań. Osiemdziesiąt częstych przypadków ma duży wpływ na sumę, a niepowodzenia dwóch małych kategorii zajmują w niej mniej miejsca.

Taki wynik może być istotny dla konkretnego celu, lecz wymaga nazwania tego celu. Jeżeli pytasz o liczbę trafnych przypisań w tym strumieniu spraw, mikro odpowiada wprost. Jeżeli chcesz ocenić wszystkie trzy obszary obsługi jako równoprawne funkcje, potrzebujesz zobaczyć także podsumowanie według klas i same klasy.

Co zmienia równa waga klas?

Policzmy F1 dla każdej kategorii. W A karta ma 80 trafień, 12 fałszywych przypisań i zero przeoczeń. Jej F1 wynosi 160/172, około 0,9302. Dostawa ma cztery trafienia, zero fałszywych przypisań i sześć przeoczeń: 8/14, około 0,5714. Dostęp daje taki sam wynik. Makro F1 to średnia tych trzech liczb: około 0,6910.

Dla B karta ma 68 trafień, dwa fałszywe przypisania i dwanaście przeoczeń, zatem 136/150, około 0,9067. Dostawa ma dziewięć trafień, sześć fałszywych przypisań i jedno przeoczenie: 18/25, czyli 0,72. Dostęp ponownie daje taki sam wynik. Makro F1 wynosi około 0,7822. Tą metodą wygrywa B.

Nie zmieniła się ani jedna predykcja. Zmieniła się odpowiedź na pytanie o podsumowanie. Równy udział każdej klasy sprawił, że poprawa obu małych kategorii ma większe znaczenie. Nie wolno przedstawiać tej różnicy jako dodatkowego przyrostu jakości uzyskanego bez zmiany modelu. To inny opis już posiadanych wyników.

Makro F1 nie oznacza, że losowe pytanie zostanie obsłużone prawidłowo z takim prawdopodobieństwem. Jest średnią miar klas. Nie jest też F1 policzonym dopiero ze średniej precyzji i średniej czułości. Kolejność działań ma znaczenie: najpierw liczysz F1 każdej klasy, potem uśredniasz uzyskane wartości.

Równa waga nie rozwiązuje automatycznie kwestii ważności. Klasa rzadko występująca może mieć poważne skutki pomyłki, ale może też być mało istotnym dodatkiem. Decyzja o wadze biznesowej wymaga osobnego uzasadnienia. Sam wybór nazwy macro nie wnosi wiedzy o konsekwencjach błędnego przypisania konkretnej sprawy.

Przy małej klasie obejrzyj również surowe liczby. Jeden inaczej oceniony przykład w grupie dziesięciu może wyraźnie zmienić wynik. W kryteriach pilotażu AI zapisz, jaki materiał wystarcza do danej decyzji i czego jeszcze brakuje. Nasz prosty rachunek nie ustanawia minimalnej liczebności dla dowolnego badania.

Czy średnia ważona rozstrzygnie spór?

Użyjmy teraz wag 80, 10 i 10, czyli liczebności prawdziwych klas. Dla A otrzymujemy około 0,8585. Dla B około 0,8693. Średnia ważona F1 również wskazuje B, choć większość pytań dotyczy karty produktu. Nie jest po prostu kolejną nazwą accuracy. Uśrednia gotowe F1 klas, a nie surową liczbę trafień.

Rachunek można odtworzyć: dla A mnożymy 0,9302326 przez 80 oraz 0,5714286 dwukrotnie przez 10, dodajemy i dzielimy przez 100. Dla B podstawiamy 0,9066667 oraz dwie wartości 0,72. W obliczeniu zachowaliśmy pełne wartości, a dopiero prezentację zaokrągliliśmy. Liczenie ponownie z zaokrąglonych liczb może dać nieco inny ostatni znak.

Google omawia niezrównoważone zbiory klas, rozróżniając klasy częstsze i rzadsze oraz ostrzegając przed oceną samej accuracy przy silnej nierównowadze. To objaśnienie metodologii, nie dowód, że proporcja z naszego przykładu opisuje jakąkolwiek firmę.

W raporcie nazwij pochodzenie wag. Liczebność w specjalnie dobranej próbce nie musi odpowiadać przyszłemu napływowi pytań. Jeśli zespół celowo zebrał więcej trudnych przypadków, średnia ważona odzwierciedla ten zestaw. Nie zamieniaj jej bez dodatkowych założeń w prognozę całej obsługi.

Zmiana proporcji w czasie jest odrębnym problemem, omówionym przy dryfie danych i nowych pytaniach. W dzisiejszym porównaniu skład zbioru pozostaje stały. Przyszłą zmianę napływu możesz później sprawdzić jako osobny scenariusz, zachowując rozróżnienie między pomiarem a założoną symulacją.

Jak zapisać rekomendację bez konkursu średnich?

Do decyzji dołącz wszystkie trzy podsumowania oraz liczby dla klas. W naszym przykładzie A ma mikro F1 równe 0,88, makro około 0,6910 i ważone około 0,8585. B ma odpowiednio 0,86, około 0,7822 oraz około 0,8693. Osoba odbierająca powinna widzieć, dlaczego jedno porównanie premiuje A, a dwa pozostałe B. Nie wybieramy zwycięzcy głosowaniem metryk: dwa wskazania nie dają automatycznie lepszej podstawy decyzji niż jedno.

Następnie wskaż cel i ograniczenia. Można wybrać B ze względu na bardziej wyrównane działanie trzech funkcji, nadal jawnie przyjmując większą liczbę pomyłek przy kartach. Można też pozostawić A wyłącznie dla kart, a pozostałe sprawy kierować inaczej. Taki wybór wymaga jednak osobnej oceny drogi kierowania, bo w tym teście A mylił właśnie rodzaj sprawy.

Oceny kciukiem od użytkowników nie zastąpią tych etykiet odniesienia. Opisują reakcje osób, które zdecydowały się je zostawić. Podobnie przy niezależnej ocenie człowieka przed podpowiedzią AI trzeba najpierw ustalić warunki pomiaru. Każde z tych źródeł informacji ma własną jednostkę i ograniczenia.

W rozmowie z Aeneia Audit przydadzą się niepoufne predykcje, etykiety odniesienia i opis decyzji, którą ma wspierać raport. Zachowaj wersję zbioru oraz zasady pomijania rekordów. Wtedy można sprawdzić, czy średnia odpowiada pytaniu firmy, zamiast wybierać tę, przy której ulubiony model wygląda najkorzystniej.

Końcowe zdanie raportu powinno więc wskazywać wybrany wariant, kryterium, świadomie przyjęte słabości i brakujące dowody. Dobrą próbą odbioru raportu jest niezależne odtworzenie jednej klasy i jednego podsumowania przez drugą osobę. Powinna dostać liczby wejściowe, regułę wag oraz opis zaokrąglenia. Jeśli jej wynik się różni, ustalcie etap rozbieżności przed zmianą rekomendacji. Przyczyna może leżeć w innym zakresie klas, pominiętej pozycji albo odmiennej kolejności liczenia. Własne zaokrąglenie ekranu nie powinno po cichu stawać się nową metodą porównania.

Sama lista trzech średnich pozostawiłaby odbiorcę z tym samym zadaniem, od którego zaczęliśmy. Liczby mają ułatwić decyzję, a nie przenieść ją po cichu na sposób działania arkusza.