Model ten sam, pytania już inne: jak rozpoznać dryf danych AI

Wcześniej klient pytał o jeden wymiar. Teraz przysyła opis całego stoiska, trzy zdjęcia i pytanie, czy wszystko zmieści się w windzie. Według zespołu asystent firmy Rzeka nadal działa z tymi samymi ustawieniami, ale opiekunowie częściej poprawiają odpowiedzi. „Przecież niczego nie zmienialiśmy” brzmi uspokajająco tylko do chwili, gdy otworzy się nowe wiadomości.

Rzeka jest przykładem fikcyjnej firmy dostarczającej wyposażenie na wydarzenia. Do dotychczasowego formularza dołączył portal dla organizatorów. Nowy kanał przynosi inne zadania, dłuższe opisy i załączniki. Firma chce sprawdzić, czy właśnie ta zmiana wyjaśnia kłopoty. Powinna zacząć od porównania materiału oraz wyników, zamiast od razu wymieniać model lub przywracać stare ustawienia.

Dryf danych to zmiana rozkładu cech napływającego materiału, rozpatrywana względem określonego punktu odniesienia. W praktycznym przeglądzie trzeba nazwać obserwowane cechy: długość pytania, język, kanał, rodzaj zadania czy obecność załącznika. Sama etykieta „dryf” nie mówi jeszcze, czy odpowiedzi są gorsze ani dlaczego. Zmiana może być oczekiwanym skutkiem rozwoju usługi.

Z czym porównujesz dzisiejsze sprawy?

Wybierz okres odniesienia, który odpowiada pytaniu zespołu. Możesz porównać obecny portal z wcześniejszym sposobem obsługi albo sprawdzić zmianę w samym portalu po jego uruchomieniu. To dwa różne porównania. Zapisz daty, kanały i kryteria włączenia spraw, zanim obejrzysz wyniki. Nie wybieraj „dobrego tygodnia” wyłącznie dlatego, że wygodnie kontrastuje z ostatnią awarią.

W dokumentacji Google Cloud Model Monitoring rozdzielono porównanie danych produkcyjnych z uczącymi oraz obserwację zmiany danych produkcyjnych w czasie. Opisany monitoring dotyczy określonych cech i konfiguracji. Nie oznacza, że dowolny asystent sam rozpoznaje znaczenie wszystkich zmian w załącznikach. Dla firmowego przeglądu najpierw ustal dostępny punkt odniesienia.

Jeśli nie znasz danych, na których dostawca uczył bazowy model, nie przedstawiaj własnego archiwum pytań jako takiego zbioru. To materiał z waszego procesu, który może posłużyć do porównania okresów. W Rzece interesuje nas różnica między dawnymi prostymi pytaniami i sprawami z nowego kanału. Tę różnicę można opisać bez dostępu do historii treningu bazowego modelu.

Ustal jednostkę analizy. Jedna długa sprawa może zawierać kilkanaście wiadomości, a jedna wiadomość kilka pytań. Jeśli wcześniej liczono sprawy, a obecnie każde doprecyzowanie osobno, część zmiany powstanie w samym raporcie. Zapisz sposób łączenia wiadomości i traktowania ponowień. Dane z dwóch okresów muszą odpowiadać tej samej jednostce, zanim zacznie się porównywać ich proporcje.

Sprawdź kompletność materiału. Czy eksport z portalu zawiera pliki, czy tylko informację, że je dodano? Czy długi opis został zachowany w całości? Zmiana średniej długości może wynikać z nowego limitu pola albo błędu zapisu. Rozpoznawanie anomalii i braków danych pomaga oddzielić zmianę napływu od dziury w obserwacji.

Przed porównaniem uzgodnij też definicje. „Pytanie z załącznikiem” może oznaczać każdą wiadomość z logo w podpisie albo tylko sprawę wymagającą odczytania pliku. Uzgodnij regułę i zastosuj ją do obu okresów. Bez tego ten sam komunikat zostanie opisany inaczej, choć klient nie zmienił sposobu pisania.

Uwzględnij sezon i dni pracy. Tydzień przed wydarzeniem może przynosić pilne pytania o odbiór, a wcześniejszy miesiąc prośby o dobór wyposażenia. Porównanie nie musi ukrywać tej różnicy; powinno ją nazwać. Jeśli celem jest ocena portalu, zobacz również podobny etap przygotowań w poprzednim okresie. Inaczej wpływ nowego kanału pomiesza się ze zmianą zadań wynikającą z kalendarza.

Nazwij zmianę wejścia, zanim przypiszesz jej skutek

Wybierz kilka cech związanych z zadaniem asystenta. Dla Rzeki użyteczne będą rodzaj pytania, liczba kwestii w jednej sprawie, format załączników i potrzeba wyciągnięcia danych ze zdjęcia. Dodaj długość oraz język, jeśli mają wpływ na obsługę. Nie zbieraj wszystkich możliwych cech tylko dlatego, że da się je umieścić na wykresie.

W każdej grupie pokaż liczbę spraw, nie tylko odsetek. Zmiana z jednej nietypowej wiadomości na trzy wygląda dramatycznie po przeliczeniu procentowym, ale nadal opisuje mały materiał. Przy rzadkich przypadkach obejrzyj treść i sposób obsługi. Jeden poważny błąd może zasługiwać na reakcję nawet wtedy, gdy nie zmienia wyraźnie rozkładu całego zbioru.

Porównanie automatyczne może wskazać różnicę między obecnym rozkładem wartości cechy a rozkładem odniesienia. Próg alarmu wymaga jednak własnego uzasadnienia. Nie przenoś liczby z przykładu dokumentacji na firmowy zbiór i nie ustawiaj jej tak, aby po prostu zniknęły powiadomienia. Zapisz, jaką zmianę chcecie wychwycić i kto ma ją sprawdzić.

Zmiana wejścia i zmiana jakości powinny otrzymać osobne wyniki. Dokumentacja Azure Machine Learning odróżnia sygnały dryfu danych, zmian przewidywań, jakości danych oraz oceny działania modelu. Dla tej ostatniej wskazuje porównanie wyników z rzeczywistymi wartościami odniesienia. Sam inny rozkład wejścia nie zastępuje takiej oceny.

W Rzece więcej długich pytań może być dobrą wiadomością: organizatorzy zaczęli przesyłać kompletne opisy zamiast kilku urywków. Jeśli asystent prawidłowo z nich korzysta, nie trzeba naprawiać zmiany tylko dlatego, że wykres odbiega od starego. Z kolei podobna długość wiadomości nie wyklucza nowych trudności. Krótkie pytania o kompatybilność mogą wymagać innych źródeł niż dawne pytania o wymiary.

Dlatego obejrzyj także znaczenie zadań, a nie samą długość tekstu. W próbce można odróżnić pytania o jedną cechę, porównanie kilku produktów i ocenę wykonalności całego zestawu. Jeśli w tej klasyfikacji pomaga AI, sprawdź przypisania na wybranych sprawach. W przeciwnym razie błąd narzędzia opisującego wejście może zostać uznany za zmianę potrzeb klientów.

Przyjrzyj się połączeniom cech. Liczba długich opisów i liczba załączników mogą osobno pozostać podobne, ale dopiero teraz te dwa elementy występują razem. Dla asystenta oznacza to inne zadanie: powiązanie tekstowego wymagania z właściwym zdjęciem. Wybierz kilka takich kombinacji według obserwowanych błędów. Sam spokojny wykres jednej cechy nie zamyka oceny materiału.

Ten sam model nie oznacza identycznego przebiegu

Potwierdź, co rzeczywiście pozostało niezmienione. Nazwa modelu na ekranie to tylko część rozwiązania. Zapisz dostępną wersję, instrukcję, źródła wiedzy, sposób wyszukiwania, narzędzia i przygotowanie plików. W nowym kanale mogło zmienić się rozpoznawanie obrazu albo skracanie opisu, choć główny wybór modelu pozostał ten sam.

Nie zakładaj, że cały wzrost liczby poprawek pochodzi z dryfu. W Rzece portal mógł zacząć przesyłać wyłącznie pierwszą stronę PDF. Taki błąd daje inny kierunek naprawy niż prawidłowe przekazywanie nowych, trudniejszych spraw. Przygotuj jeden odtwarzalny przykład z brakującą informacją i sprawdź materiał na kolejnych etapach. Najpierw ustal, co model rzeczywiście zobaczył.

Odróżnij też zmianę materiału od zmiany reguł oceny. Firma mogła wcześniej dopuszczać odpowiedź z prośbą o doprecyzowanie, a teraz uznawać ją za niepowodzenie. Zapisz oczekiwania używane w obu okresach. Jeśli postanowiono zaostrzyć kryterium, pokaż wynik według nowej reguły osobno. Nie opisuj całej różnicy jako pogorszenia narzędzia, kiedy część powstała w sposobie oceniania.

Przy porównaniu wyników zachowaj stałą próbkę dawnych zadań, zgodnie z testami regresji odpowiedzi AI. Dodaj osobny zestaw nowych rodzajów spraw, z niezależnie ustalonym oczekiwanym rozstrzygnięciem. Dawna próbka pokazuje zachowanie na znanym materiale, nowy zestaw poszerza ocenę o aktualne potrzeby. Oba są potrzebne do tego porównania.

Może się okazać, że skuteczność w każdej grupie pozostała podobna, a zmienił się ich udział. Rozważmy wyłącznie ilustracyjny rachunek: proste sprawy mają dziesięć procent błędów, złożone trzydzieści. Gdy pierwszych jest osiemdziesiąt, a drugich dwadzieścia, w stu sprawach wychodzi czternaście błędów. Przy proporcji trzydzieści do siedemdziesięciu będzie ich dwadzieścia cztery, mimo niezmienionych odsetków wewnątrz grup.

To wymyślony przykład, nie pomiar narzędzia. Pokazuje, dlaczego jeden wynik zbiorczy nie rozstrzyga, czy model pogorszył działanie na danym zadaniu. Rozpisz wyniki grup i ich udziały. Jeśli problem skupia się na pytaniach ze zdjęciami, wskaż tę grupę oraz rodzaj pomyłki. Raport „jakość spadła o tyle procent” pomija informację potrzebną do wyboru poprawki.

Sprawdź również opóźnienie oceny. Trudne sprawy mogą czekać dłużej na rozstrzygnięcie, więc ostatni tydzień zawiera głównie szybko zamknięte przypadki. Porównanie go z w pełni ocenionym starszym miesiącem zniekształci obraz. Wskaż liczbę spraw nadal bez wyniku i termin uzupełnienia oceny. Brak zakończonej obsługi nie jest automatycznie ani sukcesem, ani błędem asystenta.

Zobacz, czy raport obejmuje wszystkie sprawy skierowane do rozwiązania, czy wyłącznie te, dla których powstała odpowiedź. Nowe pliki mogą być odrzucane jeszcze przed wywołaniem modelu. W takim przypadku materiał widoczny w jego dzienniku wygląda stabilnie, mimo że klienci częściej utknęli wcześniej. Zachowaj licznik wejść, odrzuceń i faktycznych odpowiedzi, z powiązaniem do tej samej jednostki analizy.

Reakcję dobierz do znalezionej różnicy

Jeżeli dane przestały dochodzić, napraw ich przekazywanie. Jeśli nowe pytania wymagają informacji, której firma wcześniej nie udostępniała asystentowi, sprawdź zakres źródeł i odpowiedzialność za odpowiedź. Jeżeli zadanie wykracza poza zatwierdzone użycie narzędzia, skieruj je do człowieka. Ponowne uczenie modelu jest jedną z możliwych decyzji, a nie znaczeniem każdego alarmu o dryfie.

Gdy zespół wybiera zmianę modelu, oceniaj ją jako osobny wariant, na porównywalnym materiale. Porównanie wyników przy migracji modelu pozwala oddzielić tę ingerencję od wcześniejszej zmiany wejścia. Nie ogłaszaj przywrócenia jakości tylko dlatego, że nowy model przeszedł dawną próbkę prostych pytań. Sprawdź także nowe zadania, które wywołały przegląd.

Przy aktualizacji poziomu odniesienia zachowaj poprzedni stan. Jeśli automatycznie przesuwasz bazę porównania za każdym razem, długotrwała zmiana może przestać wywoływać alarm, choć pierwotny zakres rozwiązania nie został ponownie oceniony. Ustal, kto zatwierdza nowy punkt odniesienia i na jakiej podstawie. Zmiana wykresu nie powinna po cichu przepisywać kryteriów odbioru.

Zobacz też, czy do wejść nie wracają własne opisy i kategorie AI. Sprzężenie zwrotne wyników może zmienić materiał bez nowego zachowania klientów. Oddziel surową wiadomość od podsumowania, które wcześniej przygotowała automatyzacja. Do diagnozy przyda się ich powiązanie, a nie potraktowanie obu jako dwóch niezależnych pytań z rynku.

Ustal właściciela reakcji na sygnał oraz materiał potrzebny do jej zakończenia. Samo wysłanie alarmu nie potwierdza przeglądu. Wybierz jeden przypadek i przejdź drogę od wykrytej różnicy przez sprawdzenie źródeł do decyzji o poprawce lub pozostawieniu rozwiązania. Zapisz także zakres nierozstrzygnięty, zwłaszcza gdy brakuje jeszcze ocenionych nowych spraw.

Po poprawce sprawdź wskazaną grupę ponownie, zachowując również kontrolę dawnych zadań. Uzupełnienie źródeł dla złożonych projektów mogłoby zmienić odpowiedzi na proste pytania o pojedynczy produkt. Do protokołu dołącz wersję rozwiązania, zakres nowych przykładów i rozstrzygnięcia opiekunów. Decyzja „obserwujemy dalej” powinna mieć termin i warunek powrotu do oceny, aby nie stała się sposobem trwałego pomijania trudnej grupy.

Taki przegląd można przygotować w ramach Aeneia Audit, na wybranym procesie i jego materiale. Priorytet warto powiązać z rejestrem zastosowań AI: zmiana pytań o odcień wymaga innej reakcji niż nieprawidłowa instrukcja obsługi zamówienia. W Rzece dobry wynik przeglądu ma wskazać, które nowe zadania narzędzie obsługuje, gdzie wymaga korekty i jakie dane nadal trzeba zebrać.