Oceny odpowiedzi AI: kto zostawił kciuk, a kto zniknął z raportu

W raporcie asystenta świeci osiemdziesiąt procent pozytywnych ocen. Brzmi jak powód do zadowolenia, dopóki ktoś nie zapyta: osiemdziesiąt procent czego? Odpowiedzi, użytkowników, zakończonych spraw czy samych kliknięć? Kciuk potrafi zmieścić się w kilkunastu pikselach. Jego mianownik zwykle potrzebuje trochę więcej miejsca.

Ocena użytkownika jest użyteczną informacją o doświadczeniu. Nie staje się automatycznie oceną poprawności wszystkich odpowiedzi. Dobrowolną reakcję zostawiają konkretne osoby przy konkretnych wynikach, w chwili, w której zobaczyły możliwość oceny. Pozostali mogą być zadowoleni, rozczarowani, zajęci albo pozbawieni okazji do odpowiedzi. Brak kciuka nie rozstrzyga między tymi wyjaśnieniami.

Prześledźmy fikcyjnego asystenta pomagającego pracownikom znaleźć firmowe materiały ofertowe. W wybranym okresie pokazał tysiąc odpowiedzi. Sto miało bieżącą reakcję: osiemdziesiąt pozytywną i dwadzieścia negatywną. Dla tego rachunku liczymy najwyżej jedną aktualną ocenę każdej odpowiedzi. Nie oceniamy tu prawdziwego narzędzia. Te proste liczby służą sprawdzeniu, co wolno napisać w raporcie i jak zaplanować dalszy przegląd.

Kogo właściwie reprezentuje osiemdziesiąt procent?

Możemy powiedzieć, że pozytywne reakcje stanowiły osiemdziesiąt ze stu reakcji. Możemy też podać udział odpowiedzi ocenionych: sto z tysiąca, czyli dziesięć procent. Osiemdziesiąt pozytywnie ocenionych odpowiedzi stanowi osiem procent całego tysiąca. Każda liczba ma inny mianownik i odpowiada na inne pytanie.

Nie wynika z tego, że pozostałe dziewięćset dwadzieścia odpowiedzi było złych. Dziewięćset nie ma reakcji, a dwadzieścia otrzymało negatywną. Te stany trzeba zachować osobno. Gdy program zamieni pustą ocenę na zero, stworzy pozorny wynik, którego użytkownicy nie udzielili.

Nie znamy również udziału zadowolonych osób. Jeden pracownik mógł ocenić trzydzieści odpowiedzi, pozostali po jednej. Sto reakcji nie jest wtedy próbą stu niezależnych użytkowników. Jeśli raport dotyczy ludzi, potrzebuje właściwego sposobu ich rozróżnienia, zgodnego z ustalonym zakresem danych. Nie należy w tym celu zbierać dodatkowych informacji bez potrzeby.

Jeżeli rozróżnienie osób jest dostępne w dopuszczonym zakresie, pokaż także koncentrację reakcji. Raport oparty głównie na kilku regularnych użytkownikach może dobrze opisywać ich doświadczenie, lecz niewiele mówić o osobach zaglądających do asystenta pierwszy raz. Nie poprawiaj tego przez nadanie każdemu kciukowi arbitralnej wagi. Najpierw opisz faktyczny udział grup i pytanie, na które odpowiadasz. Inaczej druga, bardziej skomplikowana średnia ukryje tę samą niewiadomą, którą odsłonił prosty licznik.

AAPOR w omówieniu udziału odpowiedzi i jakości badań przestrzega przed traktowaniem samego odsetka odpowiedzi jako rozstrzygającej miary jakości. Wskazuje potrzebę innych dowodów oraz jawnej metody. To odniesienie do badań ankietowych; dobrowolne kciuki przy asystencie nie stają się dzięki niemu reprezentatywnym sondażem.

Nazwij populację raportu: wszystkie pokazane odpowiedzi asystenta w wybranym okresie, we wskazanym kanale i wersji. Sprawdź, czy licznik nie obejmuje prób wewnętrznych, podglądów autora albo tej samej odpowiedzi odświeżonej kilka razy. Definicja zdarzenia poprzedza liczenie procentów.

Potrzebujesz również ustalić, czy każdy użytkownik mógł ocenić odpowiedź. Przyciski mogą być dostępne w panelu, lecz nie w wiadomości przesłanej do komunikatora. Wtedy brak reakcji w drugim kanale ma techniczne wyjaśnienie. Wspólny raport powinien to ujawnić, zamiast porównywać rzekomą skłonność dwóch grup do oceniania.

Nie wprowadzaj obowiązkowego kciuka wyłącznie po to, by podnieść odsetek ocen. Wymuszona reakcja może opisywać chęć zamknięcia okna. Najpierw ustal, jaka informacja jest potrzebna i w jakim momencie człowiek potrafi jej sensownie udzielić. Więcej zapisów nie gwarantuje większej wiedzy o przydatności usługi.

Do której odpowiedzi należy reakcja?

W kontrolowanym przykładzie wygeneruj dwie odpowiedzi, a potem oceń pierwszą, mimo że druga jest już widoczna. Sprawdź zapis. Ocena powinna wskazywać ten wynik, przy którym człowiek nacisnął przycisk. Sama obecność identyfikatora rozmowy nie wystarczy, jeśli mieści się w niej kilkanaście różnych propozycji.

Dokumentacja Microsoft Foundry o zapisie reakcji opisuje powiązanie oceny z konkretnym śladem lub fragmentem wykonania. Funkcja jest oznaczona jako preview. Przywołujemy zasadę korelacji danych, bez zalecenia wdrażania tej wersji w produkcji ani twierdzenia, że obsługuje ją dowolny asystent.

Przy ocenie zachowaj wersję odpowiedzi i informację, czego dotyczy przycisk. Użytkownik może nacisnąć kciuk po poprawieniu tekstu albo po wybraniu innego znalezionego dokumentu. Wtedy trzeba rozumieć, czy ocenia pierwotną propozycję, rezultat po własnej pracy czy całą rozmowę. Nazwa pola „feedback” nie wyjaśnia tego za zespół.

Odbierz także zmianę reakcji. Człowiek najpierw zaznacza pozytywną, a po otwarciu pliku odkrywa, że to stara oferta, i wybiera negatywną. Uzgodnij, czy raport pokazuje bieżącą ocenę odpowiedzi, czy historię zdarzeń. Dwa kliknięcia tej samej osoby nie powinny niepostrzeżenie udawać dwóch ocen różnych wyników.

Rozdziel usunięcie oceny od wyboru jej przeciwieństwa, jeżeli interfejs pozwala anulować zaznaczenie. Brak bieżącej reakcji i negatywna reakcja niosą inne informacje. Sprawdź ten przebieg w eksporcie, nie tylko na ekranie. Kolor ikony może wrócić do neutralnego, choć system nadal liczy wcześniejsze zdarzenie.

Do prób włącz powrót po przerwie i ocenę starszej odpowiedzi. Jeśli raport przypisuje reakcję do dnia kliknięcia, a inny do dnia wygenerowania, porównanie okresów będzie miało odmienny zakres. Obie perspektywy mogą być użyteczne. Muszą jednak otrzymać nazwy i pozostać odróżnialne.

Czy pozytywna reakcja potwierdza wykonanie zadania?

W naszym przykładzie użytkownik może docenić szybką, uprzejmą odpowiedź prowadzącą do nieaktualnego pliku. Może też negatywnie ocenić prawidłową informację, że szukany materiał jeszcze nie istnieje. Zgodność ze źródłem, odczuwana przydatność i zadowolenie to różne osie. Nie trzeba usuwać reakcji, aby sprawdzić wynik niezależnie.

OpenAI w opisie problemu nadmiernej ugodowości z maja 2025 roku wskazało, że sygnały preferencji użytkowników mogły sprzyjać bardziej zgodnym z nimi odpowiedziom, a pozytywne testy nie wychwyciły całego problemu zachowania. To opis własnego incydentu dostawcy, nie diagnoza waszego asystenta ani dowód szkodliwości każdego kciuka.

Dlatego przygotuj osobną kontrolę zadania. Dla szukania oferty sprawdź, czy plik istnieje, jest właściwą wersją i odpowiada zakresowi pytania. Zapisz podstawę rozstrzygnięcia. Dopiero zestawienie wyniku z reakcją pokaże przypadki zadowolenia mimo pomyłki oraz niezadowolenia przy prawidłowej odpowiedzi.

Nie pytaj użytkownika o rzecz, której jeszcze nie miał szansy sprawdzić. Kciuk wybrany przed otwarciem materiału opisuje wcześniejszy moment doświadczenia. Jeśli chcesz wiedzieć, czy plik pozwolił przygotować ofertę, potrzebujesz informacji po tej czynności. Projekt takiego pytania rozwija ankieta po zadaniu, trudność i satysfakcja.

Gdy dodajesz komentarz, ułatw opisanie problemu bez sugerowania jednej przyczyny. „Co wpłynęło na ocenę?” zostawia więcej miejsca niż obowiązkowy wybór „model się pomylił”. Przyczyną mogło być wyszukanie starego pliku, brak dostępu albo długie oczekiwanie. Nie każ użytkownikowi rozstrzygać wewnętrznej architektury rozwiązania.

Przed wykorzystaniem reakcji jako materiału do zmiany instrukcji wróć do pochodzenia danych zwrotnych AI. Pozytywny kciuk nie nadaje całemu tekstowi statusu sprawdzonego wzorca. Potwierdzenie przydatności w jednym celu nie zatwierdza wszystkich zawartych w nim twierdzeń.

Jak sprawdzić to, czego nikt nie ocenił?

Wybierz do niezależnego przeglądu również odpowiedzi bez reakcji. Nie ograniczaj się do dwudziestu negatywnych przykładów, bo ten wybór od początku omija pytanie o cichą część zbioru. Opisz sposób doboru oraz zakres: okres, kanał, rodzaj zadania i wersję narzędzia. Zachowaj powiązanie z odpowiedzią, którą oceniasz.

Możesz rozłożyć przegląd między częste i rzadsze rodzaje pytań, aby żadna ważna grupa nie zniknęła. Jeśli taki dobór celowo zmienia proporcje, pokaż wyniki grup osobno. Nie przedstawiaj średniej z celowo zrównoważonej próbki jako oszacowania całego ruchu. Sposób agregowania ocen AI pomaga prześledzić tę granicę.

W przeglądzie odróżnij brak reakcji od braku dostarczonego wyniku. Użytkownik mógł przerwać zadanie, zanim asystent cokolwiek pokazał. Taka sprawa nie należy do tysiąca pokazanych odpowiedzi z naszego przykładu, lecz może mieć znaczenie dla oceny całej usługi. Raport powinien ujawniać oba zakresy, jeśli firma chce na ich podstawie podejmować wspólną decyzję.

Nie dopisuj powodu milczenia. Znaleziony błąd w nieocenionej odpowiedzi nie dowodzi, że właśnie przez niego człowiek nie nacisnął przycisku. Możesz sprawdzić jakość materiału, a o przyczyny reakcji zapytać osobno w uzgodnionym badaniu. To chroni raport przed atrakcyjną historią, której dane nie potwierdzają.

Dobór osoby sprawdzającej także ma znaczenie. Gdy otrzyma informację „to odpowiedź z negatywnym kciukiem”, zaczyna od innej wskazówki niż przy materiale bez oceny. Jeśli celem jest niezależne sprawdzenie poprawności, rozważ ukrycie reakcji do chwili własnego rozstrzygnięcia. Warunki takiej kontroli rozwija ocena człowieka przed sugestią AI.

Zachowaj znalezione typy błędów i ich podstawy. Nie wystarczy nowy odsetek „zgodności audytora”. Potrzebujesz wiedzieć, czy poprawka dotyczy wersji źródeł, możliwości dostępu, sposobu odpowiedzi czy samego pytania o ocenę. Każdy z tych problemów prowadzi do innej pracy.

Po poprawce wróć do rozpoznanych przykładów i sprawdź ich nowe odpowiedniki w bieżącym użyciu. Sam wzrost udziału pozytywnych reakcji nie potwierdza usunięcia starego pliku z wyszukiwania. Potrzebny jest odczyt właściwego dokumentu i sprawdzenie, czy odpowiedź korzysta z jego aktualnej wersji. Zachowaj też obserwację ocen użytkowników. Dzięki temu zobaczysz osobno zmianę poprawności oraz to, czy ludzie uznali nową drogę za przydatną.

Co pokazać osobie podejmującej decyzję?

Raport powinien zawierać liczbę pokazanych odpowiedzi, liczbę ocenionych, podział reakcji oraz zakres niezależnej kontroli. Dla fikcyjnego tysiąca nie zamieniaj dziesięcioprocentowego udziału reakcji w przypuszczenie o pozostałych dziewięćdziesięciu procentach. Wskaż, które informacje są obserwacją, a których nadal nie zebrano.

Przy porównaniu okresów sprawdź zmiany interfejsu. Wyraźniejszy przycisk może zwiększyć liczbę ocen bez zmiany jakości odpowiedzi. Nowa prośba o komentarz może ograniczyć udział osób reagujących. Zapisz wersję sposobu zbierania ocen obok wersji asystenta. Nie przypisuj całego ruchu wskaźnika modelowi.

Zestaw ocenę z czasem i pracą potrzebną do wykorzystania wyniku. Pomiar czasu pracy z AI uwzględnia dalsze poprawki. Zadowolenie z szybkiej propozycji może współistnieć z długim poszukiwaniem właściwego dokumentu. Wtedy poprawa powinna dotyczyć całej drogi, nie samego momentu pokazania tekstu.

W Aeneia Audit taki przegląd można zacząć od jednego raportu i kilku niepoufnych przykładów z różnych stanów oceny. Dobrze, jeśli zespół potrafi odtworzyć, skąd pochodzi licznik i do czego odwołuje się kliknięcie. Osiemdziesiąt procent pozostanie użyteczną liczbą. Wreszcie będzie wiadomo, jakiej części odpowiedzi dotyczy i co pozostaje poza oceną.