AI ocenia AI: kto sprawdza surowego, lecz omylnego sędziego

Na fikcyjnym panelu jakości świeci się wynik: dziewięć na dziesięć. Pierwszy model napisał odpowiedź, drugi ją ocenił. Zespół odetchnął, choć żaden człowiek nie sprawdził jeszcze, za co przyznano punkty. Właśnie zatrudniono elektronicznego egzaminatora i zapomniano obejrzeć jego klucz odpowiedzi. Czerwony długopis jest. Kryteriów jeszcze szukamy.

Model oceniający może przyspieszyć przegląd dużej liczby odpowiedzi. Najpierw trzeba jednak ustalić, jakiego rodzaju pomyłki potrafi rozpoznać, a przy których sam potrzebuje kontroli. Uzasadnienie też powstaje w modelu. Może brzmieć przekonująco i nadal źle wskazywać błąd.

Najpierw wybierz rzecz, którą da się ocenić

Weźmy roboczy przykład firmy przygotowującej odpowiedzi o wyposażeniu biur. Klient pyta, czy wskazana szafka mieści segregatory w określonym ustawieniu. Dobra odpowiedź ma wykorzystać podany wymiar wewnętrzny, rozpoznać warunek ustawienia i zaznaczyć brak informacji, jeżeli katalog go nie rozstrzyga. Uprzejmość przyda się później. Sama nie poprawi geometrii mebla.

Jeżeli sędzia otrzyma polecenie „oceń jakość”, może docenić bogaty opis materiałów, przyjazny ton i eleganckie zakończenie. Firma potrzebuje tymczasem rozstrzygnięcia, czy odpowiedź pomaga uniknąć błędnego zakupu. Zapisz więc kryterium jako widoczne zachowanie: wskazanie właściwego parametru, zachowanie jednostki, brak dopowiedzianej cechy. Każdy element powinien mieć własny sposób sprawdzenia.

Nie wszystko wymaga kolejnego modelu. Obecność wymaganej nazwy pola, poprawność numeru lub zgodność wartości z przygotowanym wzorcem można sprawdzać bez interpretacji całej wypowiedzi. Ocenę tonu pozostaw osobno. Wtedy zdanie pięknie napisane, lecz zawierające zły wymiar, nie uzyska przepustki dzięki średniej z kilku nieporównywalnych zalet.

Bieżąca dokumentacja Claude o ocenianiu rozdziela kontrolę kodem, przez człowieka i przez model. Przy ocenianiu modelem zaleca jasne kryteria oraz sprawdzenie wiarygodności przed zwiększaniem skali. To opis dostępnej metody; nie gotowe potwierdzenie jakości twojego egzaminatora.

Przygotowując kryteria pilotażu AI, określ także, kto rozstrzygnie spór o ocenę. Jeśli zespół nie potrafi uzgodnić poprawnej odpowiedzi na podstawie tego samego materiału, automatyzacja nie usunie rozbieżności. Może jedynie ukryć je pod schludną liczbą.

Zbuduj mały egzamin dla egzaminatora

Przygotuj kilka odpowiedzi na to samo pytanie, różniących się czymś istotnym. W jednej zachowaj właściwy wymiar, w drugiej zmień jednostkę, w trzeciej usuń warunek, a w czwartej otwarcie wskaż brak danych. To zaprojektowane przykłady kontrolne, nie wyniki klientów. Zapisz oczekiwaną ocenę każdej odpowiedzi i powód, który da się wskazać w źródle.

Takie pary pozwalają sprawdzić, czy sędzia reaguje na zmianę znaczenia. Jeżeli wszystkim przyznaje podobne noty, jego kryterium może być zbyt ogólne. Jeżeli karze odpowiedź ostrożną, choć katalog rzeczywiście nie zawiera potrzebnego parametru, premiuje zgadywanie. Przydatna jest tu osobna ocena odmowy odpowiedzi przy braku podstaw, zamiast automatycznego uznawania każdego „nie wiem” za porażkę.

Do wzorców dołącz odpowiedź częściowo dobrą. Może prawidłowo przywoływać parametr, ale pomijać pytanie o ustawienie. Taki przypadek pokazuje, czy skala rozróżnia brak kompletności od jawnego błędu. Dwie etykiety, „dobrze” i „źle”, bywają wystarczające do konkretnej blokady, lecz mogą nie wystarczyć do opisania pracy potrzebnej człowiekowi.

Wzorzec powinien obejmować dopuszczalne warianty językowe. Klient może otrzymać tę samą poprawną informację w dwóch różnych zdaniach. Jeżeli ocena wymaga jednej ulubionej formuły, zaczynasz mierzyć podobieństwo do szablonu. Zapisz, które elementy znaczenia muszą pozostać, a gdzie wykonawca ma swobodę. To oszczędzi późniejszego przepisywania dobrych odpowiedzi tylko po to, żeby przypodobały się narzędziu.

Przejrzyj również materiał udostępniony sędziemu. Oceniający odpowiedź na podstawie samego pytania nie ma tego samego zadania co oceniający z katalogiem i historią rozmowy. Jeśli do weryfikacji potrzeba źródła, musi je otrzymać w odpowiedniej wersji. Potem sprawdź, czy rzeczywiście korzysta z właściwego fragmentu, zwłaszcza przy długim kontekście.

Przygotowane pary są próbą diagnostyczną: mają ujawnić określony rodzaj pomyłki. Nie pokazują jeszcze, jak często taka sytuacja wystąpi w codziennej pracy. Jeżeli połowa przykładów zawiera celowo zmienioną jednostkę, wynik nie opisuje udziału tych błędów w rzeczywistych rozmowach. Zachowaj tę różnicę przy przedstawianiu raportu osobie, która nie zna budowy zestawu.

Osobno wybierz zadania odpowiadające zwykłemu sposobowi używania rozwiązania. Uwzględnij różne rodzaje pytań, kompletność źródeł i długość odpowiedzi, zamiast mnożyć warianty jednego łatwego przykładu. Opisz sposób doboru tej próbki. Dzięki temu odbiorca oceny będzie wiedział, dla jakiej części pracy uzyskano dowody, a gdzie pozostaje jedynie przypuszczenie.

Zmień kolejność, zachowując znaczenie

Praca o MT-Bench i Chatbot Arena z 2023 roku opisała między innymi wpływ pozycji odpowiedzi, długości i preferowania własnych wyników przez model oceniający. Dotyczyła badanych tam modeli oraz prób. Jest powodem do zaprojektowania kontroli, a nie diagnozą każdej dzisiejszej konfiguracji.

Jeżeli porównujesz odpowiedzi A i B, przedstaw je także w odwrotnej kolejności. Zamień oznaczenia konsekwentnie, aby nie zepsuć własnego wzorca. Przypisz noty z powrotem do oryginalnych odpowiedzi i sprawdź, czy wybór się zmienił. Różnica wymaga wyjaśnienia przed użyciem oceny do zatwierdzania kolejnej wersji rozwiązania.

Teraz pokaż tę samą treść w krótszym i dłuższym zapisie. Dłuższy wariant może zawierać więcej uprzejmych przejść, lecz nie dodatkowe dane. Jeśli punktacja rośnie za sam rozmiar wypowiedzi, masz sygnał, że oceniający nagradza także styl. Nie wyciągaj tego wniosku z pary, w której krótsza odpowiedź przypadkiem straciła potrzebny warunek. Kontrola musi zachować to, co miała zachować.

Osobno zmień układ. Te same informacje mogą wystąpić w akapicie, prostych punktach albo z wyróżnionymi etykietami. Badanie o ograniczaniu uprzedzeń sędziów, w wersji z czerwca 2026 roku, uwzględnia również wpływ formatu i zróżnicowane reakcje porównywanych modeli. Nie przenoś jego rankingu na własny proces bez własnej próby.

W twoim zadaniu preferowanie lepszego układu nie zawsze będzie błędem. Jeżeli oceniasz instrukcję do szybkiego użycia, czytelność ma znaczenie. Musi jednak otrzymać własne kryterium. W przeciwnym razie lepsza typografia może po cichu stać się zastępstwem zgodności ze źródłem, a zespół nawet nie zobaczy, którą cechę poprawił.

Dwie zgodne oceny nadal mogą być błędne

Dwa modele mogą polubić tę samą odpowiedź, bo oba uznają ją za płynną i prawdopodobną. To jeszcze nie dowód, że opisuje właściwą wersję produktu. Porównuj ocenę z uzasadnionym wzorcem przygotowanym dla zadania. Przy odpowiedzi o szafce wróć do konkretnego wymiaru, a nie do liczby pochwał przyznanych przez cyfrowe jury.

W zestawieniu pokaż osobno przypadki zaakceptowania błędu i odrzucenia poprawnego wyniku. Pierwszy rodzaj pomyłki przepuszcza problem do dalszej obsługi. Drugi dokłada pracę przy odpowiedzi, która mogła być użyta. Ich znaczenie zależy od procesu. Nie trzeba udawać, że oba koszty są równe tylko dlatego, że łatwo je zsumować.

Przy rozbieżności przeczytaj powód oceny. Sędzia może wskazywać brak informacji, która w odpowiedzi jednak występuje, albo wymagać elementu nieobecnego w uzgodnionych kryteriach. Taki komentarz pomaga poprawić ocenianie. Nie traktuj go automatycznie jak trafnej uwagi do ocenianej odpowiedzi, bo wtedy narzędzie zacznie dyktować nowe wymagania bez decyzji zespołu.

Nie przeglądaj wyłącznie odpowiedzi oznaczonych jako problematyczne. Zajrzyj również do próbki zaakceptowanych wyników. Właśnie tam ukrywają się błędy, których sędzia nie zauważył. Zespół kontrolujący tylko czerwone oznaczenia może bardzo sprawnie omawiać alarmy i nie mieć pojęcia, co przechodzi obok bez żadnego sygnału.

Podobnie sprawdź zmianę materiału źródłowego. Zachowaj to samo pytanie i odpowiedź, ale podmień źródło na inną, jawnie oznaczoną wersję, w której zmieniony warunek czyni tę odpowiedź błędną. Ocena powinna wynikać z przekazanego materiału. Jeśli pozostaje taka sama, trzeba odtworzyć, czy narzędzie przeczytało właściwy dokument, czy skorzystało z wcześniejszego skojarzenia. To kontrolowany przykład, nie powód do podmieniania źródeł w rzeczywistej obsłudze.

Poproś o wskazanie fragmentu materiału i kryterium, na których oparto ocenę. Samo „odpowiedź jest nieprecyzyjna” zostawia zbyt wiele swobody. Przydatniejszy będzie opis pominiętej jednostki albo dopisanego warunku. Człowiek może wówczas sprawdzić wskazanie, zamiast oceniać, czy krytyka brzmi dostatecznie fachowo.

Poprawka sędziego zmienia sposób czytania wyników

Zapisuj wersję instrukcji oceniającej, model, zestaw źródeł i przyjętą skalę. Gdy zmienisz kryterium, wynik sprzed zmiany nie staje się automatycznie porównywalny z nowym. Wzrost średniej może oznaczać poprawę odpowiedzi albo łagodniejszego egzaminatora. W raporcie powinno być widać, która część układu się zmieniła.

Zdefiniuj również znaczenie samej skali. Ocena dziewięć na dziesięć może oznaczać spełnienie dziewięciu warunków albo ocenę ogólnego wrażenia na dziesięciopunktowej skali. To odmienne wielkości. Żadna nie staje się automatycznie dziewięćdziesięcioprocentowym prawdopodobieństwem poprawności. Gdy wynik ma uruchamiać działanie, zespół potrzebuje uzasadnienia progu, a nie samej wygody jego zapisania.

Jeżeli po każdym błędzie dopisujesz wyjątkową regułę, wróć do wcześniejszych przypadków. Nowa instrukcja może rozwiązać jeden problem i stworzyć drugi. Zachowaj zestaw znanych przykładów do testów regresji jakości AI, lecz oddziel go od świeżej próby służącej do oceny uogólnienia. Przerabianie odpowiedzi pod znany egzamin daje inne informacje niż sprawdzenie nowego materiału. Przy ponownym użyciu ocen jako materiału do poprawy sprawdź sprzężenie zwrotne z własnych podpowiedzi AI, aby wcześniejsza pomyłka nie stała się nowym wzorcem.

Ustal, kiedy narzędzie może jedynie porządkować kolejkę, a kiedy jego wynik uruchamia decyzję. Do wstępnego wyłaniania odpowiedzi wymagających uwagi można przyjąć inne warunki niż do samodzielnego dopuszczania materiału do publikacji. W obu przypadkach zespół potrzebuje wiedzieć, co dzieje się z oceną niejednoznaczną i kto ma do niej wrócić.

Przy zmianie narzędzia porównuj cały proces pracy. Ile czasu zajmuje sprawdzenie wskazanych problemów? Czy człowiek dostaje źródło i kryterium, czy tylko notę? Pomiar czasu pracy z AI powinien uwzględniać także wyjaśnianie błędnych alarmów. Szybki sędzia nie pomaga, jeżeli po jego występie trzeba urządzać osobną komisję odwoławczą do każdego zdania.

Odbiór może skończyć się decyzją o ograniczonym zastosowaniu. Sędzia trafnie wykrywa brak wymaganych elementów, lecz słabo ocenia zgodność merytoryczną; pozostaje więc przy pierwszym zadaniu. To użyteczny wynik. Narzędzie nie musi dostać pełnego etatu eksperta tylko dlatego, że potrafi wystawić ocenę z dokładnością do jednego miejsca po przecinku.

Aeneia Audit pomaga uporządkować sposób używania AI w firmie. Przy rozmowie o ocenianiu przynieś pytanie, źródło, odpowiedź oraz powód akceptacji albo odrzucenia. Od takiego zestawu łatwiej zacząć niż od imponującej średniej, pod którą nikt nie chce jeszcze złożyć podpisu.