Procent pewności AI wymaga własnego sprawdzenia

Pole „pewność: 93 procent” może wyglądać jak wynik pomiaru, choć jest liczbą dopisaną przez model na prośbę użytkownika. Zanim wskaźnik zacznie decydować o kierowaniu spraw do człowieka, trzeba ustalić jego znaczenie. Czy ma przewidywać poprawność konkretnej odpowiedzi? Czy oznacza podobieństwo do znalezionego dokumentu? A może to ocena na skali, której ktoś bez uzasadnienia dorysował znak procentu?

Każda z tych liczb może służyć określonemu zadaniu. Nie wolno jednak zamieniać jej roli po drodze do interfejsu. Jeśli system pokazuje prawdopodobieństwo poprawności, potrzebuje sprawdzenia związku deklaracji z rzeczywistymi wynikami w tym zastosowaniu. Gładki język odpowiedzi i precyzyjny zapis wskaźnika nie wykonają tego sprawdzenia za zespół.

Ustal, do czego przyczepiono procent

W fikcyjnym procesie asystent odpowiada na pytania o wyposażenie sal warsztatowych. Przy każdej odpowiedzi pojawia się liczba. Zespół chce czytać najpierw te przypadki, w których asystent jest najmniej pewny. To rozsądnie brzmiący pomysł, ale jego użyteczność zależy od tego, czy liczba rzeczywiście pomaga odnajdywać błędy. Nie można tego wywnioskować z samej obecności pola.

Pierwsze pytanie do wykonawcy dotyczy pochodzenia wskaźnika. Model może sam wypisać liczbę, osobny mechanizm może ją obliczać, a system może korzystać z innej miary, na przykład wyniku wyszukania. Zachowaj nazwę metody, jej wersję i dokładne znaczenie. Ocena dopasowania dokumentu do pytania nie staje się prawdopodobieństwem poprawności odpowiedzi przez zmianę etykiety.

Nie utożsamiaj też prawdopodobieństwa wygenerowania danego fragmentu tekstu z prawdopodobieństwem prawdziwości całej wypowiedzi. Model może łatwo przewidzieć popularne sformułowanie, które nie pasuje do aktualnej instrukcji firmy. Odbiorca powinien wiedzieć, co mierzono, zanim zacznie interpretować wynik. Własny procent powinien mieć definicję wykraczającą poza to, że mieści się od zera do stu.

Badanie Tian i współautorów z 2023 roku porównuje różne sposoby uzyskiwania ocen pewności, w tym deklaracje modelu i jego prawdopodobieństwa. Dotyczy wskazanych modeli oraz zbiorów pytań. Pokazuje, że metoda ma znaczenie; nie daje podstaw do uznania dowolnej dzisiejszej deklaracji liczbowej za poprawnie skalibrowaną ocenę w firmie.

Ustal również przedmiot deklaracji. „Jestem pewny odpowiedzi” jest niejasne, gdy wypowiedź zawiera pięć faktów i rekomendację. Czy poprawne mają być wszystkie fakty? Czy wystarczy prawidłowy wymiar? Czy oceniana jest zgodność z dokumentem, nawet gdy sam dokument jest nieaktualny? Bez tej decyzji dwie osoby mogą ocenić ten sam wynik inaczej, a porównanie procentów straci wspólną podstawę.

W naszym przykładzie wybieramy wąskie zadanie: odpowiedź na jednoznaczne pytanie o liczbę miejsc w sali według zatwierdzonej instrukcji. Z góry zapisujemy dopuszczalne odpowiedzi i warunki braku podstaw. Ten wybór nie zatwierdza wszystkich późniejszych porad asystenta. Pozwala natomiast rozpocząć kontrolę liczby przy zadaniu, dla którego można ustalić wynik.

Załóżmy, że instrukcja fikcyjnej sali B podaje dziesięć miejsc na warsztaty, a opis wyposażenia wymienia dwanaście krzeseł. Pytanie dotyczy miejsc według instrukcji. Odpowiedź „dwanaście” wykorzystuje prawdziwą liczbę z innego pola, lecz nie spełnia kryterium. Deklaracja 93 procent niczego tu nie rozstrzyga. Osoba oceniająca potrzebuje właściwego fragmentu i znaczenia pytania, aby nadać etykietę poprawności.

Jeśli jedno zdanie zawiera limit dziesięciu miejsc oraz błędny warunek rezerwacji, należy wcześniej określić, jak ocenimy taki wynik. Można rozdzielić tezy albo wymagać poprawności całej odpowiedzi, zależnie od zastosowania. Nie zmieniaj tej zasady po obejrzeniu procentu. Kalibracja wobec jednego kryterium nie potwierdza jej wobec szerszego, nawet gdy użyto tych samych wypowiedzi.

Przygotuj też przypadek, w którym instrukcja nie zawiera potrzebnego limitu. Wtedy ocena dotyczy zachowania braku podstaw, a nie trafienia w liczbę znaną osobie sprawdzającej z innego dokumentu. Rozróżnienie zapobiega karaniu prawidłowej odpowiedzi za niedostępną wiedzę albo premiowaniu zgadywania. Wszystkie przykłady sal służą tu wyłącznie projektowi odbioru; nie są rzeczywistymi ocenami modelu.

Kalibracja dotyczy grup wyników

Kalibracja opisuje zgodność między deklarowanymi prawdopodobieństwami a obserwowaną częstością właściwego wyniku w odpowiednich grupach. Pojedyncza odpowiedź z oceną 90 procent może być błędna także przy dobrze skalibrowanym mechanizmie. Jeden błąd nie rozstrzyga całej oceny. Analogicznie jeden trafny przypadek nie potwierdza, że liczba dobrze opisuje pozostałe odpowiedzi.

Dokumentacja scikit-learn opisuje krzywe kalibracji jako porównanie przeciętnego przewidywanego prawdopodobieństwa i częstości wyniku w grupach przewidywań. Pokazuje również liczebności tych grup. Opis dotyczy klasyfikatorów. Dla naszego przykładu stosujemy podobną zasadę porównania deklarowanej poprawności odpowiedzi z późniejszą oceną według ustalonego kryterium.

Na potrzeby artykułu rzeczywiście przeliczono czterdzieści ręcznie skonstruowanych, symbolicznych rekordów. Każdy zawierał umowną deklarację i przypisaną etykietę poprawności. Nie wygenerowano czterdziestu odpowiedzi modelu i nie badano żadnego produktu. Dane dobrano celowo, aby pokazać błąd, który ukrywa porównanie samych średnich. Zachowano rekordy oraz wynik obliczenia.

Dziesięć rekordów ma deklarację 90 procent, a sześć z nich oznaczono jako poprawne. Obserwowana częstość wynosi więc 60 procent. Dwadzieścia rekordów ma deklarację 70 procent; czternaście jest poprawnych, czyli 70 procent. Pozostałe dziesięć ma deklarację 50 procent, lecz osiem poprawnych wyników, czyli 80 procent. Liczby są własnym przykładem rachunkowym, nie rezultatami usługi AI.

W całym zbiorze poprawnych jest dwadzieścia osiem rekordów na czterdzieści, co daje 70 procent. Średnia z czterdziestu deklaracji także wynosi 70 procent. Obliczamy ją z przypisanych wartości pewności, uwzględniając liczebności grup, a nie z etykiet poprawności. Oba wyniki zbiorcze pięknie się zgadzają. Po rozdzieleniu grup widać jednak, że najwyższa deklaracja nie pasuje do przypisanych rezultatów, a najniższa zaniża ich częstość.

To wystarcza, aby odrzucić wniosek „średnia pewność równa trafności, więc wszystko jest skalibrowane”. Nie wystarcza do oszacowania jakości jakiegokolwiek rzeczywistego procesu. Małe grupy z przykładu nie stanowią próby użytkowników. Własna ocena wymaga rzeczywistych, niezależnie rozstrzygniętych przypadków i pokazania niepewności pomiaru, zwłaszcza przy nielicznych grupach.

W kalibracji prognoz zespołu wracamy do przewidywanych zdarzeń i ich rozstrzygnięć. Tutaj trzeba dodatkowo ustalić pochodzenie liczby oraz związek z konkretną odpowiedzią systemu. Ludzki ton ostrożności nie jest zamiennikiem tej informacji; numeryczna deklaracja modelu również nim nie jest.

Zachowaj moment i sposób oceny

Deklaracja przed rozwiązaniem pytania może dotyczyć szans wykonania zadania. Ocena po otrzymaniu odpowiedzi może odnosić się do tej konkretnej wypowiedzi. Nie łącz ich bez opisu w jednym szeregu. Późniejsza liczba korzysta z innego stanu informacji, szczególnie gdy między nimi system odczytał dokument albo otrzymał wynik narzędzia.

Autorzy CALIBER, publikacji z października 2026 roku, rozdzielają te dwa momenty i odpowiadające im cele oceny. Badają dopasowanie deklaracji przed rozumowaniem i po nim do różnych podstaw uczenia. Nie traktujemy ich metody ani wyników jako gotowej walidacji naszego procesu. Dla odbioru istotne jest określenie, którą wielkość pokazuje wskaźnik.

Przy zachowanej odpowiedzi zapisz więc instrukcję wywołującą ocenę, źródła, wersję mechanizmu i moment nadania liczby. Jeśli po korekcie źródła model odpowie inaczej, to nowy wynik do oceny. Aktualność źródła w researchu AI trzeba potwierdzać osobno; wysoka deklaracja nie odświeża dawnej instrukcji. Nie wolno przypisać starej deklaracji do poprawionej wypowiedzi tylko dlatego, że pozostały pod tym samym pytaniem w historii rozmowy.

Nie pokazuj oceniającemu człowiekowi pewności, jeśli chcesz uzyskać możliwie niezależną etykietę poprawności. W pierwszym przejściu powinien odnieść odpowiedź do kryterium i źródła. Dopiero potem można porównać ocenę z deklaracją. Inaczej „93 procent” może stać się podpowiedzią, którą człowiek nieświadomie powtarza w swoim rozstrzygnięciu.

W pilotażu AI zachowaj także błędy oraz przypadki nierozstrzygnięte. Nie przypisuj braku możliwości oceny automatycznie do poprawnych wyników. Nie usuwaj go bez śladu. Pokaż, ile odpowiedzi można było sprawdzić i dlaczego część pozostała poza porównaniem. Bez tego korzystny wynik może opisywać jedynie najłatwiejszy fragment pracy.

Brak deklaracji liczbowej zapisz osobno od deklaracji zera. Nie podstawiaj domyślnej wartości, aby rekord zmieścił się w zestawieniu. Wartość spoza przyjętej skali również wymaga wyjaśnienia przed obliczeniem. Raport powinien pokazywać, ile przypadków wyłączono z oceny samej liczby i dlaczego. To nadal przypadki pracy systemu, nawet jeśli nie da się umieścić ich na krzywej kalibracji.

Liczba może porządkować kolejkę i nadal źle opisywać szansę

Zdolność oddzielania lepszych wyników od gorszych i zgodność procentu z częstością to różne potrzeby. Mechanizm może pomagać wyłaniać błędy, choć wyświetlane wartości wymagają poprawy. Może też podawać wszystkim podobną liczbę, bliską średniej trafności, i niewiele pomagać w wyborze spraw do przejrzenia. Trzeba ocenić zastosowanie, które firma rzeczywiście planuje.

W sztucznym przykładzie grupa z najwyższą deklaracją ma mniej trafień niż grupa z najniższą. Przyjęcie zasady „wysokie procenty pomijamy w przeglądzie” przepuściłoby więc część problemów. To obserwacja o skonstruowanych danych. W rzeczywistym odbiorze porównaj proponowaną kolejność z niezależnie rozpoznanymi błędami i sprawdź również próbkę spraw, które miały pozostać bez uwagi.

Trafny próg nie wynika z uniwersalnej liczby 80, 90 lub 95. Zależy od konsekwencji pomyłki, rodzaju zadania i dowodów dla używanego wskaźnika. Do wstępnego porządkowania roboczych notatek można przyjąć inne zasady niż do samodzielnego wysyłania odpowiedzi. Jeżeli brakuje podstaw do automatycznej decyzji, sam procent nie uzasadnia jej uruchomienia.

Przy operacyjnym przeglądzie AI w Aeneia Audit można powiązać ocenę wskaźnika z dalszą drogą sprawy. Ustalamy, kto czyta wybrane odpowiedzi, jak wracają wykryte błędy i co pozostaje pod kontrolą człowieka. Wtedy procent ma określone zadanie w procesie, zamiast pełnić funkcję uspokajającej ozdoby.

Po poprawce zachowaj oddzielny sprawdzian

Jeżeli zmieniono instrukcję wywołującą deklarację, nie porównuj nowych liczb ze starymi bez zapisania tej zmiany. Inna metoda, model lub źródło mogą zmienić znaczenie wskaźnika. Zestaw wykorzystany do poprawiania mechanizmu nie powinien być jedyną podstawą oceny po poprawce. Potrzebna jest oddzielona próba, której wynik nie posłużył już do dostrajania reguły.

Nie naprawiaj też liczby przez samo dodanie bardziej ostrożnych słów do odpowiedzi. Tekst „prawdopodobnie” i pole „99 procent” mogą przekazywać sprzeczne sygnały. Wyjaśnienie AI powinno pomagać zrozumieć wynik, ale nie potwierdzi samo w sobie kalibracji. Tę trzeba ocenić na wynikach według określonej metody.

Gdy brakuje podstaw do odpowiedzi, nadal potrzebne jest właściwe rozpoznanie niewiedzy i dostępny następny krok. Niska liczba bez wskazania brakującego źródła może pozostawić użytkownika z tym samym problemem. Wskaźnik ma pomagać zdecydować, co zrobić dalej, a nie tylko uprzedzać, że odpowiedź bywa omylna.

Właściciel fikcyjnego asystenta powinien na koniec umieć powiedzieć: ta liczba ma takie znaczenie, sprawdzono ją na takim rodzaju odpowiedzi i wolno używać jej do tego działania. Dopóki brakuje któregoś z tych elementów, 93 procent pozostaje deklaracją do zbadania. Miejsce po przecinku nie zastąpi miejsca na dowód.