Wyjaśnienie AI krok po kroku potrzebuje niezależnego dowodu

„Mamy dwanaście części. Zestaw wymaga trzech. Możemy przygotować cztery zestawy”. To wymyślone wyjaśnienie odpowiedzi AI w zadaniu o wyposażeniu sali. Działanie dwanaście podzielone przez trzy jest poprawne. Wniosek może być błędny, bo do jednego zestawu potrzeba dwóch statywów i jednej belki, a magazyn nie musi mieć odpowiednich proporcji.

Dopisanie „przeanalizowałem dostępność wszystkich elementów” nie rozwiązuje tego problemu. Przy odbiorze trzeba wrócić do liczebności poszczególnych części i reguły kompletowania. Wyjaśnienie może pomóc zrozumieć propozycję, ale jego płynność nie stanowi niezależnego dowodu. Dobry opis błędnego rachunku nadal wymaga poprawki, nawet gdy ma pięć ponumerowanych kroków i spokojny ton nauczyciela.

Dwa pytania, których nie warto sklejać

Pierwsze pytanie brzmi: czy wynik odpowiada zadaniu? Drugie: czy wyjaśnienie wiernie opisuje sposób, w jaki system ten wynik uzyskał? Można sprawdzić poprawność prostego obliczenia bez ustalania wewnętrznego przebiegu pracy modelu. Można też otrzymać poprawny wynik wraz z uzasadnieniem, które pomija istotny wpływ na odpowiedź. To odrębne przedmioty oceny.

NIST w raporcie o zasadach wyjaśnialnej AI oddziela zrozumiałość wyjaśnienia od jego poprawności oraz poprawności decyzji. Autorzy wskazują, że poprawna decyzja nie przesądza o wiernym opisaniu sposobu dojścia do niej. To użyteczne rozróżnienie przy odbiorze, bez potrzeby przypisywania modelowi ludzkich intencji.

Wyjaśnienie przeznaczone dla pracownika może być krótkie: „Liczbę zestawów ogranicza dostępność statywów”. Obok podaj liczebności i regułę pozwalającą sprawdzić ten wniosek. Odbiorca nie potrzebuje całej narracji o rozważanych możliwościach, jeśli jego zadaniem jest przygotowanie wyposażenia. Potrzebuje podstaw, które może odtworzyć i odnieść do rzeczywistego zamówienia.

Inaczej wygląda pytanie badacza o proces wewnętrzny modelu. Potrzebuje specjalistycznych metod i jasno określonego przedmiotu badania. Samo poproszenie asystenta, aby jeszcze dokładniej opowiedział, co zrobił, nie tworzy takiego pomiaru. Nie utożsamiamy też krótkiego wyjaśnienia dla użytkownika z pełnym zapisem wszystkich procesów zachodzących w systemie.

Określenie chain of thought oznacza tu prezentowany ciąg kroków rozumowania. W badaniu Lanham i współautorów z 2023 roku autorzy ingerowali w taki ciąg, między innymi skracając go lub dodając błędy, i obserwowali zmianę odpowiedzi. Opisali różnice zależne od zadań. Wyniki nie uzasadniają uniwersalnego stwierdzenia, że każdy przedstawiony krok jest zawsze bez znaczenia.

Praktyczny wniosek dla naszego odbioru jest węższy: nie zastępuj kontroli wyniku oceną długości jego uzasadnienia. Wyjaśnienie może wskazać miejsce do sprawdzenia, ujawnić przyjęte założenie lub pomóc zadawać pytania. Te funkcje pozostają użyteczne, nawet gdy nie mamy podstaw, aby traktować tekst jako pełny zapis przyczyn powstania odpowiedzi.

Dwanaście części, trzy różne wyniki

Na potrzeby tego artykułu rzeczywiście wykonano własne, neutralne obliczenie w Node.js. Przyjęto fikcyjną regułę: zestaw składa się dokładnie z dwóch statywów i jednej belki. Szukamy największej możliwej liczby pełnych zestawów. Program wyliczał kolejne całkowite liczby zestawów i sprawdzał oba ograniczenia dostępności. Nie wywoływano modelu AI ani systemu magazynowego. Przedstawione wyżej zdanie asystenta jest wymyślone.

W pierwszym wariancie są cztery statywy i osiem belek. Można złożyć dwa pełne zestawy. Zużyją cztery statywy oraz dwie belki; pozostanie sześć belek. Dwanaście części rzeczywiście leży na półce, ale sześć z nich nie ma już potrzebnych towarzyszy do utworzenia kolejnych zestawów. Rachunek oparty na samej sumie zgubił strukturę zamówienia.

Możliwość przygotowania dwóch zestawów można sprawdzić przez zużycie części. Aby potwierdzić, że to wynik maksymalny, trzeba jeszcze wykluczyć trzeci zestaw. Wymagałby sześciu statywów, a dostępne są cztery. Mamy więc zarówno wykonalną kompletację, jak i konkretne ograniczenie zwiększenia wyniku. Zdanie „można złożyć dwa zestawy” samo nie wyjaśniałoby, dlaczego nie można przygotować trzech.

Ta różnica przydaje się, gdy AI rekomenduje najlepszy wariant. Sprawdzenie jednego poprawnego rozwiązania nie potwierdza jego przewagi nad wszystkimi pozostałymi. Zakres dowodu powinien odpowiadać słowom odpowiedzi. Jeżeli sprawdzono tylko wykonalność, nazwij wynik wykonalnym. Określenia „maksymalny” albo „najlepszy” wymagają dodatkowego uzasadnienia wobec kryterium, które zespół rzeczywiście przyjął.

W drugim wariancie osiem statywów i cztery belki wystarczają na cztery zestawy. Nic nie zostaje. Łączna liczba części nadal wynosi dwanaście. W trzecim wariancie mamy sześć statywów i sześć belek. Wynik to trzy zestawy i trzy pozostałe belki. Zmienił się skład zbioru, a nie jego całkowita liczebność.

Zachowano dane wejściowe, regułę i wyniki wszystkich trzech obliczeń. Ten dowód odpowiada wyłącznie na pytanie o fikcyjną kompletację. Nie potwierdza rzeczywistego stanu żadnego magazynu, zgodności technicznej elementów ani zachowania modelu. Pokazuje, jak uzyskać sprawdzalny wynik poza opowieścią asystenta i jak ograniczyć zakres własnej deklaracji.

Gdyby model dla wszystkich wariantów podał cztery zestawy, mielibyśmy konkretny błąd do poprawy. Jeżeli poda właściwe liczby, nie dowodzi to jeszcze, że wszystkie zdania jego uzasadnienia wiernie opisują proces wewnętrzny. Potwierdzamy zgodność wyników z tymi przypadkami. Nie dopisujemy rozstrzygnięcia pytania, którego metoda w ogóle nie badała.

W realnym procesie dochodzi znaczenie wejścia. Stan magazynowy może obejmować elementy zarezerwowane lub wyłączone z użycia. Poprawne obliczenie na nieodpowiednich liczbach nadal da złą podstawę działania. Najpierw ustal, co oznacza „dostępne”, i przypisz odpowiedzialność za dane. Nie obciążaj wyjaśnienia AI zadaniem potwierdzenia stanu, do którego system nie miał dostępu.

To dobry punkt wejścia do operacyjnego przeglądu użycia AI w Aeneia Audit: wybieramy decyzję, nazywamy jej podstawy i ustalamy, jakie dowody potwierdzają wynik. Rozmowa o „jakości rozumowania” staje się wtedy rozmową o określonej regule, danych i sposobie ich sprawdzenia.

Pytaj o podstawę, którą da się odczytać poza wyjaśnieniem

Przy obliczeniu poproś o użyte dane, jednostki i regułę. Przy informacji ze źródła — o właściwy fragment oraz wersję dokumentu. Przy działaniu narzędzia — o jego rzeczywisty wynik. To inne prośby niż „opisz swój tok myślenia bardziej szczegółowo”. Każda prowadzi do materiału, który można porównać z deklaracją asystenta.

Zachowaj także powiązanie między wejściem i odpowiedzią. Jeśli w czasie poprawki stan statywów zmieni się z czterech na osiem, nowy wynik nie wyjaśnia błędu dla starego przypadku. Trzeba zaznaczyć zmianę danych i ponownie sprawdzić właściwy wariant. Osoba czytająca końcowy raport powinna móc rozpoznać, czy poprawiono metodę, uzupełniono brak czy po prostu rozwiązano inne zadanie.

Nie pozwól też, aby sama opowieść modelu stała się źródłem danych do niezależnego przeliczenia. Jeżeli asystent omyłkowo zamieni cztery statywy na osiem, kalkulator może bezbłędnie policzyć niewłaściwe wejście. Własna kontrola zaczyna się od zatwierdzonego materiału. Dopiero z nim porównujemy wartości przeniesione do obliczenia.

Nie musisz żądać wielkiego rejestru dla każdej drobnej odpowiedzi. W naszym przykładzie wystarczą liczebności dwóch rodzajów części i skład zestawu. Jeśli wynik opiera się na kilku źródłach, przy każdym zapisz jego rolę w uzasadnieniu wniosku. Sam obszerny spis materiałów nie pokazuje, z którego pochodzi ograniczenie. Sprawdzenie tożsamości bibliografii poprzedza zresztą ocenę, czy wskazana praca w ogóle odpowiada tezie.

Gdy asystent opisuje wykonanie czynności, zwiąż raport z jej śladem. Zdanie „przeliczyłem wszystkie pozycje” wymaga określonego wejścia i wyniku. „Sprawdziłem plik” powinno pozwalać ustalić, co i w jakiej wersji odczytano. Jeśli mowa o testach kodu, sam opis oczekiwanej próby nie zastępuje jej uruchomienia.

Zmienione wyjaśnienie nie zatwierdza poprzedniego wyniku. Załóżmy, że po uwadze o proporcjach model dopisuje ograniczenie statywów, ale pozostawia liczbę cztery. Treść wygląda teraz dojrzalej, lecz zadanie nadal nie jest rozwiązane. Ponownie sprawdź wynik i pozostałości części, zamiast przyjmować poprawkę na podstawie samego przyznania racji.

Bywa również odwrotnie: model zmienia liczbę na dwa, pozostawiając zdanie o podzieleniu dwunastu przez trzy. Wynik pasuje do pierwszego przypadku, uzasadnienie do niego nie prowadzi. Taka odpowiedź wymaga uporządkowania przed przekazaniem pracownikowi. Powinien rozumieć, która reguła ogranicza kompletację, aby nie powtórzyć błędu przy następnym stanie magazynu.

Jeżeli brakuje danych, pomocna odpowiedź wskazuje brakujące pole. Zamiast „nie jestem pewien” potrzebujemy pytania o liczbę dostępnych statywów. Deklarowany procent pewności AI nie zastąpi tej informacji. Nawet bardzo wysoki procent nie tworzy brakującej ewidencji ani definicji dostępności.

Wpływu nie trzeba opisać, żeby istniał

W autorskim opisie badania Anthropic z 2025 roku analizowano, czy modele ujawniają użycie podpowiedzi wpływających na odpowiedzi. Nie zawsze tak się działo. Autorzy zaznaczają ograniczenia: sztucznie przygotowane podpowiedzi, pytania wielokrotnego wyboru i wskazane modele. To nie pomiar każdego dzisiejszego procesu firmowego.

Nie wyciągamy z tego diagnozy, dlaczego konkretny asystent pomylił kompletację. W raporcie wystarczy na początek zapisać: podano cztery zestawy, lecz przy czterech statywach można złożyć najwyżej dwa. To wskazuje rozbieżność i właściwą regułę do ponownego sprawdzenia. Wyjaśnianie przyczyny jest osobnym etapem, a nie warunkiem rozpoznania jawnie błędnej liczby.

Podobną ostrożność zachowaj przy sprawdzaniu przez drugi model. Zgodne uzasadnienia mogą powtarzać to samo założenie o łącznej liczbie części. W ocenie modelu używanego jako sędzia potrzebny jest wzorzec właściwy dla zadania. Drugi elegancki opis nie zamienia pierwszego w niezależnie potwierdzony rachunek.

Przy przygotowywaniu próby wyodrębnij badaną różnicę i zachowaj pozostałe warunki. Nasze trzy warianty mają tę samą sumę części, ale inne proporcje. To pozwala ocenić wyniki wobec konkretnej reguły. Nie należy przedstawiać takiej małej próby jako oceny wszystkich zdolności modelu ani przewidywania częstości błędu w codziennej pracy.

Krótsze wyjaśnienie może lepiej służyć pracy

Po sprawdzeniu pierwszego wariantu użyteczna odpowiedź brzmi: „Można przygotować dwa zestawy. Każdy zużywa dwa statywy i jedną belkę. Cztery statywy wyczerpują zapas; pozostaje sześć belek”. To własne objaśnienie prawidłowego wyniku przykładu. Pozwala pracownikowi sprawdzić kompletację bez odgadywania znaczenia sumy dwunastu części.

Osobie zatwierdzającej potrzebne będą ponadto wejście i zapis obliczenia. Osobie wydającej wyposażenie — odpowiednie pozycje oraz potwierdzony rzeczywisty stan. Wyjaśnienie dobiera się do zadania i odbiorcy. Rozbudowywanie jednego tekstu dla wszystkich może ukryć istotny warunek pośród długich przejść, które nikomu nie pomagają przygotować sali.

W zasadach weryfikowania pracy z AI warto więc określić, jakie podstawy towarzyszą poszczególnym wynikom. Nie chodzi o obowiązkową rozprawkę. Chodzi o możliwość sprawdzenia tego elementu, od którego zależy dalsze działanie, oraz jasny zapis tego, czego nie ustalono.

Przed zatwierdzeniem wybierz jedno zdanie niosące decyzję i zapytaj, co mogłoby je podważyć. W naszym przykładzie wystarcza liczba statywów. Jeśli odpowiedzią jest wyłącznie kolejne zdanie modelu o własnej staranności, dowodu nadal brakuje. Zamiast zamawiać dłuższe wyjaśnienie, odczytaj właściwe wejście i wykonaj potrzebne sprawdzenie.