Kiedy AI powinna powiedzieć nie wiem: sprawdź także dobrą odmowę

„Nie mam wystarczających informacji” bywa najlepszą odpowiedzią asystenta. Bywa też eleganckim sposobem na niewykonanie prostego zadania. Firma potrzebuje odróżniać te sytuacje, zanim uzna liczbę odmów za dowód jakości. Narzędzie, które milczy po każdym pytaniu, nie zmyśla. Trudno jednak wystawić mu za to referencje.

Dobra odmowa wskazuje brakującą podstawę, zachowuje to, co wiadomo, i prowadzi do wykonalnego następnego kroku. Nie musi oznaczać końca rozmowy. Czasami wystarczy dopytać o wariant produktu, czasami trzeba znaleźć właściwy dokument, a czasami oddać sprawę osobie z odpowiednimi uprawnieniami. Ocena AI powinna obejmować także ten wybór.

Trzy powody podobnie brzmiącego milczenia

Wyobraźmy sobie fikcyjnego asystenta pracowni, która przyjmuje zamówienia na organizery biurkowe. Narzędzie korzysta z zatwierdzonego katalogu i instrukcji obsługi zapytań. Klient pyta o szerokość wybranego modelu, ale nie podaje jego nazwy. Informacja istnieje, lecz pytanie nie określa, której pozycji dotyczy. Rozsądną reakcją będzie prośba o doprecyzowanie.

Drugi klient podaje model i pyta o termin dostępności. Katalog nie zawiera stanu magazynowego, a asystent nie ma dostępu do systemu zamówień. Tu doprecyzowanie nazwy niczego nie naprawi. Potrzeba innego źródła lub osoby, która może potwierdzić termin. Dopisywanie kolejnych pytań klientowi jedynie wydłuży drogę do tego samego braku.

Trzecia wiadomość dotyczy oceny nośności półki, której pracownia nie produkuje i nie opisuje. To sprawa poza zakresem dostępnych materiałów oraz zadania asystenta. Powinien powiedzieć, co może wyjaśnić, a czego nie potwierdzi. Uczciwa granica jest tu użyteczniejsza niż ogólna porada, która zabrzmi fachowo dzięki trzem technicznym rzeczownikom.

Te trzy odpowiedzi mogą zaczynać się podobnie, lecz wymagają innego dalszego działania. Przygotuj dla zespołu rozpoznawalne rozróżnienie: niejasne pytanie, brak potrzebnego źródła, sprawa poza zakresem. Awarię dostępu zapisz osobno. Nieudane pobranie dokumentu nie potwierdza przecież, że dokument nie istnieje. Po przywróceniu dostępu tę samą sprawę można sprawdzić ponownie, zachowując wcześniejszy wynik jako obserwację awarii.

W obiegach opartych na RAG sprawdzaj miejsce utraty podstawy. Wyszukiwanie mogło nie odnaleźć właściwego materiału, choć znajduje się on w zatwierdzonej bazie. Jeżeli każdą taką sytuację nazwiesz dobrą odmową, ukryjesz słabość wyszukiwania. Poprawnie ograniczona odpowiedź może współistnieć z usterką wcześniejszego etapu procesu.

„Nie wiem” trzeba dopuścić, a potem sprawdzić

Dokumentacja Claude dotycząca ograniczania halucynacji zaleca jawne dopuszczenie niepewności i weryfikowanie twierdzeń na podstawie materiałów źródłowych. Taka instrukcja może pomóc ograniczać odpowiedzi bez podstaw. Sama obecność zdania o niewiedzy w instrukcji nie jest jednak wynikiem testu twojego procesu.

W roboczym przypadku zapisz, jak asystent powinien postąpić z brakującą nazwą organizera. Następnie wyślij wiadomość z nazwą oraz odpowiednim fragmentem katalogu. Narzędzie powinno teraz móc udzielić odpowiedzi. Jeżeli odmawia w obu sytuacjach, być może zespół nauczył je ostrożnego tonu, lecz nie rozpoznawania dostępnych informacji.

Przygotuj także parę pytań różniących się jednym istotnym warunkiem. W pierwszym źródło podaje wyłącznie wymiary zewnętrzne, a odbiorca pyta o nie wprost. W drugim chce poznać rozmiar przestrzeni wewnętrznej. Sprawdź, czy model nie przenosi liczby między tymi dwiema rolami. Podobne słowa nie tworzą brakującego pomiaru.

Nie żądaj od asystenta deklaracji, że jest absolutnie pewny. Taka deklaracja pozostaje tekstem odpowiedzi. Jeżeli zapisujesz ocenę pewności, określ, co ta liczba ma oznaczać. Potem porównaj ją z poprawnością na zadaniach, które narzędzie rzeczywiście wykonuje. „Jestem przekonany” łatwo napisać. Pracownia nadal nie dostaje przez to brakującej specyfikacji.

Badanie Two Axes of LLM Abstention z lipca 2026 roku rozdziela poprawność odpowiedzi od rozpoznania, czy na pytanie w ogóle da się odpowiedzieć. Autor bada te osie na określonym zestawie modeli i zadań. To powód, by sprawdzać oba aspekty oddzielnie, a nie gotowy wynik dotyczący dowolnego firmowego asystenta.

Oceniając odpowiedź, wskaż więc podstawę. Czy wybrany wymiar rzeczywiście występował w materiale? Czy pytanie wymagało informacji, której zabrakło? Czy można było udzielić częściowej odpowiedzi bez sugerowania reszty? Własny zestaw rozstrzygnięć będzie bardziej użyteczny niż obserwacja, że model brzmi raz śmiało, a raz powściągliwie.

Pytanie może przemycać niepotwierdzony fakt

Klient pisze: „Dlaczego wycofaliście wersję z drewnianą przegrodą?”. Dostępny katalog pokazuje różne produkty, ale nie zawiera informacji o takim wycofaniu. Asystent powinien rozpoznać, że samo pytanie nie potwierdza opisanego zdarzenia. Wymyślenie przyczyny byłoby odpowiedzią na podstawie założenia dostarczonego przez rozmówcę, a nie na podstawie wiedzy pracowni.

Może odpowiedzieć, że nie ma potwierdzenia wycofania tej wersji i poprosić o nazwę lub odnośnik do produktu. Jeżeli odnalazł aktualną kartę, może wskazać jej zawartość, zachowując zakres informacji. Nie powinien jednak orzekać, że klient zmyślił zdarzenie. Materiały asystenta również mogą być niepełne. Jego zadaniem jest oddzielić potwierdzony fakt od pytania wymagającego sprawdzenia.

Przygotuj odpowiednik tego przykładu z rzeczywistym, udokumentowanym wycofaniem. Wtedy oczekiwana odpowiedź będzie inna. Taka para pomaga zobaczyć, czy narzędzie korzysta z podstawy, czy automatycznie podważa każde pytanie zawierające słowo „dlaczego”. Podejrzliwość bez rozróżniania również może utrudniać obsługę. Właściwy wynik zależy od informacji dostępnych w danej próbie.

Uważaj także na zdanie „nie ma takiej możliwości”. Brak opisu w katalogu może uzasadniać wyłącznie „nie mogę tego potwierdzić na podstawie dostępnych informacji”. Pierwsze zdanie zamyka sprawę, drugie określa granicę wiedzy i pozwala sprawdzić ją dalej. W odbiorze procesu oceń tę różnicę znaczenia, nawet gdy oba komunikaty brzmią równie uprzejmie.

Odmowa może mieć swój koszt

Przesadne powstrzymywanie się od odpowiedzi przekazuje zwykłe sprawy ludziom. Zespół zaczyna przepisywać wymiary, które były dostępne od początku. Użytkownik czeka, chociaż system ma potrzebny materiał. Jeśli chcesz ocenić użyteczność narzędzia, zapisuj takie przypadki obok odpowiedzi bez podstaw. Oba rodzaje pomyłek zmieniają przebieg pracy.

Nie łącz ich w jedną liczbę bez pokazania składników. Dziewięć trafnych odmów i jedna bezpodstawna odpowiedź mogą mieć inne znaczenie niż jedna trafna odmowa i dziewięć niepotrzebnych przekazań. Potrzebujesz wiedzieć, przy jakich zadaniach powstały błędy oraz jaki skutek miało dalsze działanie. Przykładowe liczby opisują tu konstrukcję porównania, nie wynik badania.

Kryterium akceptacji ustal przed obejrzeniem odpowiedzi. Jeżeli źródło zawiera szerokość organizera, a pytanie jednoznacznie wskazuje model, bezpodstawna odmowa powinna zostać rozpoznana. Jeżeli pytanie dotyczy terminu bez danych magazynowych, zgrabnie podana data nie powinna dostać punktu za uprzejmość. Ładny styl ma swoją rolę, ale nie prowadzi magazynu.

Przed wspólnym omawianiem wyników poproś dwie osoby o ocenę wybranych przypadków według tego samego kryterium. Jeśli jedna uznaje brak stanu magazynu za powód dopytania o kolor, a druga za powód przekazania sprawy, wyjaśnij rozbieżność w instrukcji oceny. Samo głosowanie nie ustali właściwej drogi. Potrzebujesz decyzji osoby znającej rzeczywisty sposób obsługi zamówień.

Wzorzec powinien obejmować dopuszczalne znaczenia, nie jedno obowiązkowe zdanie. „Podaj nazwę organizera” i „Który model masz na myśli?” mogą realizować to samo dopytanie. Przy każdym rozstrzygnięciu zachowaj uzasadnienie oparte na materiale i zadaniu. Dzięki temu nowa osoba w zespole zrozumie, skąd wzięła się ocena, zamiast jedynie odtwarzać ulubione sformułowanie autora.

Sprawdź także odpowiedź po uzupełnieniu danych. Jeśli klient podał nazwę, narzędzie powinno wykorzystać tę informację i przejść dalej. Ponowne żądanie tego samego szczegółu ujawnia usterkę ciągłości rozmowy. Jednorazowy test poprawnego dopytania mógłby ją przeoczyć, chociaż użytkownik zobaczy ją już przy drugiej wiadomości. Do odbioru potrzebujesz więc zarówno właściwej odmowy, jak i sensownego powrotu do zadania.

W ocenie automatycznej też trzeba zachować to rozróżnienie. Model pełniący rolę sędziego może premiować gładką, kompletną odpowiedź, nawet gdy kompletność powstała przez dopisanie szczegółu. Daj mu jawne kryterium i porównaj jego decyzje z oceną człowieka. Potem sprawdź przypadki rozbieżne.

Zapisuj również, czy odmowa dotyczy całego pytania. Asystent może znać materiał wykonania i wymiary, lecz nie znać terminu dostawy. Jeżeli te części da się bezpiecznie rozdzielić, odpowiedź może przekazać dostępne informacje i wskazać brak. Całkowite milczenie nie jest wtedy jedynym sposobem zachowania granic.

Następny krok ma być dostępny naprawdę

„Skontaktuj się z obsługą” niewiele pomaga, jeżeli odbiorca już rozmawia z obsługą przez ten sam formularz. Dalsza droga powinna wynikać z możliwości firmy. Może to być przekazanie sprawy wraz z dotychczasowym opisem, wskazanie czynnego kanału kontaktu albo jasna prośba o jedną brakującą informację.

W fikcyjnej pracowni asystent przekazuje pytanie o termin osobie mającej dostęp do zamówień. Zachowuje nazwę produktu i pytanie klienta. Nie dopisuje, że termin został zarezerwowany, ponieważ nic takiego się nie wydarzyło. Odbiorca powinien rozumieć różnicę między przyjęciem pytania do sprawdzenia a potwierdzeniem dostępności.

Jeśli przekazanie wymaga działania narzędzia, sprawdź także jego wynik. Gdy następny etap wykonuje inny agent, odbierz również przekazanie zadania: powinien otrzymać pytanie, dostępne materiały i informację o rozpoznanym braku. Wygenerowane zdanie „przekazałem sprawę” nie potwierdza utworzenia zgłoszenia. Potrzebny jest obserwowalny stan procesu. Gdy operacja się nie uda, odpowiedź powinna odzwierciedlać awarię i wskazywać dostępną alternatywę. Inaczej model odmówi udzielenia informacji, po czym zmyśli skuteczną pomoc.

Przy kolejce wyjątków w automatyzacji ustal odpowiedzialność za taki przypadek. Sama obecność rekordu na liście nie oznacza, że ktoś go odbierze. Osoba przejmująca sprawę potrzebuje pytania, rozpoznanego braku i materiałów, do których asystent faktycznie miał dostęp. Powtórna rozmowa od zera podważa sens przekazania.

Podczas próby odbioru przejdź całą drogę z punktu widzenia użytkownika. Odczytaj odmowę, wykonaj wskazany krok i zobacz, co dzieje się dalej. Sprawdź, czy pytanie nie wraca do tego samego asystenta bez nowego źródła. Zapętlona uprzejmość to nadal pętla, nawet jeśli w każdym obrocie życzy miłego dnia.

Zachowaj przypadki, które psują wygodną ocenę

Po każdej poprawce zachowaj przykład bezpodstawnej odpowiedzi oraz niepotrzebnej odmowy. Nie wybieraj wyłącznie grupy, w której nowa instrukcja wygląda dobrze. Przygotuj też świeże sytuacje. Niezależność zestawu testowego ma znaczenie również wtedy, gdy oceniasz umiejętność powstrzymania się od odpowiedzi.

W szkoleniu zespołu z weryfikacji AI pokaż te pary obok siebie. Pracownik powinien wiedzieć, kiedy brak odpowiedzi jest poprawnym zachowaniem i jakiej podstawy szukać przed jej zaakceptowaniem. Nie musi rozpoznawać jakości po tonie głosu modelu ani przepraszać klienta za granicę, której przestrzeganie uzgodniono.

Do rozmowy z Aeneia Audit przynieś pytanie, dostępne źródło i odpowiedź, przy której zespół się zawahał. Ustalimy, czy brakowało informacji, dostępu, jednoznaczności czy właściwego rozstrzygnięcia. Od tego zależy poprawka. Dopisanie „bądź dokładniejszy” do instrukcji nie załatwi wszystkich czterech spraw.