Jesteśmy pewni na osiemdziesiąt procent: czy zespół wie, co to znaczy

„Na osiemdziesiąt procent zdążymy” może znaczyć wiele rzeczy: mamy mocne podstawy, bardzo chcemy zdążyć albo wypadało już podać jakąś liczbę. Odbiorca często nie wie, które znaczenie właśnie dostał. Dopiero zapis konkretnego przewidywania i późniejszy powrót do wyniku pozwalają sprawdzić, jak zespół używa języka pewności.

Kalibracja prognoz oznacza związek między deklarowanym prawdopodobieństwem a częstością zdarzeń w odpowiedniej grupie przewidywań. Pojedynczy wynik jej nie rozstrzyga. Jeśli wydarzenie uznane za bardzo prawdopodobne nie nastąpi, nie dowodzi to samo w sobie, że podana szansa była bezsensowna. Trzeba patrzeć na wiele jasno rozstrzygniętych pytań, zachowując warunki ich oceny.

Wyobraźmy sobie firmę przygotowującą cyfrowy katalog materiałów. Zespół chce lepiej przewidywać, czy otrzyma komplet danych przed zaplanowanym przeglądem. Używa również asystenta AI do porządkowania informacji o sprawach. Nie oczekuje przepowiedni. Chce zobaczyć, kiedy mówi zbyt stanowczo, czego nie uwzględnia i co zmienia jego ocenę.

Zacznij od zdarzenia, które da się później rozstrzygnąć

„Projekt pójdzie dobrze” nie ma wystarczająco wyraźnego końca. W naszym przykładzie pytanie może brzmieć: „Czy do ustalonego terminu otrzymamy komplet materiałów opisany w tej liście?”. Trzeba wskazać datę, znaczenie kompletności i miejsce potwierdzenia wyniku. Jeśli kilka osób interpretuje pytanie inaczej, ich liczby nie opisują tego samego przewidywania.

Oddziel prognozę od celu. Celem firmy może być otrzymanie materiału przed piątkowym przeglądem. Prognoza opisuje ocenę szans, że tak się stanie przy obecnej wiedzy. Plan wskazuje działania, które zespół podejmie. Te trzy zdania można zapisać obok siebie. Żadne nie musi udawać pozostałych tylko dlatego, że w kalendarzu jest jedno pole na datę.

Scenariusze strategiczne odpowiadają na inne pytanie: jakie odmienne warunki warto wziąć pod uwagę? Kalibracja dotyczy późniejszego porównania liczbowych ocen z rozstrzygniętymi zdarzeniami. Można korzystać z obu sposobów myślenia. Nie należy jednak przypisywać scenariuszowi przypadkowej szansy, żeby wstawić go do zestawienia prognoz.

Warto zacząć od rodzaju zdarzeń, dla którego firma potrafi zachować dane i wynik. W naszym katalogu kompletność materiału jest opisana przed oceną. Gdy po terminie dopiszemy nowy wymagany załącznik, zmieni się pytanie. Wówczas trzeba pokazać zmianę, zamiast wstecz uznać wcześniejszy materiał za niekompletny według nowej definicji.

Co wniosły badania nad prognozowaniem

Mellers i współautorzy w publikacji z 2014 roku badali prognozy zdarzeń geopolitycznych w turnieju z lat 2011–2013. Rozróżniali kalibrację i zdolność odróżniania bardziej prawdopodobnych zdarzeń od mniej prawdopodobnych. W warunkach badania wykazali korzyści z określonego szkolenia probabilistycznego oraz współpracy zespołowej. Nie oznacza to gwarancji trafnego przewidywania terminów polskiej firmy.

Opis programu ACE w IARPA wskazuje zbieranie i łączenie ocen prawdopodobieństwa oraz ich empiryczne sprawdzanie wobec rzeczywistych zdarzeń. To opis celu programu badawczego. Dla naszego przykładu istotne jest powiązanie przewidywania z późniejszym rozstrzygnięciem. Samo zebranie opinii podczas narady nie zamyka jeszcze takiej próby.

Firma może zacząć od zachowania pytania, oceny, jej uzasadnienia oraz wyniku. Taki zapis pozwala zobaczyć, czy wspólny język pewności ma oparcie w doświadczeniu. Nie potrzebujemy od razu tytułu najlepszego prognosty miesiąca; potrzebujemy możliwości uczenia się bez poprawiania wspomnień.

W notatce decyzyjnej dla zarządu można oddzielić przewidywany wynik od wyboru działania. Decyzja może być rozsądna także wtedy, gdy mało prawdopodobne zdarzenie ostatecznie nastąpi. Aby ocenić wybór, trzeba znać wiedzę dostępną w jego chwili, a nie wyłącznie późniejszą historię sukcesu lub trudności.

Podobne zdarzenia pomagają zrozumieć liczbę

W naszym katalogu zespół może wrócić do wcześniejszych próśb o dane. Najpierw sprawdza, które rzeczywiście były podobne: ten sam rodzaj materiału, zbliżony zakres i porównywalny etap. Nie sumuje wszystkich kontaktów klienta, włączając szybkie potwierdzenie adresu i opracowanie zupełnie nowej specyfikacji. Wspólna etykieta „czekamy na odpowiedź” nie zapewnia podobnego przebiegu.

Załóżmy wyłącznie dla ilustracji, że z dziesięciu opisanych dawnych spraw osiem zakończyło się przed określonym terminem. To informacja o tym małym zbiorze. Nie gwarantuje takiej samej częstości w przyszłości. Zespół powinien sprawdzić, czy obecna prośba różni się zakresem, dostępnością odbiorcy albo kompletnością przekazanego wejścia. Liczba porządkuje pytanie; nie zwalnia z odczytu przypadku.

Gdy brakuje porównywalnych danych, pokaż tę lukę przy ocenie. Nie dopisuj pozornej dokładności tylko dlatego, że formularz przyjmuje procent z dwoma miejscami po przecinku. Można zapisać wstępny osąd z wyraźną podstawą i warunkiem ponownego sprawdzenia. Zespół powinien wiedzieć, czy korzysta z powtarzalnego doświadczenia, pojedynczego sygnału czy własnego przypuszczenia.

Zgodna opinia rady klientów również nie jest automatycznie częstością przyszłych zakupów całego rynku. Rozmówcy mogą dobrze wyjaśniać własne potrzeby, ale ich dobór i zakres pytań wyznaczają granicę wniosku. Jeśli zespół chce zapisać prognozę konkretnego zdarzenia, musi osobno określić jej podstawę i sposób późniejszego rozstrzygnięcia.

Aktualizacja nie powinna usuwać wcześniejszej oceny

W fikcyjnym przykładzie początkowa prognoza powstaje przed otrzymaniem części danych. Następnego dnia klient przesyła materiały, lecz wskazuje brak jednego załącznika. To nowa informacja. Zespół może zmienić ocenę, zachowując poprzedni zapis, moment zmiany i uzasadnienie. Dzięki temu widać, jak rozumiał sytuację przed wiadomością oraz po jej otrzymaniu.

Nie nadpisuj pierwszej liczby ostatnią tuż przed terminem. Późniejsza prognoza może korzystać ze znacznie bogatszej wiedzy. Jeśli porównujemy oceny, trzeba wskazać, z jakiego momentu pochodzą. Ocena wystawiona po potwierdzeniu wykonania nie jest już przewidywaniem tego samego zdarzenia w warunkach wcześniejszej niewiedzy.

Osobno zapisz działanie firmy. Jeżeli po prognozie zespół wysyła uzupełniające pytanie, może zmienić przebieg sprawy. Wynik nadal da się odnotować, ale przy interpretacji trzeba zachować informację o tej interwencji. Prognozowanie w organizacji nie odbywa się zawsze z widowni. Czasem człowiek stawiający pytanie sam później pomaga doprowadzić do wyniku.

Ograniczony eksperyment biznesowy może służyć sprawdzeniu konkretnej zmiany. Kalibracja ocen jest odrębnym zadaniem. Nie należy przypisywać poprawy wyników samej trafności prognozy, jeśli w tym czasie zmieniono sposób kontaktu, zakres materiału i termin. Zachowanie kolejności zdarzeń pomaga uniknąć takiego skrótu.

Jedna odpowiedź klienta może rozstrzygać inne pytanie

Wróćmy do katalogu. Załóżmy, że lista obejmuje opis produktu i dwa określone załączniki. Klient odpowiada przed terminem, dołączając opis oraz jeden plik. Asystent zaznacza w podsumowaniu, że odpowiedź nadeszła. Zespół powinien sprawdzić, które zdarzenie właśnie potwierdzono. Pytanie o nadejście wiadomości ma inny wynik niż pytanie o komplet opisany na początku. W tym fikcyjnym obiegu trzeba odróżnić status wiadomości od statusu oczekiwanego materiału.

Jeśli w zestawieniu prognoz zapisano kompletność, samej obecności wiadomości nie wolno przyjąć za wynik pozytywny. Osoba odpowiedzialna odnosi otrzymany materiał do ustalonej listy. Jeżeli brakujący załącznik trafi później, zachowuje oba momenty. Dzięki temu można odróżnić termin odpowiedzi, termin dostarczenia kompletu i termin zakończenia jego oceny. W przeciwnym razie wynik będzie wyglądał korzystniej wyłącznie dlatego, że po drodze zmieniono znaczenie słowa „otrzymane”.

Wyobraźmy sobie teraz, że firma po pierwszej wiadomości uzgadnia inny termin. Stare pytanie powinno otrzymać wynik według pierwotnej daty, jeżeli nadal można go ustalić. Nowy termin może stać się podstawą następnej prognozy. Nie trzeba udawać, że poprzednia sprawa nigdy nie istniała. Zespół może jednocześnie uznać zmianę planu za sensowną i zachować informację, że wcześniejszy przewidywany termin nie został spełniony.

Po takim przypadku poprawka może dotyczyć danych wejściowych do oceny. Zamiast jednego statusu „klient odpowiedział” biuro potrzebuje rozróżnienia, czy otrzymano wskazany komplet. To nie dowodzi jeszcze, że następne prognozy będą trafniejsze. Daje jednak lepszą podstawę do ich formułowania i późniejszego sprawdzania. Przy kolejnych ocenach zespół zapisuje, że korzysta już z nowej informacji, aby nie mieszać jej z poprzednim sposobem opisu spraw.

Właśnie takie wyjaśnienie bywa bardziej użyteczne od dyskusji, czy należało wpisać siedemdziesiąt czy osiemdziesiąt procent. Jeżeli dwie osoby przewidywały inne zdarzenia, sama korekta liczby nie naprawi porównania. Najpierw uzgadniamy pytanie i dowód wyniku, a dopiero potem zastanawiamy się, jak uzasadniona była deklarowana pewność.

Powrót do wyników wymaga całego zbioru

Po ustalonym czasie rozstrzygnij pytania według przyjętych zasad. Oznacz te, których nie dało się ocenić, i wyjaśnij dlaczego. Nie odrzucaj niewygodnego przypadku tylko dlatego, że zmniejsza trafność zestawienia. Jeśli zdarzenie zmieniło definicję, pozostaw tę informację. Jeśli wynik jest znany, zachowaj źródło potwierdzenia zamiast polegać na pamięci uczestników.

Zestawiaj deklarowane szanse z późniejszą częstością zdarzeń w odpowiednich grupach ocen, na przykład zbliżonych do osiemdziesięciu procent. Pokaż także liczebność każdej grupy. Kilka prognoz o wysokiej pewności nie tworzy mocnej podstawy do oceny całego sposobu przewidywania. Znaczenie ma również rodzaj pytań. Łatwe, niemal przesądzone zdarzenia i trudne sprawy z wieloma niewiadomymi mogą dać odmienne wyniki. Zbiorczy procent trafień bez tej informacji jest trudny do wykorzystania.

Nie myl ostrożnego języka z użytecznością. Zespół podający zawsze tę samą pośrednią szansę może unikać stanowczych pomyłek, lecz niewiele odróżniać. W badaniu Mellers i współautorów kalibracja oraz rozróżnianie zdarzeń były odrębnymi częściami oceny. Własne zestawienie firmy powinno więc pomagać zobaczyć, czy nowe informacje rzeczywiście zmieniają osąd, a nie tylko czy ludzie ostrożniej dobierają słowa.

Kiedy wynik zaskoczy, można odtworzyć przyczyny problemu na podstawie dowodów. Pytanie brzmi wtedy: czego nie zauważyliśmy, co wydarzyło się później i które założenie było błędne? Sama pomyłka nie uprawnia do przypisania winy ani do ogłoszenia jednej przyczyny dla wszystkich podobnych spraw.

Gdzie w tym miejsce dla AI

Jeśli asystent porządkuje informacje o sprawach, oddziel jego zapis od osądu zespołu. Powinno być wiadomo, z których danych korzystano i czego w nich brakowało. Liczba wygenerowana w odpowiedzi nie zyskuje kalibracji przez sam wygląd. Aby sprawdzać prognozy narzędzia, trzeba zachować jego konkretne przewidywania i późniejsze wyniki, z właściwymi granicami zastosowania.

W Aeneia Audit można rozpocząć rozmowę od obiegu informacji, na którym opiera się ocena zastosowania AI. Przygotuj konkretne pytanie, dane wejściowe oraz sposób sprawdzania wyniku. Rozdzielenie obserwacji, hipotezy i przewidywania ułatwia ocenę tego, co rzeczywiście robi narzędzie i gdzie nadal potrzebne jest ludzkie rozstrzygnięcie.

Dobrze zachowana prognoza nie musi kończyć się efektownym „mówiłem”. Może zakończyć się uczciwszym zdaniem: „Wtedy wiedzieliśmy to, później doszła ta informacja, a teraz zmieniamy sposób oceny”. Dla następnej decyzji taki zapis ma więcej wartości niż wspólna pamięć, w której wszyscy od początku przeczuwali właściwy wynik.