Prognoza AI na przyszły tydzień: sprawdź ją z miejsca, w którym nie znała przyszłości

Najlepsza prognoza przyszłego tygodnia powstała w piątek, po jego zakończeniu. Dostała ostateczne liczby, poprawione kategorie zgłoszeń i wynik kampanii. Wyjaśniła wszystko niemal idealnie. Szkoda tylko, że grafik zespołu trzeba było przygotować w poprzedni czwartek, kiedy tych informacji jeszcze nie było.

Ten fikcyjny przykład pokazuje różnicę między odtworzeniem przeszłości a sprawdzeniem prognozy. Dawny tydzień może służyć do oceny, jeśli model korzysta z wiedzy dostępnej w dniu wydania prognozy. Późniejsze informacje odpowiadają na inne pytanie niż to zadane przez osobę planującą obsługę.

Odbiór prognozy zacznij więc od daty jej wydania. Ustal, co zespół wtedy wiedział, na jaki okres przewidywał liczbę spraw i jaką decyzję miał podjąć. Dopiero do tego dobieraj materiał oceny, prosty punkt odniesienia oraz sposób opisania błędu.

Czwartek ma własny stan wiedzy

Przyjmijmy, że pracownia w każdy czwartek rano planuje obsługę zapytań na następny tydzień. Model ma przewidzieć liczbę nowych spraw dla poszczególnych dni roboczych. To inna sytuacja niż przewidywanie jutrzejszego wyniku pod koniec dnia albo sumy na cały następny miesiąc. Okres wyprzedzenia prognozy, nazywany horyzontem, jest częścią zadania.

Zapisz moment graniczny wraz ze strefą czasową. Co znajduje się w danych w czwartek o ósmej? Ostatni dzień może być już zamknięty albo wciąż czekać na import części kanałów. Wynik tygodnia w dzisiejszym raporcie nie musi odpowiadać wartości widocznej wtedy. Do próby potrzebny jest stan dostępny w dniu prognozy lub uczciwie opisane ograniczenie jego odtworzenia.

Dla każdej dodatkowej informacji wskaż czas, od którego jest znana. Plan kampanii na następny tydzień może być dostępny wcześniej. Rzeczywista liczba kliknięć tej kampanii już nie.

Jeśli przyszły plan nie jest jeszcze zatwierdzony, rozdziel warianty. Prognoza przy uruchomieniu kampanii i prognoza bez niej odpowiadają na dwa różne zestawy założeń. Oznacz je jako scenariusze, nie jako dwie sprzeczne pewne zapowiedzi. Zapisz, kto potwierdzi wybór przed wykorzystaniem wyniku w grafiku. Po zakończeniu okresu sprawdź też, który wariant faktycznie obowiązywał; inaczej porównasz wynik z prognozą dla warunków, które w ogóle nie wystąpiły. Planowana przyszła informacja jest czymś innym niż później poznany rezultat, nawet jeśli oba pola mają podobną nazwę. Tak samo rozdziel zaplanowane godziny otwarcia od ostatecznego czasu obsługi przyszłych zgłoszeń. Data tygodnia nie czyni obu informacji dostępnymi z wyprzedzeniem.

Zwróć uwagę na dane poprawiane później. Sprawa pierwotnie oznaczona jako pytanie o produkt może po rozmowie otrzymać kategorię reklamacji. W archiwum widzisz dziś końcową etykietę. Jeśli do historycznej prognozy wstawisz ją tak, jakby była znana od razu, model korzysta z późniejszego rozpoznania. Data utworzenia sprawy nie wystarcza do określenia dostępności wszystkich jej pól.

Podobny problem powstaje przy oczyszczaniu danych. Jeżeli sposób uzupełniania braków albo przekształcania wartości został ustalony na całym okresie, sprawdź, czy nie wykorzystuje także przyszłej części oceny. Osoba odbierająca nie musi znać każdego wzoru. Powinna jednak otrzymać opis, które ustalenia powstały przed datą prognozy i z jakich danych.

To szczególny przypadek przecieku zestawu testowego AI. Tutaj granicę wyznacza także dostępność wiedzy w czasie. Chronologiczny porządek wierszy pomaga, ale nie gwarantuje, że do wcześniejszego wiersza nie dopisano późniejszej informacji.

Sprawdź kolejne daty wydania w tych samych warunkach

Zamiast sprawdzić jeden wygodny tydzień, wybierz kolejne historyczne daty wydania. Dla każdej odtwórz dozwolone wejście, przygotuj prognozę tego samego rodzaju i porównaj ją z później poznanym wynikiem. To próba krocząca: punkt, z którego patrzysz w przyszłość, przesuwa się przez historię.

Dokumentacja scikit-learn TimeSeriesSplit opisuje podziały zachowujące uczenie na wcześniejszych obserwacjach i ocenę na późniejszych. Parametr gap pozwala pominąć określoną liczbę obserwacji przed częścią testową. Dokumentacja wskazuje obserwacje w równych odstępach czasu jako warunek porównywalności miar między częściami oceny. Sam podział nie kontroluje dostępności wszystkich pól danych.

W naszym planowaniu przerwa powinna odpowiadać rzeczywistej sytuacji. Jeśli w czwartek nie ma jeszcze pełnych danych ze środy, nie udawaj ich gotowości w próbie. Nie dodawaj jednak arbitralnego odstępu wyłącznie po to, by raport wyglądał ostrożniej. Uzgodnij, co zespół faktycznie może otrzymać na czas i jak długo trwa przygotowanie wejścia.

Zachowaj ten sam horyzont, którego użyje firma. Dobra prognoza na jutro nie potwierdza jakości przewidywania na cały następny tydzień. Sprawdź wyniki osobno według odległości od daty wydania, jeśli decyzja tego wymaga. Osoba układająca grafik powinna zobaczyć, gdzie wynik przestaje być wystarczająco użyteczny, zamiast dostać jedną średnią dla wszystkich dni.

Wybierz także różne warunki: zwykły rytm, okres większego zainteresowania, dni po zamknięciu obsługi oraz zmianę kanału napływu. Nie przypisuj pojedynczej udanej próbie reprezentatywności dla całego roku. Jeśli historia nie obejmuje ważnego zdarzenia, zapisz brak. Model sprawdzony na spokojnym miesiącu nie otrzymuje z tego powodu certyfikatu na świąteczny szczyt.

Nie poprawiaj ustawień po każdym obejrzanym wyniku, a potem nie licz wszystkich tych tygodni jako niezależnej oceny końcowej. Oddziel część do dopracowania rozwiązania od późniejszej próby ustalonej wersji. Zachowaj informację, kiedy zmieniano model, regułę przygotowania danych lub sposób mierzenia błędu. Inaczej jedna tabela połączy kilka różnych rozwiązań pod wspólną nazwą. Dla tej samej zapisanej wersji wejścia porównaj również wyniki kolejnych uruchomień narzędzia AI, jeżeli sam proces może zmieniać rezultat między próbami. To osobny rodzaj niestabilności, którego nie należy mylić ze zmianą danych w kolejnych dniach.

Dla każdej daty zachowaj mały pakiet dowodowy: oznaczenie wejścia, wersję rozwiązania, czas przygotowania i samą prognozę. Dopiero później dopisz obserwację służącą do oceny oraz sposób obliczenia pomyłki. Jeżeli odtworzenie starego wejścia jest przybliżeniem, opisz, których pól lub korekt nie dało się sprawdzić. Nie nazywaj takiej próby wiernym odtworzeniem codziennej pracy. Przy kolejnych rzeczywistych prognozach zapisuj od razu stan wykorzystany w decyzji; umożliwi to ocenę bez ponownego rekonstruowania historii z dzisiejszej bazy.

Przy niekompletnym okresie najpierw ustal, co rzeczywiście zaobserwowano. Lukę i zero rozdziela tekst o tym, czy alarm AI opisuje zdarzenie, czy brak pomiaru. W prognozowaniu ten sam brak może zepsuć zarówno materiał wejściowy, jak i późniejszy wzorzec, z którym porównujesz wynik.

Punkt odniesienia nie musi nosić efektownej nazwy

Porównaj model z prostą regułą, którą zespół mógłby zastosować bez niego. Dla określonego procesu może to być powtórzenie odpowiedniego wcześniejszego okresu. Regułę trzeba wybrać i opisać przed porównaniem; nie powinna otrzymać gorszych danych ani krótszego czasu przygotowania tylko po to, żeby AI wygrała.

Podręcznik Forecasting: Principles and Practice przedstawia metodę naiwną, która powtarza ostatnią obserwację, oraz sezonowo naiwną, korzystającą z ostatniej obserwacji analogicznego sezonu. Są to proste punkty odniesienia do oceny innych metod.

W naszej pracowni można sprawdzić regułę wykorzystującą ten sam dzień poprzedniego tygodnia, o ile pasuje to do rytmu danych. Jeżeli model bardziej złożony nie pomaga w uzgodnionej decyzji, sam napis „AI” nie stanowi uzasadnienia dodatkowej obsługi. Z drugiej strony pojedynczy lepszy wynik prostej reguły nie rozstrzyga całego porównania. Obejrzyj rozkład pomyłek w kolejnych okresach.

Nie ukrywaj kierunku błędu. Zaniżenie liczby spraw może zostawić zespół z zaległością, a zawyżenie prowadzić do innego kosztu organizacyjnego. Uzgodnij, które pomyłki są dla tego procesu bardziej dotkliwe i jak je pokażesz. Kryterium powinno wynikać z planowania obsługi, a nie z tego, która miara daje modelowi najładniejszy wynik.

Przykład liczbowy jest fikcyjny: w dwóch dniach przyszło po 50 spraw. Prognoza 10 i 90 daje poprawną sumę 100, lecz myli się o 40 każdego dnia. Prognoza 40 i 60 również daje sumę 100, a dzienne pomyłki wynoszą po 10. Jeżeli decyzja dotyczy obsady na każdy dzień, sama zgodność łącznej liczby nie wystarcza do wyboru rozwiązania.

W obu przypadkach dodatnia i ujemna pomyłka mogą się w sumie znieść. Dlatego obok różnicy łącznej pokaż rozmiar pomyłek bez względu na ich znak. W tym przykładzie średnia wielkość dziennej pomyłki, liczona bez znaku, wynosi odpowiednio 40 i 10 spraw. Nie oznacza to jeszcze, że drugi model jest sprawdzony na przyszłość: pokazuje tylko, dlaczego jedna zgodna suma ukrywa inną jakość dziennego planu. W rzeczywistej próbie zachowaj wyniki poszczególnych dni, aby zespół mógł je odnieść do wymaganej decyzji.

Pokaż wynik na poziomie, na którym ktoś będzie działać. Tygodniowa suma może być użyteczna przy planowaniu ogólnej dostępności, a rozkład dzienny przy ustalaniu dyżurów. Nie oceniaj modelu wyłącznie przez jedną z tych wielkości, jeśli zamówiony proces wymaga obu. Przy odbiorze wybierz kilka konkretnych pomyłek i pokaż, jak zmieniłyby decyzję zespołu.

Niepewność ma być użyteczna w planowaniu

Jeżeli rozwiązanie zwraca przedział, ustal, co dokładnie opisuje. Nie traktuj dwóch liczb obok prognozy jako dopuszczalnego zakresu uznanego intuicyjnie przez autora. Powinieneś wiedzieć, do jakiej przyszłej wartości, okresu i przyjętego poziomu odnosi się ten wynik.

W tym samym podręczniku przedział predykcji jest zakresem, w którym oczekuje się przyszłej obserwacji przy określonym prawdopodobieństwie. Opisuje niepewność prognozy; nie jest gwarancją, że każda następna wartość znajdzie się w środku.

W próbie sprawdź, jak często i o ile wartości wychodziły poza podawane granice, oraz jak szeroki był zakres. Przedział obejmujący prawie każdą wyobrażalną liczbę może nie pomóc w ułożeniu grafiku. Wąski przedział, który regularnie omija wynik, również nie powinien budować pozornej pewności. Oceniaj to dla uzgodnionego horyzontu i warunków, z zaznaczeniem ograniczeń liczby historycznych prób.

Nie zamieniaj prognozy liczby spraw bezpośrednio w liczbę potrzebnych osób. Sprawy mogą wymagać różnej pracy, a zespół ma określone kompetencje i dostępność. To następny etap planowania, omawiany szerzej przy sezonowym szczycie zapytań i zdolności obsługi. Trafna liczba wiadomości nie rozstrzyga samodzielnie, kto powinien odpowiedzieć i ile czasu zajmie zadanie.

Jeśli zmienia się rodzaj napływających spraw, dawny wynik może wymagać ponownej oceny. Nowy formularz, produkt lub sposób kontaktu potrafi zmienić relację między liczebnością i pracochłonnością. Zjawisko rozwija tekst o dryfie danych i zmianie pytań do AI. W historii prognoz zaznacz te zmiany zamiast tłumaczyć każdą pomyłkę ogólnym „trudnym tygodniem”.

Ustal, co dzieje się po spóźnieniu samej prognozy. Wynik przygotowany w piątek nie zastępuje czwartkowego materiału, jeśli grafik już zatwierdzono. Zapisz, czy zespół ma wtedy użyć dotychczasowej reguły, odłożyć określoną decyzję czy uruchomić uzgodniony tryb ręczny. Jakość liczby i termin jej dostarczenia to dwa warunki użyteczności tego samego rozwiązania.

Przygotuj do przeglądu Aeneia Audit jeden moment wydania, zakres informacji wtedy dostępnych, zapis prognozy i późniejszy wynik. Zachowaj także prostą regułę porównawczą oraz opis decyzji zespołu. Tak można zacząć rozmowę bez udawania, że dawny czwartek miał dostęp do piątkowej wiedzy. Dobry raport powinien umieć tę podróż w czasie powstrzymać.