AI układa pytania szkoleniowe: poprawny klucz może sprawdzać złą rzecz

W wygenerowanym quizie klucz brzmi: „Wybierz aktualny katalog”. Kłopot w tym, że pytanie brzmiało: „Co należy wybrać przed wysłaniem aktualnego katalogu?”. Uczestnik nie musiał rozpoznać wersji, sprawdzić daty ani otworzyć biblioteki. Wystarczyło zaprzyjaźnić się ze słowem „aktualny”. Generator pytań otrzymał zadanie, a kursant mały konkurs w odnajdywanie powtórzeń.

W fikcyjnej firmie Karda zespół uczy się korzystać z nowej biblioteki materiałów. AI ma pomóc przygotować krótkie ćwiczenia. Chcemy sprawdzić, czy pracownik potrafi wybrać katalog pasujący do języka odbiorcy i daty kampanii. To zwykła próba uczenia pracy z narzędziem, bez egzaminu zawodowego lub podejmowania decyzji o zatrudnieniu. Pytania odbieramy jako materiał szkoleniowy: z celem, podstawą i uzasadnieniem odpowiedzi.

Klucz zaczyna się przed napisaniem pytania

Najpierw opisz czynność, której uczestnik ma się nauczyć. „Zna katalog” jest zbyt szerokie. „Na podstawie danych kampanii wybiera właściwy język i obowiązującą wersję materiału” pozwala przygotować konkretny przypadek. Dopisz, z czego może korzystać podczas ćwiczenia. Jeśli w pracy ma otwartą bibliotekę i instrukcję, zadanie nie musi sprawdzać odtwarzania nazw z pamięci.

W ćwiczeniach firmy Karda odróżnij odczyt informacji od zastosowania reguły. Pytanie „Jak nazywa się pole daty?” sprawdza inne zachowanie niż wybór spośród katalogów z różnymi datami. Oba mogą mieć sens, lecz nie należy przedstawiać pierwszego wyniku jako dowodu drugiej umiejętności. Dopasowanie ćwiczenia do roli opisuje również szkolenie zespołu z weryfikacji AI.

Przygotuj zatwierdzony fragment instrukcji i określ jego wersję. W naszym przykładzie reguła mówi: wybierz język uzgodniony z odbiorcą oraz wydanie obowiązujące w dniu rozpoczęcia kampanii. Data wgrania pliku nie jest datą jego obowiązywania. To autorskie założenie fikcyjnego procesu. W rzeczywistej firmie nie wolno dopisać takiej reguły tylko dlatego, że dzięki niej łatwo ułożyć quiz.

Teraz można zbudować przypadek. Kampania rusza 15 czerwca, a odbiorca potwierdził język polski. W bibliotece są trzy katalogi z tego samego roku: polski obowiązujący od 1 maja, polski obowiązujący od 1 lipca i angielski obowiązujący od 1 maja. W ramach podanej reguły właściwy jest polski katalog majowy. Lipcowy dopiero zacznie obowiązywać, a angielski nie odpowiada uzgodnionemu językowi.

Pytanie powinno wskazywać datę kampanii, a nie prosić ogólnie o wersję „aktualną”. Bez wskazanej daty uczestnik może odnieść to słowo do dnia wykonywania ćwiczenia. W naszym przykładzie warunkiem jest 15 czerwca, niezależnie od terminu zajęć. W instrukcji zadania zapisz również, czy należy wybrać jedną odpowiedź, czy wszystkie pasujące. Zmiana tego polecenia zmienia sposób interpretowania zaznaczeń i może wymagać innego klucza.

Przy pytaniu zachowaj uzasadnienie wyboru majowego katalogu. Sam klucz „A” nie wystarczy do późniejszego odbioru, zwłaszcza jeśli platforma zmienia kolejność odpowiedzi. Odpowiedź powinna być powiązana z treścią wariantu i fragmentem reguły. Dodaj także warunki przypadku, bo usunięcie daty kampanii może odebrać pytaniu rozstrzygalność.

Badanie QGEval z 2024 roku rozdziela językową jakość generowanych pytań od ich zgodności z materiałem, możliwości udzielenia odpowiedzi i dopasowania do podanej odpowiedzi. Dotyczy określonego zestawu pytań i modeli. Korzystamy z tego rozróżnienia przy projektowaniu kontroli, bez przenoszenia wyników badania na dzisiejsze narzędzie Kardy.

Dla naszego ćwiczenia oznacza to dwa osobne odczyty. Pierwszy sprawdza, czy pytanie jest zrozumiałe. Drugi — czy na podstawie udostępnionej instrukcji można wskazać właściwy katalog i uzasadnić wybór. Płynne zdanie może przejść pierwszy odbiór i nie przejść drugiego. Nie uśredniaj tych wyników tak, aby dobra gramatyka zneutralizowała błędny klucz.

Zapisz także zakres brakującej wiedzy. Jeśli instrukcja nie wyjaśnia, co zrobić przy braku właściwego języka, pytanie o ten przypadek powinno czekać na decyzję właściciela procesu. Model nie może sam ustalić, że wolno wysłać wersję angielską. Czasem prawidłowym rezultatem przeglądu będzie wykrycie luki w instrukcji, a nie naprawienie jednego słowa w quizie.

Odpowiedzi mają ujawniać pomyłkę, nie podpowiadać klucz

Centre for Teaching Excellence Uniwersytetu Waterloo zaleca między innymi jednoznaczny problem, jedną najlepszą odpowiedź i wiarygodne błędne warianty. To wskazówki projektowania pytań wyboru. W ćwiczeniu Kardy stosujemy je do rozpoznania konkretnej reguły, a nie do formalnego potwierdzenia kwalifikacji.

Zbyt łatwe błędne warianty pozwalają ominąć potrzebną wiedzę. Jeśli obok właściwego katalogu pojawią się odpowiedzi „wyślij pusty plik” i „usuń całą bibliotekę”, uczestnik odrzuci je bez sprawdzania dat. Lepsze warianty odnoszą się do rzeczywistych pomyłek: wyboru najnowszego pliku, właściwej daty przy złym języku albo właściwego języka przy przyszłym terminie obowiązywania.

Nie oznacza to budowania pułapek. Uczestnik ma rozstrzygnąć problem przy użyciu poznanej zasady. Unikaj zdania z kilkoma przeczeniami, jeśli nie tego uczysz. Jeśli brzmienie pytania wymaga żmudnego rozszyfrowania, możesz zacząć sprawdzać cierpliwość do tekstu zamiast pracy z katalogiem. To osobna umiejętność, której nikt tutaj nie zamawiał.

Przejrzyj każdą opcję i zapisz, dlaczego pasuje albo nie pasuje do warunków. Dwie odpowiedzi „wybierz najnowszą wersję” i „wybierz wersję obowiązującą” mogą opisywać ten sam plik w prostym przykładzie. Jeśli chcesz sprawdzić różnicę tych zasad, przygotuj przypadek, w którym rzeczywiście prowadzą do różnych wyborów. Sama różnica słów nie tworzy dwóch rozłącznych działań.

Sprawdź też, czy klucz zdradza forma. Poprawna odpowiedź nie powinna być jedynym rozbudowanym, starannym zdaniem wśród trzech krótkich żartów. Przeczytaj pytanie z każdą opcją osobno. Zwróć uwagę na dopasowanie gramatyczne, etykiety plików i słowa powtórzone tylko we właściwym wariancie. Takie ślady mogą zmienić ćwiczenie w zgadywanie zamiaru autora.

Dla pytania o katalog karta odbioru może zawierać cztery krótkie pola:

• Umiejętność: rozpoznanie języka i daty obowiązywania dla wskazanej kampanii.
• Podstawa: konkretna wersja instrukcji oraz trzy przykładowe rekordy biblioteki.
• Klucz: polski katalog majowy, wraz z uzasadnieniem obu warunków.
• Pozostałe warianty: opis pomyłki, którą reprezentują, bez dopisywania reguł nieobecnych w instrukcji.

Przejrzyj cały zestaw pytań pod kątem pokrycia umiejętności. Pięć parafraz wyboru majowego katalogu nadal dotyczy bardzo podobnego przypadku. Dodaj odmienną sytuację, na przykład kampanię po wejściu w życie wydania lipcowego, jeżeli instrukcja jednoznacznie określa wtedy wybór. Osobno uwzględnij brak uzgodnionego języka: uczestnik ma rozpoznać potrzebę uzupełnienia informacji zgodnie z potwierdzoną regułą. Zestaw ma różnicować decyzje, a nie wyłącznie imiona odbiorców.

Taki roboczy zapis pozwala odtworzyć konstrukcję konkretnego ćwiczenia. Przy prostym szkoleniu nie trzeba budować skomplikowanego systemu ocen. Trzeba natomiast umożliwić kolejnej osobie sprawdzenie, czy pytanie dotyczy właściwej rzeczy i czy jego wyjaśnienie nie zmieniło zasad działania firmy.

Sprawdź ćwiczenie razem z informacją po odpowiedzi

W pilotażu poproś o krótkie uzasadnienie wyboru. Osoba mogła wskazać katalog majowy, bo poprawnie odczytała datę kampanii, albo dlatego, że zawsze wybiera pierwszą pozycję listy. Wynik zaznaczenia jest taki sam, ale dostarcza innego dowodu rozumienia. Uzasadnienie pozwala sprawdzić sens; nie odczytuje jednak wszystkich myśli uczestnika i nie zastępuje obserwacji działania.

Można poprosić o wyjaśnienie reguły własnymi słowami, a potem o wykonanie krótkiego zadania w bibliotece testowej. To dwa uzupełniające się sposoby sprawdzenia. Jeśli osoba zna zasadę, lecz nie znajduje daty w interfejsie, problem może dotyczyć projektu narzędzia. Przejście poznawcze pierwszego użycia pomaga przygotować taką hipotezę przed sesją.

Odbierz również informację wyświetlaną po odpowiedzi. Model może poprawnie oznaczyć katalog majowy, a w wyjaśnieniu napisać, że „zawsze wybieramy najstarszy”. Taki komentarz uczy błędnego skrótu, mimo prawidłowego punktu przy pytaniu. Porównaj wyjaśnienie z regułą i danymi przykładu. Dla wersji lipcowej powodem odrzucenia jest przyszła data obowiązywania względem kampanii, nie sam fakt, że plik jest nowszy.

Przy zmianie kolejności odpowiedzi przejdź eksport do platformy. Jeśli klucz zapisano jako literę albo numer, ustal, jak zachowuje powiązanie po przestawieniu opcji. W wersji dla uczestnika nie powinno też przypadkiem pozostać oznaczenie poprawności z materiału autora. Przejrzyj rzeczywisty widok ćwiczenia i jego podsumowania, a nie wyłącznie dokument wejściowy.

Dla drugiej wersji językowej sprawdź znaczenie pytania, opisy odpowiedzi i wyjaśnienie klucza razem. Nazwa pola z interfejsu powinna odpowiadać temu, co uczestnik zobaczy w swojej bibliotece. Tłumaczenie samego tekstu pytania przy pozostawieniu innej terminologii w przykładzie może dodać trudność, której nie było w pierwotnym ćwiczeniu. Zachowaj powiązanie wersji językowej z konkretnym pytaniem i źródłem instrukcji.

Jeśli po każdej pomyłce można natychmiast zaznaczyć kolejną odpowiedź, wynik po kilku próbach nie jest tym samym co pierwszy wybór. W ćwiczeniu służącym nauce ponawianie może mieć sens. Zapisuj jednak, co oznacza przedstawiany wynik. Nie opisuj przejścia po podpowiedzi jako samodzielnego rozpoznania właściwej wersji przy pierwszym podejściu.

Automatyczny przegląd przez kolejny model może pomóc znaleźć braki, ale jego zgodność z generatorem nie potwierdza klucza. Przy AI używanej jako sędzia potrzebna jest ocena samego oceniania. Dla kilku rozstrzygających pytań wróć do źródła i własnego uzasadnienia. W szczególności sprawdź zadania, które model uznał za poprawne, bo właśnie w nich błąd mógł pozostać niezauważony.

Osobno zbierz odczucie uczestnika, jeśli pomoże ono poprawić materiał. Ankieta o trudności i satysfakcji po zadaniu dotyczy deklaracji. „Ćwiczenie było łatwe” nie mówi jeszcze, czy osoba nauczyła się dobierać katalog. Może oznaczać również, że formularz podpowiedział odpowiedź. Połącz ocenę z przebiegiem, nie zastępuj nią sprawdzenia umiejętności.

Błędny wybór omów na warunkach przypadku, bez przypisywania uczestnikowi ogólnej nieumiejętności. Uczestnik może wskazać niejasną datę albo wyjaśnić, że inaczej zrozumiał nazwę pola. Zapisz, czy poprawiasz materiał, czy wracasz do wyjaśnienia reguły. Potem użyj nowego przypadku z innymi datami i nazwami. Powtórzenie tego samego pytania po ujawnieniu klucza pokazuje już także znajomość odpowiedzi; nie oddzielisz jej od zastosowania reguły samym przestawieniem liter.

Po poprawce zachowaj starą i nową wersję pytania z powodem zmiany. Sprawdź, czy zmienił się tylko język, czy także podstawa klucza. Gdy aktualizujesz instrukcję firmową, znajdź zależne pytania i wyjaśnienia. Stare ćwiczenie może nadal działać technicznie, a uczyć reguły, która już nie odpowiada przyjętemu procesowi.

Zakres takiej kontroli można omówić w ramach Aeneia Audit. W firmie Karda końcowym rezultatem jest odebrane ćwiczenie, w którym wybór katalogu da się uzasadnić językiem i datą kampanii. Próba z nową sytuacją dostarczy dalszej informacji o zastosowaniu reguły poza znanym przykładem. Wysoki wynik za rozpoznanie ulubionego słowa generatora nadal pozostaje wynikiem — tylko z innego konkursu.