Długi kontekst AI: dokument się mieści, lecz czy model pamięta właściwy wyjątek

Cała instrukcja zmieściła się w rozmowie. Model potwierdził odbiór, odpowiedział pełnym zdaniem i pominął wyjątek, który zmieniał wynik. Wszystko weszło. Z odpowiedzi wypadła jednak informacja rozstrzygająca o decyzji. Duże okno kontekstu potrafi pomieścić dokument. Nie wystawia mu za to pieczątki „przeczytano ze zrozumieniem”.

Kontekst to materiał dostępny modelowi przy przygotowywaniu odpowiedzi: instrukcje, treści dokumentów, wcześniejsza rozmowa i inne przekazane dane. Jego dopuszczalny rozmiar jest warunkiem technicznym. Ocena użycia tego materiału wymaga osobnej próby. Najlepiej takiej, która sprawdza konkretną pracę firmy, zamiast zachwytu nad liczbą mieszczącą się na slajdzie.

Wyjątek musi coś zmieniać

Przyjmijmy fikcyjną instrukcję rezerwacji pomieszczeń w biurze. Ogólna zasada pozwala używać sal do wieczora, lecz jedna sala jest po południu przeznaczona na prace techniczne. Ktoś pyta o rezerwację właśnie tej sali na późną godzinę. Poprawna odpowiedź musi połączyć nazwę pomieszczenia, termin oraz wyjątek. Powtórzenie ogólnej zasady nie wystarczy.

To wygodny przykład kontrolny, bo nie potrzebuje wiedzy o prawdziwym biurze. Możesz stworzyć sztuczne nazwy sal, daty i zasady. Zapisz rozwiązanie przed uruchomieniem próby. Wtedy człowiek odbierający wynik ma sprawdzić rozumowanie na materiale, a nie odgadywać, czy model może znał jakieś inne reguły z internetu.

Zacznij od pytania, na które dokument rzeczywiście odpowiada. Jeżeli wyjątek mówi tylko o konkretnej dacie, nie rozciągaj go na cały miesiąc. Jeśli dotyczy części pomieszczenia, zachowaj ten zakres. Wzorzec błędnie przygotowany przez zespół da bardzo przekonujący raport o problemie, którego model akurat nie miał.

Przy pytaniu zapisz więc, jaka informacja jest rozstrzygająca i gdzie występuje. Jeśli odpowiedź wymaga trzech przesłanek, wskaż wszystkie trzy, także tę, która wyklucza pozornie pasującą salę. Taki zapis pozwala później rozdzielić odnalezienie fragmentu od poprawnego użycia całego zestawu warunków. Oceniający nie musi dopowiadać sobie rozwiązania podczas czytania odpowiedzi.

Przygotuj również przypadek bez wyjątku oraz taki, w którym brakuje potrzebnej informacji. Te trzy sytuacje sprawdzają inne zachowanie. Rozwiązanie powinno wykorzystać podany warunek, zastosować regułę ogólną albo nazwać brak danych. Wymaganie zawsze stanowczej odpowiedzi może premiować zgadywanie dokładnie wtedy, gdy materiał go nie uzasadnia.

Poproś o wskazanie fragmentu stanowiącego podstawę odpowiedzi. Numer strony lub identyfikator akapitu powinien dać się sprawdzić w przekazanej wersji. Sam cytat też trzeba odczytać. Model może wskazać prawdziwe zdanie o dostępności sal, lecz nie to, które rozstrzyga zadane pytanie. Odsyłacz nie naprawia pominiętej przesłanki tylko dlatego, że wygląda porządnie.

W ocenie jakości odpowiedzi AI oddziel więc poprawny wynik, właściwą podstawę i zachowanie zakresu. Te kryteria można obejrzeć osobno. Dzięki temu trafienie właściwej odpowiedzi przypadkiem nie będzie wyglądało tak samo jak jej uzasadnione wyprowadzenie z materiału.

Przed wydłużaniem materiału wykonaj tę samą próbę na krótkim odpowiedniku instrukcji, zawierającym wszystkie potrzebne przesłanki. Jeżeli rozwiązanie myli się już tutaj, problem nie musi dotyczyć objętości. Sprawdź pytanie, znaczenie reguły i sposób oceny. Krótki wariant będzie punktem odniesienia, dzięki któremu późniejsze pogorszenie da się powiązać z konkretną zmianą materiału.

Przenieś warunek, nie sens dokumentu

Lost in the Middle, badanie z 2023 roku, wykazało w swoich próbach wpływ położenia istotnej informacji na wyniki odpowiedzi i wyszukiwania. Dotyczyło ówczesnych konfiguracji oraz zadań. Daje pomysł na kontrolę dzisiejszego rozwiązania, bez przesądzania, jak zachowa się wybrany obecnie model.

Przygotuj trzy wersje tej samej roboczej instrukcji. W jednej wyjątek będzie blisko początku, w drugiej w środku, w trzeciej przy końcu. Pozostałe informacje zachowaj. Przenoś warunek razem z potrzebnym nagłówkiem i odniesieniami, żeby zmiana miejsca nie zmieniła znaczenia. Test ma porównywać użycie materiału, a nie trzy różnie napisane regulaminy.

W każdej wersji zadaj to samo pytanie i zapisz odpowiedź. Sprawdź wynik, podstawę oraz informację o niepewności. Jeżeli zmieniają się razem z położeniem wyjątku, przyjrzyj się konfiguracji, sposobowi przygotowania dokumentu i całemu przebiegowi. Nie zakładaj od razu jednej przyczyny. Najpierw upewnij się, że do modelu trafił materiał, który faktycznie zamierzałeś porównać.

Zachowaj prosty opis różnic między wariantami. Ktoś powtarzający próbę za miesiąc powinien wiedzieć, że przesunięto jeden warunek, a nie poprawiono również jego brzmienie. Jeśli przy okazji uprościsz zdanie lub dodasz wyróżnienie, wynik będzie dotyczył połączonej zmiany. Taki eksperyment również może być użyteczny, lecz odpowiada na inne pytanie.

Powtórz wybrane zadania, zamiast zapisywać jeden najbardziej efektowny rezultat. Rozrzut odpowiedzi przy tej samej konfiguracji pomaga ocenić, czy obserwujesz utrzymującą się trudność, czy pojedynczy przebieg. Zmienny wynik nie staje się stabilny po umieszczeniu najlepszego zrzutu ekranu w prezentacji.

Próba z położeniem informacji jest tylko jednym sprawdzeniem. Dobre rozwiązanie może odnaleźć warunek w każdym miejscu, a nadal źle połączyć go z datą lub nazwą. Dlatego zachowaj zadanie biznesowe jako punkt odniesienia. Samo odnalezienie ciągu znaków jest łatwiejszym sukcesem niż przygotowanie poprawnej odpowiedzi dla konkretnej sprawy.

Jedna odnaleziona informacja nie zastąpi kilku powiązanych

Pytanie o salę może wymagać połączenia kilku ustaleń: rodzaju spotkania, liczby miejsc, terminu i wyłączenia pomieszczenia. Gdy każde występuje w innym fragmencie, samo przywołanie jednej zasady nie rozwiązuje zadania. Sprawdzaj komplet przesłanek potrzebnych do odpowiedzi. Niech wzorzec pokazuje, które z nich zostały użyte i jaki mają skutek.

Bieżący przewodnik Gemini o długim kontekście odróżnia proste próby odnalezienia jednej informacji od zadań wymagających wielu fragmentów. Zaznacza, że dokładność zależy od kontekstu i liczby poszukiwanych elementów. To powód, by mierzyć własne zadania, bez przenoszenia pojedynczego wyniku demonstracji na cały obieg dokumentów.

W roboczej próbie najpierw zapytaj o samą liczbę miejsc. Następnie dodaj warunek czasu, a później ograniczenie rodzaju spotkania. Zachowuj kolejne wyniki. Taki stopniowy wzrost złożoności pozwala zobaczyć, przy którym połączeniu odpowiedź traci sens. Potem można przyjrzeć się temu fragmentowi zadania, zamiast poprawiać instrukcję na chybił trafił.

Dodaj przypadek, w którym dwie podobne nazwy odnoszą się do różnych obiektów. Sala „Orion” i „Orion mały” nie muszą dzielić zasad. Jeżeli system pomiesza ich warunki, dalsze wydłużanie kontekstu może tylko dorzucić więcej materiału do tego samego nieporozumienia. Przy danych oznaczonych identyfikatorami sprawdź ich zachowanie także w samym pytaniu i odpowiedzi.

W osobnej próbie pokaż dwie wersje instrukcji z jawnymi datami obowiązywania. Zapytaj o konkretny termin, aby poprawna odpowiedź wymagała wyboru właściwej wersji. Nie nazywaj tego testem sprzeczności, jeżeli dokumenty opisują po prostu różne okresy. Problem zaczyna się wtedy, gdy model łączy fragmenty z obu i tworzy zasadę, której żaden dokument nie ustanawiał.

Jeśli materiały rzeczywiście sobie przeczą, zespół potrzebuje reguły rozstrzygania albo drogi wyjaśnienia. Model nie powinien sam wymyślać hierarchii dokumentów. Przed oceną ustal, co ma zrobić w takiej sytuacji. Wykrycie nierozstrzygniętej sprzeczności może być poprawnym wynikiem, nawet gdy na ekranie zabraknie oczekiwanego „tak” lub „nie”.

Takie zadania oddziel od pamięci asystenta. W opisanej próbie wszystkie potrzebne materiały celowo przekazujesz w bieżącym kontekście. Nie pytasz jeszcze, co narzędzie zapamięta między rozmowami. Pomieszanie tych mechanizmów utrudni później znalezienie miejsca, w którym informacja została zgubiona.

Obejrzyj to, co naprawdę trafiło do rozmowy

Przycisk dodania pliku nie jest dowodem, że każda jego część pojawiła się w materiale użytym przez model. Prześledź odczyt dokumentu, wybór stron i przygotowanie treści. Jeżeli tabela została spłaszczona tak, że przestało być widać relację kolumn, wynik może psuć się jeszcze przed właściwym zadaniem. Duży limit kontekstu tego nie odtworzy.

W zachowanym przebiegu powinno być widoczne, jakie pliki i wersje wykorzystano. Zapisz również kroki pośrednie, jeżeli system wybiera fragmenty lub tworzy skróty. Samo stwierdzenie „wysłaliśmy pełen katalog” bywa opisem zamiaru osoby projektującej. Do odbioru potrzebujesz materiału, który rzeczywiście został użyty w danej próbie.

Sprawdź aktualną konfigurację konkretnego rozwiązania, zamiast przenosić limit z prezentacji całej rodziny modeli. Różne sposoby użycia mogą inaczej przygotowywać dokumenty i rozmowę. Osoba korzystająca z aplikacji nie musi widzieć tego samego zakresu co programista testujący bezpośrednie wywołanie. Porównanie powinno zachować tę różnicę, aby wynik dało się później odtworzyć.

W systemie z pobieraniem źródeł najpierw ustal, czy właściwy fragment został odnaleziony. Dopiero potem oceniaj jego wykorzystanie w odpowiedzi. RAG i aktualność źródeł obejmuje także etap wyboru materiału. Tutaj przedmiotem próby jest sytuacja, w której potrzebna informacja już została przekazana, a mimo to może nie znaleźć zastosowania.

Zwróć uwagę na wcześniejszą rozmowę. Jeżeli zawiera nieaktualne założenie, może utrudniać interpretację nowego materiału. W próbie porównawczej określ, czy rozmowa zaczyna się od pustego stanu, czy od odtworzonej historii. Inaczej wynik będzie zależał również od rzeczy, które przypadkiem powiedział prowadzący kilka minut wcześniej.

Przy każdym błędzie zachowaj materiał wystarczający do odtworzenia sprawy, z uwzględnieniem zasad dostępu do danych. Sama odpowiedź nie pokaże, czy pominięto wyjątek, utracono stronę czy podano niewłaściwą wersję dokumentu. Te przyczyny wymagają innych poprawek. Sprowadzanie ich do jednego hasła „model nie przeczytał” prowadzi zwykle do zbyt ogólnej naprawy.

Wybierz sposób pracy pasujący do zadania

Po sprawdzeniu możesz zdecydować, że jeden duży zestaw dokumentów odpowiada potrzebie. Możesz też rozdzielić zadanie na wyszukanie właściwego materiału, ocenę przesłanek i przygotowanie odpowiedzi. Jeśli etapy wykonują różni agenci, odbierz także przekazanie warunków i dowodów między nimi, nie tylko odpowiedź ostatniego wykonawcy. Porównaj oba sposoby pracy na tym samym pytaniu i wzorcu. Inaczej porównasz dwa różne zadania pod wspólną nazwą.

Zbyt mały wycinek również bywa problemem. Jeśli usuniesz rozdział z wyjątkami, krótsza odpowiedź nie stanie się przez to bardziej uzasadniona. Szukaj materiału wystarczającego do zadania, z zachowanym kontekstem warunku. Skrót ma ograniczać zbędną pracę, a nie odcinać niewygodne fragmenty, które utrudniają uzyskanie ładnego wyniku.

Automatyczną ocenę odpowiedzi sprawdź osobno. Model używany jako sędzia może pochwalić płynne wyjaśnienie, mimo że oba modele pominęły ten sam wyjątek. Wróć do źródła i przygotowanego rozwiązania. Rozmowa dwóch pewnych siebie systemów nadal nie rezerwuje właściwej sali.

W odbiorze opisz granice użycia. Rozwiązanie może dobrze odpowiadać na proste pytania o parametry, a wymagać kontroli przy łączeniu kilku dokumentów. Taki podział pomaga zespołowi dobrać drogę dalszego sprawdzenia. Ogólna etykieta „obsługuje duże pliki” nie mówi pracownikowi, przy którym zadaniu powinien zatrzymać się na chwilę.

Nie ukrywaj nieobsłużonej kategorii pod średnią dla całej próbki. Jeśli rozwiązanie radzi sobie z pojedynczymi parametrami, lecz pomija ograniczenia czasu, pokaż tę różnicę przy dopuszczonych zastosowaniach. Pracownik rezerwujący salę potrzebuje wiedzieć, że właśnie ten warunek wymaga sprawdzenia. Sama informacja o ogólnie dobrym wyniku nie wskazuje mu bezpiecznego sposobu pracy.

Do rozmowy z Aeneia Audit przygotuj jeden obszerny materiał i pytanie, w którym istotny jest konkretny wyjątek. Przyda się również odpowiedź uznana za poprawną wraz z podstawą. Od tego można zacząć kontrolę, czy system korzysta z tego, co otrzymał, zamiast jedynie potwierdzać, że wszystko udało się przesłać.