AI czyta wykres: liczby z osi potrafią zmienić całą odpowiedź

Z osiemdziesięciu do stu zapytań. Załóżmy, że pracownia dostała w jednym tygodniu 80 wiadomości, a w kolejnym 100. Różnica wynosi 20, czyli jedną czwartą wcześniejszej liczby. Na wykresie z uciętą osią drugi słupek może jednak wyglądać na trzy razy dłuższy. Asystent AI opisujący obraz powinien odczytać liczby, zanim ogłosi eksplozję zainteresowania.

Przy ocenie takiego zastosowania nie wystarczy pytanie, czy model „rozumie wykresy”. Sprawdź kilka odrębnych rzeczy: czy rozpoznaje serię i jednostkę, czy poprawnie odczytuje wartości oraz czy wniosek mieści się w danych. Można dobrze przepisać dwie liczby i wyciągnąć z nich zły wniosek. Można też policzyć różnicę bezbłędnie, lecz dla niewłaściwej osi.

Najpierw poproś o podstawę odpowiedzi

Zacznij od pytania, na które rzeczywiście ma odpowiedzieć analiza. „Opisz wykres” zachęca do szerokiego komentarza, którego zakres trudno odebrać. „O ile zmieniła się liczba zapytań między wskazanymi tygodniami?” daje konkretny punkt odniesienia. Przed uruchomieniem przygotuj odpowiedź z danych źródłowych i wskaż, które elementy obrazu ją wspierają.

W próbie poproś model o podanie nazwy serii, odczytanych wartości, jednostki i badanego okresu. Wystarczą krótkie, sprawdzalne informacje, które można porównać z podpisami i danymi. Jeśli odpowiedź dotyczy innej serii, zobaczysz błąd wcześniej niż przy czytaniu gotowego akapitu do raportu.

W przypadku 80 i 100 oczekujesz właśnie tych wartości oraz identyfikacji właściwych tygodni. Jeśli model nie potrafi odczytać etykiety, powinien zaznaczyć granicę. Odpowiedź „około stu” może być wystarczająca do orientacyjnego opisu, lecz nie do zestawienia wymagającego dokładnej różnicy. Kryterium zależy od planowanego użycia, więc ustal je przed oceną.

Badanie ChartQA obejmuje pytania wymagające zarówno odczytu cech wizualnych, jak i operacji logicznych oraz arytmetycznych. Praca pochodzi z 2022 roku. Pomaga rozdzielić rodzaje zadań, które w zwykłym „opisie wykresu” łatwo potraktować jako jedną zdolność.

Jeżeli wykres zaokrągla liczby, ustal dopuszczalną dokładność odpowiedzi. Obraz z etykietą „około 100” nie daje tej samej podstawy co tabela z dokładną wartością. Własny zestaw może zawierać oba warianty. Oceniaj, czy model zachowuje poziom dokładności materiału, zamiast nagradzać odpowiedź z większą liczbą cyfr, które nie wynikają z obrazu.

Zachowaj rozróżnienie odczytu i obliczenia w raporcie z próby. Model może odczytać 80 jako 60, a potem poprawnie policzyć zmianę względem 60. Wtedy poprawianie samego polecenia arytmetycznego mija się z przyczyną. Najpierw sprawdź dane wejściowe, dopiero potem operację i końcowe zdanie.

Długość słupka nie zastępuje skali

W naszym przykładzie przygotuj dwie wersje obrazu z tymi samymi wartościami. Pierwsza pokazuje oś od zera do stu. Druga zaczyna ją od siedemdziesięciu. Widoczne odcinki od dolnej granicy do wartości mają w drugiej wersji długości odpowiadające 10 i 30. Rzeczywiste wartości nadal wynoszą 80 i 100. Zmieniła się prezentacja, nie liczba wiadomości.

Zadaj to samo pytanie obu wersjom. Różnica liczby zapytań powinna pozostać taka sama. Model może wskazać, że druga prezentacja silniej eksponuje zmianę, ale nie powinien na tej podstawie potroić wyniku. Jeśli odpowiedź zależy od długości widocznego odcinka zamiast od skali, próba pokazuje konkretną granicę zastosowania.

Sprawdź również, czy oś ma równe odstępy odpowiadające równym różnicom wartości. Przy innej skali podobna odległość na obrazie może oznaczać inną relację liczbową. W zestawie kontrolnym zapisz sposób odczytu i oczekiwaną odpowiedź. Nie wymagaj precyzyjnego obliczenia z samego obrazu, jeżeli oznaczeń nie da się rozpoznać.

Misleading ChartQA traktuje rozumowanie na wykresach z cechami wprowadzającymi w błąd jako odrębny przedmiot oceny. Nie przenoś wyników tego badania na swój model bez własnej próby. Wniosek dla organizacji testu jest węższy: zwykły zestaw czytelnych wykresów nie wystarcza do sprawdzenia odporności na zmienioną prezentację.

Wariant z odwróconą osią pozwala sprawdzić jeszcze inną rzecz: czy model czyta oznaczenia, czy automatycznie utożsamia ruch linii w górę ze wzrostem wartości. W oczekiwanej odpowiedzi wskaż kierunek zmiany liczby. Osobno opisz znaczenie dla procesu; krótszy czas odpowiedzi i większa liczba zapytań nie oznaczają tej samej poprawy tylko dlatego, że oba wykresy wyglądają korzystnie.

Nie każdej uciętej osi trzeba przypisywać złą intencję autora. Może służyć pokazaniu drobnych różnic, jeśli opis jasno podaje zakres. W odbiorze AI oceniasz, czy odpowiedź uwzględnia te warunki. Osobno można ocenić sam projekt wykresu i to, czy czytelnik rozumie przyjęty sposób pokazania danych.

Która seria i która jednostka?

Osobna próba może zawierać dwie serie. Jedna pokazuje liczbę zapytań, druga czas pierwszej odpowiedzi w minutach. Linie mogą się przecinać, chociaż reprezentują różne wielkości i korzystają z osobnych osi. Przecięcie na obrazie samo nie oznacza, że te wartości stały się równe. Trzeba przypisać każdą linię do odpowiedniej jednostki.

Poproś o wskazanie serii po nazwie, a nie wyłącznie po kolorze. Następnie zamień kolory bez zmiany danych i powtórz pytanie. Oczekiwany wynik liczbowy pozostaje ten sam. Jeśli model nadal opisuje dawną „czerwoną linię”, sprawdź, czy odczytał legendę bieżącego obrazu, czy odpowiedział na podstawie wcześniejszego kontekstu.

W kolejnym obrazie zmień kolejność pozycji legendy. To użyteczna próba wtedy, gdy publikacje firmy mają kilka układów, a asystent będzie otrzymywać je bez dodatkowej instrukcji. Nie traktuj jednak każdej odmiany jako niezależnego testu całej analizy. Zapisz, że sprawdzasz powiązanie nazwy z reprezentacją wizualną.

Sprawdź, czy seria pokazuje wynik danego okresu, czy sumę narastającą. Sto zapytań zebranych łącznie do końca drugiego tygodnia nie oznacza stu nowych zapytań w drugim tygodniu. Tę informację powinien zawierać podpis lub opis danych. Jeżeli jej brakuje, model może przedstawić możliwe interpretacje i poprosić o doprecyzowanie zamiast wybrać jedną bez podstawy.

Jeżeli projektujesz wykresy zgodne z językiem wizualnym marki, ustal czytelne podpisy i sposób rozróżniania serii. To pomaga także w ocenie odpowiedzi AI, ale nie potwierdza automatycznie ich poprawności. Pięknie dobrany burgund nie zwalnia modelu z przeczytania słowa „minuty”.

Brak punktu nie jest zerem

Na kontrolnym wykresie tygodniowym pokaż osiem zapytań w poniedziałek, dziesięć we wtorek i dwanaście w czwartek. Dla środy nie ma odczytu. Jeśli linia łączy wtorek z czwartkiem, odpowiedź „w środę było jedenaście” byłaby oszacowaniem z przebiegu linii, a nie wartością pokazaną w danych. Model powinien nazwać tę różnicę.

Sprawdź dwie odrębne wersje: rzeczywiste zero dla środy oraz brak danych dla środy. Oczekujesz różnych odpowiedzi na pytanie o ten dzień. To samo dotyczy pustego pola w tabeli źródłowej. Jeśli przygotowujesz z niej obraz, upewnij się, że sposób rysowania nie zamienił brakującej wartości w zero jeszcze przed przekazaniem wykresu modelowi.

Przy porównaniu tygodni uwzględnij także kompletność obserwacji. Sto wiadomości z siedmiu dni i osiemdziesiąt z trzech dni można opisać jako dwie sumy, lecz nie jako porównywalne pełne tygodnie. W zestawie zaznacz przerwany okres i sprawdź, czy odpowiedź zachowuje tę informację. Bez dodatkowego uzgodnienia nie należy dopowiadać wyniku za brakujące dni.

Zakres czasu również ogranicza wniosek. Wykres od czerwca do sierpnia nie wystarcza do oceny całego roku. Ucięcie pierwszych miesięcy może zmienić widoczny kierunek bez zmiany żadnego pokazanego punktu. Przygotuj wersję pełną i skróconą, a w oczekiwanej odpowiedzi zapisz, do jakiego okresu odnosi się każde porównanie.

Odczytaj także kolejność etykiet. Słupki uporządkowane od największego do najmniejszego mogą przedstawiać dni tygodnia, lecz ich układ nie jest wtedy chronologią. Model powinien opisać wartości przypisane do dni, a nie wyciągać trend z ruchu od lewej do prawej. W próbie zachowaj te same dane i zmień wyłącznie sposób uporządkowania kategorii.

Na podobną granicę trzeba uważać przy długim kontekście i pomijaniu informacji przez AI. Tutaj ograniczeniem bywa kadr obrazu albo widoczny okres. Jeżeli model nie otrzymał całej podstawy porównania, powinien ograniczyć odpowiedź do tego, co ma, zamiast uzupełnić resztę przekonującą opowieścią.

Własny zestaw powinien oddzielać przyczyny błędów

Przygotuj wykresy z danych, dla których masz niezależnie ustaloną odpowiedź. Zmieniaj jedną cechę naraz: zakres osi, kolory, legendę, kadr albo obecność punktu. Gdy jednocześnie zmienisz pięć rzeczy, różnica odpowiedzi nie wskaże przyczyny. Próba może wykryć problem, lecz nie pozwoli ustalić, co wymaga poprawy.

Zachowaj obraz dokładnie w postaci, jaką otrzymało narzędzie. Wykres czytelny w oryginalnym pliku może po zmniejszeniu mieć nierozpoznawalne cyfry. Jeśli przed AI działa rozpoznawanie tekstu, porównaj także wynik tego etapu. Kontrola OCR przed analizą AI pomaga odróżnić błąd odczytu znaku od błędu późniejszej interpretacji.

Nie podawaj poprawnej odpowiedzi w nazwie pliku ani w dodatkowym opisie, jeśli oceniasz sam odczyt obrazu. Jeżeli narzędzie ma w docelowej pracy korzystać również z tabeli, możesz badać ten szerszy wariant, lecz nazwij go osobno. Poprawna odpowiedź po otrzymaniu danych tabelarycznych nie dowodzi tego samego co poprawny odczyt wykresu.

W raporcie rozdziel przepisanie danych, wykonanie rachunku i interpretację. Gdy asystent oddaje wynik w uporządkowanym formacie, sprawdź także znaczenie pól. Poprawny JSON nie zapewnia poprawnej treści. Pole „zmiana” może zawierać różnicę liczby zapytań albo względny wzrost; nazwa powinna pozwalać to odróżnić.

Jeżeli porównanie ma prowadzić do oceny eksperymentu, dochodzi jeszcze inna warstwa. Wykres nie rozstrzyga sam, czy różnica świadczy o skutku zmiany. Ten temat rozwija kontrola opisu testu A/B przez AI. W bieżącym odbiorze skup się na tym, czy komentarz ma właściwą podstawę w pokazanych danych.

Do publikacji trafia konkretne zdanie

Przy nieczytelnym obrazie sprawdź również odmowę dokładnego odczytu. Oczekiwana odpowiedź może wskazać, której etykiety lub jednostki nie da się rozpoznać, i poprosić o lepszą wersję. To użyteczniejsze niż ogólne „nie mogę analizować wykresów”, ale też uczciwsze niż zgadywanie liczby. Osobno zapisuj trafnie wskazaną granicę odczytu i błędną interpretację podaną z pewnością.

Końcowa ocena powinna wskazać, jakie odpowiedzi można przyjmować i kiedy potrzebna jest ręczna kontrola albo plik źródłowy. Narzędzie może dobrze radzić sobie z odczytem podpisanych wartości, a wymagać kontroli przy osiach podwójnych. Nie sprowadzaj takiego wyniku do ogólnego „rozumie” lub „nie rozumie wykresów”.

W Aeneia Audit można ocenić sposób użycia AI, ryzyka i kryteria odbioru takiej analizy. Zakres powinien obejmować wykresy faktycznie używane w organizacji. Ocena konkretnej odpowiedzi nie zastępuje sprawdzenia metodologii badania, z którego pochodzą dane, ani nie potwierdza wszystkich przyszłych komentarzy modelu.

Przed publikacją wróć do zdania, które odbiorca rzeczywiście przeczyta. W naszym przykładzie może ono mówić o wzroście z 80 do 100 zapytań w dwóch wskazanych tygodniach. Jeśli pojawia się „trzykrotny wzrost zainteresowania przez cały sezon”, trzeba je poprawić. Czytelnik potrzebuje dwóch wartości z właściwymi datami. Cały sezon wymaga osobnych danych.