Dwanaście pudeł na zdjęciu. Granice liczenia obiektów przez AI

Wynik wynosi dwanaście. Odpowiedź odniesienia też wynosi dwanaście. Zanim uznamy próbę za poprawną, sprawdźmy jednak, co zostało policzone. Model mógł pominąć jedno pudełko i dwukrotnie wskazać inne. Dobra suma nie naprawia takiego rozpoznania; dwa błędy po prostu spotkały się przy tym samym rachunku.

Można to pokazać bez fotografii i bez AI. Własny prosty rachunek na sztucznych identyfikatorach obejmuje dwanaście pozycji od p01 do p12. Lista zgłoszona zawiera p01–p11 oraz ponownie p01. Ma dwanaście wpisów, ale tylko jedenaście różnych wskazań. Brakuje p12. To przykład logiczny, nie wynik działania modelu ani dowód jakości liczenia zdjęć.

Przy odbiorze liczenia obiektów potrzebna jest więc zarówno liczba, jak i znaczenie jednostki oraz sprawdzalna podstawa wyniku. Dotyczy to także prostego roboczego pytania o zawartość fotografii. Zdjęcie magazynu może przedstawiać pewną liczbę widocznych opakowań, a nadal nie ujawniać pełnego stanu rzeczy znajdujących się za nimi.

Co w tym zadaniu jest jednym przedmiotem

Przyjmijmy fikcyjną pracownię, która fotografuje zestawy papierowych dekoracji przed przygotowaniem opisów materiałów. Na stole leżą pudełka z zestawami, obok jedno otwarte opakowanie z kilkoma elementami. Pytanie „Ile jest produktów?” nie rozstrzyga, czy liczymy opakowania, sprzedawane zestawy czy pojedyncze części. Osoba znająca ofertę może odpowiedzieć według innej jednostki niż model analizujący obraz.

Nazwij obiekt i zakres kadru. „Policz widoczne zamknięte pudełka na stole” ma inną treść niż „Ile zestawów przygotowano do wysyłki?”. Drugie pytanie może wymagać informacji, których fotografia nie zawiera. Puste opakowanie i pełny komplet mogą z zewnątrz wyglądać podobnie. Liczenie obrazu nie powinno dopowiadać stanu jego zawartości.

Również obiekt częściowo widoczny potrzebuje uzgodnionej reguły. Jeśli przy krawędzi widać fragment wieczka, czy zaliczasz pudełko? Odpowiedź może zależeć od celu zadania i możliwości rozpoznania. Nie ustalaj jej dopiero po zobaczeniu odpowiedzi modelu. Taka zmiana sprawiłaby, że dwa identyczne wskazania mogłyby dostać różne oceny zależnie od oczekiwanej sumy.

Dokumentacja autorów Learning To Count Everything z CVPR 2021 pokazuje liczenie z wykorzystaniem wskazanych ramkami przykładów obiektów. To metoda z określonym wejściem, a nie uniwersalna obietnica liczenia dowolnych rzeczy ze zdjęcia. Jest przydatnym przykładem potrzeby określenia, jaki typ osobnych obiektów ma zostać policzony.

W zwykłym procesie firmowym tę rolę może pełnić jasna definicja i oznaczone przykłady w zestawie odbiorowym. Własny wzorzec powinien wskazywać każdy zaliczony przedmiot. Jeśli dwie osoby nie zgadzają się co do fragmentu przy krawędzi, zapisz brak rozstrzygnięcia. Losowo wybrana liczba nie staje się mocną podstawą tylko dlatego, że nazwano ją odpowiedzią eksperta.

Nie pomyl rozpoznania rodzaju produktu z rozpoznaniem jego osobnych egzemplarzy. Wyszukiwanie produktu ze zdjęcia może wskazać model opakowania. Liczenie wymaga jeszcze ustalenia, ile jego odrębnych wystąpień rzeczywiście widać. Jedna etykieta klasy „pudełko” nie oznacza jednej sztuki, a kilka etykiet na tym samym pudełku nie tworzy kilku sztuk.

Odbicia i fotografie nadrukowane na opakowaniu stanowią osobne przypadki. Rysunek pudełka na plakacie nie jest kolejnym pudełkiem na stole. Odbicie w lustrze może pokazywać ten sam egzemplarz, a nie dodatkowy. Zestaw odbiorowy powinien zawierać takie sytuacje, jeśli występują w rzeczywistych materiałach. Przygotuj oczekiwane rozstrzygnięcie według zadania, zamiast zakładać, że każdy widoczny podobny kształt ma zostać dodany.

Własną małą serię kontrolną można przygotować z fizycznie znanego kompletu. Najpierw ułóż przedmioty osobno, później zasłoń część z nich, a następnie dodaj do tła zdjęcie podobnego opakowania. Zachowaj opis każdej zmiany. Celem jest porównanie warunków, nie pokazanie jednego reprezentacyjnego kadru. W niniejszym tekście nie wykonano takiej serii fotografii; to propozycja próby do odbioru. Jej wzorzec powinien rozróżniać znaną liczbę rzeczy ustawionych na stole od liczby przedmiotów, których obecność da się potwierdzić na danym zdjęciu.

Od liczby do wskazań, które można porównać

OpenAI w ograniczeniach modeli analizujących obrazy zaznacza, że liczba obiektów może być podawana w przybliżeniu. To ostrzeżenie o zakresie zdolności, nie wynik pomiaru naszego procesu. Jeśli firma potrzebuje dokładnej liczby, musi osobno odebrać ten warunek na reprezentatywnych materiałach.

Zachowaj obraz, pytanie i wynik tej samej próby. Jeśli narzędzie potrafi zaznaczać obiekty, poproś o rozpoznawalne wskazania i porównaj je ze wzorcem. W przykładzie z identyfikatorami dopiero taka kontrola ujawnia brak p12 i powtórzenie p01. Sama różnica między liczbami wynosi zero, mimo że podstawa odpowiedzi jest wadliwa.

Nie każde rozwiązanie zwraca osobne wskazania. Jeśli otrzymujesz wyłącznie liczbę, porównasz ją z przyjętym wzorcem, ale nie przypiszesz pomyłki do konkretnego pudełka. Nie dopisuj wtedy rzekomej listy wykrytych obiektów na podstawie późniejszego opisu modelu. Raport powinien zachować tę granicę obserwacji. Można rozważyć metodę udostępniającą lokalizacje, gdy ich kontrola jest częścią zadania. Jej wybór także wymaga odbioru; dodanie ramek do ekranu nie dowodzi, że są zgodne z procesem, z którego pochodzi suma.

Hugging Face opisuje detekcję, czyli wykrywanie obiektów, jako rozpoznawanie określonych klas z ramkami i etykietami, a odpowiedź API zawiera także wyniki liczbowe. Jest to inny rodzaj rezultatu niż samo zdanie z sumą. Ramki mogą ułatwić kontrolę, ale również wymagają oceny poprawności, zamiast automatycznego uznania każdej za osobny przedmiot.

Sprawdź, czy kilka ramek nie wskazuje tego samego egzemplarza, czy jedna nie obejmuje dwóch sąsiednich oraz czy pominięto obiekt widoczny tylko częściowo. Zmiana progu zachowywania wskazań może zmienić ich liczbę. W raporcie zapisz użyte ustawienie, jeżeli jest dostępne, a przy nieznanym przetwarzaniu zaznacz tę granicę. Nie porównuj dwóch sum tak, jakby powstały w identycznych warunkach, jeśli jedna lista została dodatkowo odfiltrowana.

Uwzględnij także obraz bez przedmiotów przyjętej klasy. Wynik zero powinien znaczyć, że poprawnie przeprowadzona analiza nie znalazła takich obiektów w swoim zakresie. Błąd odczytu pliku, pusta odpowiedź albo brak obsługi potrzebnej klasy nie powinny otrzymywać tej samej wartości. W naszym przykładzie fotografia pustego stołu jest innym przypadkiem niż niewczytane zdjęcie pełnego stołu. Zespół powinien rozpoznać tę różnicę przed wykorzystaniem wyniku do dalszej pracy nad opisem.

Przygotuj również dwa podobne kadry różniące się jedną wyraźnie widoczną sztuką. Pozostałe przedmioty zostaw w podobnym układzie. Oczekiwany wynik powinien zmienić się o jeden zgodnie z przyjętą definicją. Taka para pomaga wykryć odpowiedź opartą na ogólnym wzorze stosu albo stałej, często powtarzanej liczbie. Zachowaj oba obrazy oraz ich własne oznaczenia; nie dopisuj modelowi w pytaniu oczekiwanej różnicy, jeśli nie ma jej w rzeczywistym zadaniu.

Przy nakładaniu ramek potrzebne jest prawidłowe przeniesienie współrzędnych na obraz wynikowy. Lista liczb może być poprawna względem obrazu po zmniejszeniu, a zostać źle narysowana na oryginale. Wtedy odbierający nie potrafi sprawdzić, który przedmiot wskazano. Suma ramek nadal wygląda porządnie, ale wizualny dowód prowadzi obok.

Kadr wejściowy powinien zachować obszar potrzebny do liczenia. Przygotowanie obrazu przed modelem obejmuje zmianę rozmiaru i przycięcie, które mogą usunąć potrzebne szczegóły. Jeśli część stołu wypada poza materiał przekazany do analizy, wynik nie opisuje automatycznie całej fotografowanej sceny. Nie porównuj go ze wzorcem dla szerszego obrazu bez wskazania tej różnicy.

Przy kilku zdjęciach ustal, czy oczekujesz sumy wystąpień na obrazach, czy liczby unikalnych fizycznych przedmiotów. Dwa ujęcia tej samej paczki mogą dać dwa poprawne odczyty widocznych pudełek. Ich dodanie nie potwierdzi liczby rzeczy w pracowni. Rozpoznanie powtarzającego się egzemplarza wymaga osobnej podstawy, na przykład uzgodnionego oznaczenia, które rzeczywiście można odczytać.

Jeżeli używasz w tym celu etykiety, oddziel liczenie od dekodowania kodu kreskowego i rozpoznania produktu. Numer modelu wspólny dla wielu sztuk nie jest identyfikatorem każdego egzemplarza. Samo zobaczenie tego samego napisu na dwóch pudełkach nie rozstrzyga, czy chodzi o jedną rzecz sfotografowaną dwukrotnie, czy dwie podobne rzeczy.

W Aeneia Audit można sprawdzić, jaką informację proces wyprowadza z obrazu i na czym opiera dalszą decyzję. Materiałem jest ograniczony zestaw zdjęć z jasno oznaczonym wzorcem oraz oczekiwany zakres użycia wyniku. To pozwala ocenić, czy potrzebna jest orientacyjna podpowiedź, czy warunek dokładności, którego aktualne rozwiązanie jeszcze nie potwierdziło.

Widoczny układ nie potwierdza ukrytej liczby

Przy zasłonięciu może brakować podstaw do dokładnej liczby. Regularny układ pudełek nie dowodzi, że ukryty rząd jest pełny. Można zbudować szacunek na określonym założeniu, lecz trzeba go tak nazwać. Odpowiedź „widać co najmniej…” albo „nie da się ustalić pełnej liczby” powinna odpowiadać uzgodnionemu zadaniu i temu, co obraz faktycznie ujawnia.

Dolna granica także wymaga podstawy. Jeśli trzy widoczne fragmenty mogą należeć do jednego opakowania, nie wolno bez dodatkowej informacji uznać ich za co najmniej trzy sztuki. Najpierw trzeba rozstrzygnąć odrębność. Przy szacowanym przedziale pokaż, skąd biorą się jego końce. Zakres od dziesięciu do dwudziestu nie staje się ostrożnym wynikiem tylko dzięki swojej szerokości. Może być równie nieuzasadniony jak jedna stanowcza liczba, jeśli obraz nie dostarcza potrzebnych informacji.

Poprawna odmowa odpowiedzi AI jest przydatna także tutaj. Brak widoku nie powinien zamieniać się w pewną liczbę dopowiedzianą ze schematu. Jednocześnie odmowa przy czytelnym, jednoznacznym ujęciu może być błędem procesu. Odbiór powinien zawierać zarówno przypadki policzalne, jak i takie, które wymagają ograniczonego wyniku.

Pokaż osobno błędy sumy i błędy rozpoznania odrębnych przedmiotów. Zachowaj także informację o zakresie kadru oraz przypadkach wymagających ręcznej oceny. Wynik z fotografii otwartej półki nie powinien otrzymać tej samej interpretacji co wynik z gęstego stosu z wieloma zakrytymi przedmiotami. Jedna wspólna liczba trafności może ukryć właśnie tę różnicę.

W zestawieniu zachowaj liczebność każdej grupy prób. Duży zbiór łatwych zdjęć pojedynczych obiektów może zdominować wynik kilku trudnych kadrów, chociaż to te drugie odpowiadają pracy zespołu. Wskaż też, czy ocena dotyczy dokładnej sumy, dopuszczalnego błędu czy zgodności osobnych wskazań. Własny rachunek p01–p12 pokazuje, dlaczego te kryteria nie są wymienne. Jeśli proces służy wyłącznie wstępnemu porządkowaniu zdjęć, taki zakres można przyjąć świadomie; nie należy później przedstawiać go jako potwierdzenia pełnej liczby fizycznych rzeczy.

Po zmianie sposobu fotografowania powtórz próbę. Nowe tło, kąt i odległość mogą zmienić materiał, z którego korzysta rozwiązanie. Nie przypisuj poprawy wyłącznie nowemu poleceniu, jeśli równocześnie rozłożono pudełka osobno. Czytelniejsze ułożenie przedmiotów może ułatwić zadanie; w raporcie nazwij tę zmianę, zamiast przypisywać ją wyłącznie zdolności modelu.

W naszym przykładzie warto odebrać jeden trudny obraz, na którym poprawna liczba mogłaby ukryć dwa przeciwne błędy. Dopiero porównanie wskazań rozstrzygnie podstawę wyniku. Dwanaście wpisów na liście trzeba jeszcze połączyć z dwunastoma odrębnymi pudełkami na zdjęciu.