Krótka czynność między klatkami. Odbiór analizy wideo przez AI

„Nie było takiego napisu” to mocniejszy wniosek niż „nie znalazłem go w przeanalizowanych klatkach”. Przy krótkim szczególe różnica może wynikać ze sposobu pobrania materiału. Model nie musi pomylić widocznego numeru. Być może żadna wybrana klatka go nie zawierała.

Odbiór analizy wideo powinien więc określać, jakie fragmenty rzeczywiście weszły do oceny. Czas trwania przyjętego pliku nie opisuje tego zakresu. Zanim powstanie raport o jakości rozumienia filmu, potrzebne są reguły próbkowania, rozpoznawalna wersja nagrania i kryterium zdarzenia. To szczególnie przydatne przy roboczej analizie demonstracji produktów oraz materiałów do opisu publikacji.

Sześć klatek z pięciu sekund

Policzmy własny przykład siatki czasowej. Nie tworzymy filmu i nie uruchamiamy AI. W hipotetycznym materiale kartonik z numerem 7 jest widoczny od 2,2 sekundy do chwili tuż przed 2,4 sekundy. Pobieramy klatki w chwilach 0, 1, 2, 3, 4 i 5 sekund. W takim zestawie numer nie występuje ani razu.

Przy czterech próbkach na sekundę, zaczynając od zera, znajdzie się klatka z chwili 2,25. Trafia w okres widoczności kartonika. Również jedna próbka na sekundę z początkiem przesuniętym do 0,3 sekundy trafi w ten okres, bo jedna z próbek wypada w 2,3. To rachunek obecności w punktach czasu, nie wynik rozpoznawania znaku.

Przykład pokazuje znaczenie częstotliwości i położenia siatki próbek. Nie wyznacza uniwersalnej liczby klatek potrzebnych do analizy każdego filmu. Inne zdarzenie może trwać krócej, wypaść w innej chwili albo zostać zasłonięte. Cztery próbki na sekundę nie stają się gwarancją tylko dlatego, że w tym jednym rachunku pomogły.

Dokumentacja Gemini opisuje statyczny tryb z pobieraniem jednej klatki na sekundę i ostrzega przed pomijaniem szczegółów przy szybkim ruchu lub zmianach scen. Rozróżnia go od trybu dynamicznie przeglądającego materiał. Przy odbiorze konkretnej konfiguracji trzeba zapisać użyty tryb, zamiast przypisać jedną regułę każdej usłudze analizującej wideo.

Liczba klatek filmu źródłowego i liczba próbek analizy są różnymi wartościami. Materiał może mieć płynny ruch podczas zwykłego odtwarzania, a do modelu trafiać jako rzadsza sekwencja. Pracownik oglądający oryginał nie powinien automatycznie zakładać, że model otrzymał tę samą ciągłość. Jest to właściwość całego toru przygotowania wejścia.

W przeglądzie zastosowania AI Aeneia Audit można uporządkować cel analizy, sposób dostarczenia filmu oraz kryteria odbioru odpowiedzi. Dla krótkiego oznaczenia pytanie o zakres pobranych klatek może być bardziej użyteczne niż natychmiastowe porównywanie ogólnych rankingów modeli. Właściciel procesu powinien wiedzieć, co wynik rzeczywiście potwierdza.

Co uznajemy za zdarzenie

Wymaganie „sprawdź demonstrację” jest za szerokie. W fikcyjnym studiu przygotowującym instrukcję składania papierowego opakowania można pytać o pokazanie numeru, położenie zakładki albo kolejność zgięć. To różne zadania. Rozpoznanie stanu w jednej chwili nie potwierdza całej czynności prowadzącej do tego stanu.

Jeśli pytanie dotyczy numeru 7, wzorzec powinien wskazywać okres jego czytelnej obecności. Jeśli dotyczy obrócenia opakowania, potrzebna jest definicja początku i końca czynności oraz widoczne podstawy rozpoznania. Dwa ujęcia podobnego pudełka nie muszą dowodzić ciągłego ruchu między nimi. Cięcie montażowe może ukrywać inny sposób przygotowania.

Załóżmy, że zakładka jest najpierw otwarta, a później zamknięta. Te dwa stany pozwalają opisać zmianę, lecz nie potwierdzają, którą ręką ją wykonano ani czy użyto dodatkowego narzędzia. Jeżeli zadanie polega na sprawdzeniu instrukcji, właśnie sposób wykonania może decydować o wyniku. Nie zastępuj takiego wymagania łatwiejszym pytaniem o końcowy wygląd. W protokole można rozdzielić dwa rozstrzygnięcia: końcowe zamknięcie jest widoczne; przebieg zamykania nie został objęty dostępnymi próbkami. To wystarczy, żeby redaktor wiedział, który fragment obejrzeć samodzielnie.

Kontrola ciągłości przedmiotu i czynności w filmie AI pomaga określić, jakie cechy demonstracji trzeba zachować. Przy analizie istniejącego materiału te cechy stają się częścią wzorca odbiorowego. Jeżeli pudełko zmienia kształt między ujęciami, model powinien opisywać dostępny materiał, a nie dopowiadać brakujące poprawne etapy instrukcji.

Przygotuj wersję ze zdarzeniem i bez niego. W tej drugiej nie powinno występować także w podpisie, nazwie pliku lub komentarzu, jeśli oceniasz wyłącznie rozpoznanie wizualne. Inaczej odpowiedź może korzystać z podpowiedzi. Zachowaj opis tego, jakie kanały informacji były dostępne: klatki, dźwięk, napisy czy tekstowe instrukcje.

Wzorzec ręczny także potrzebuje jawnego zakresu. Osoba przygotowująca odpowiedź odniesienia powinna obejrzeć cały badany odcinek, a przy krótkim oznaczeniu zatrzymać właściwy fragment. Zapis „numer 7 obecny” bez wskazania miejsca nie pozwala rozstrzygnąć późniejszego sporu o inną kopię nagrania. Jeśli druga osoba nie potrafi potwierdzić znaku, odłóż ten przypadek do wyjaśnienia zamiast uznać odpowiedź modelu za błędną na podstawie niepewnej etykiety. Własny wzorzec nie zyskuje nieomylności dzięki nazwie pliku „ostateczny”.

Zmieniaj położenie krótkiego zdarzenia na osi czasu, utrzymując jego znaczenie. Gdy wynik zależy od przesunięcia o ułamek sekundy, przyjrzyj się próbkom. Nie jest to automatyczny dowód konkretnej przyczyny, lecz wskazówka do sprawdzenia zakresu wejścia. Wymaganie powinno odpowiadać rzeczywistemu tempu materiałów, z którymi ma pracować zespół.

Osobno sprawdź zdarzenie częściowo zasłonięte i takie, którego nie da się rozpoznać z przygotowanego wejścia. Wynik „brak podstaw do ustalenia” może być wtedy właściwy. Nie premiuj stanowczego „nie wystąpiło” za samą zwięzłość. Odbiorca raportu potrzebuje odróżnić negatywny wynik kontroli od niewystarczającego zakresu obserwacji.

Zachowaj również kontekst przed zdarzeniem i po nim. Wycięcie samego środka może pomóc odczytać napis, ale usunąć podstawę do ustalenia kolejności czynności. Reguły kadrowania i skalowania obrazów przed modelem mają tu zastosowanie do każdej pobranej klatki. Potrzebny szczegół musi przetrwać zarówno wybór czasu, jak i przygotowanie obrazu.

Znacznik czasu jest informacją z określoną dokładnością

Wynik z wieloma cyframi wygląda precyzyjnie. Nie musi jednak wskazywać pierwszej klatki zdarzenia. Referencja Amazon Rekognition opisuje Timestamp w milisekundach od początku filmu i zaznacza brak gwarancji dokładności do pojedynczej klatki pierwszego pojawienia się etykiety. To konkretny zakres tej odpowiedzi usługi, nie pomiar dokładności dowolnego modelu.

Odbiór powinien ustalić dopuszczalną różnicę czasu dla planowanego użycia. Do znalezienia orientacyjnego miejsca w długim instruktażu może wystarczyć szersze wskazanie. Do przypisania krótkiego napisu do czynności potrzeba innego zakresu. Kryterium powinno wynikać z zadania odbiorcy, a nie z liczby cyfr zwracanych przez system.

Ustal również znaczenie wskazania przed policzeniem różnicy. Czy model ma podać początek widoczności, dowolną chwilę wewnątrz zdarzenia, czy przedział do ręcznego obejrzenia? W naszym rachunku 2,25 sekundy leży wewnątrz okresu obecności numeru. Nie jest jednak jego początkiem. Zmiana tej definicji w trakcie odbioru zmieni ocenę tej samej liczby. Przy przedziale porównaj oba końce i jego użyteczność: wskazanie całego pięciominutowego materiału formalnie zawiera krótki napis, ale nie pomaga redaktorowi go odnaleźć.

Jednostkę czasu zapisz jawnie. MDN opisuje właściwość timestamp obiektu VideoFrame jako wartość w mikrosekundach. Inny interfejs może podawać milisekundy lub czytelny zapis minut i sekund. Przeniesienie samej liczby między tymi miejscami bez przeliczenia nie zachowa jej znaczenia.

W raporcie wskaż, czy czas dotyczy oryginału, wycinka czy wersji po zmianie tempa. Jeśli analizujesz fragment zaczynający się w 2:00 oryginału, jego piąta sekunda odpowiada 2:05 w źródle, o ile nie zmieniono tempa ani nie wykonano kolejnych cięć. Rozdziel lokalną oś fragmentu od miejsca w materiale źródłowym. Przy kilku odcinkach każde wskazanie powinno mieć własne pochodzenie.

Zmiana tempa wymaga podobnego rozróżnienia. Zwolnienie materiału może ułatwić ręczne obejrzenie krótkiej czynności, ale wynik podany względem zwolnionej kopii trzeba poprawnie odnieść do oryginału. Oznacz oryginał i zwolnioną kopię tak, żeby nie pomylić ich przy otwieraniu wyniku. W odbiorze zachowaj mapowanie, które pozwoli otworzyć właściwy moment bez zgadywania.

Gdy wynik ma dotyczyć wypowiedzi, sprawdź przygotowanie audio, kanałów i ciszy. Dźwięk może zostać przycięty niezależnie od obrazu. Również napisy do wideo wymagają zgodności z konkretną wersją. Poprawne słowa przy niewłaściwej czynności nadal wprowadzają odbiorcę w błąd.

Raport ma pokazać zasięg obserwacji

Przed przypisaniem błędu modelowi sprawdź kompletność zadania: film został przyjęty, wymagane fragmenty przetworzono, a odpowiedź pochodzi z tej próby. Błąd pobrania wycinka nie jest wynikiem „zdarzenie nie wystąpiło”. Brak odpowiedzi także wymaga odrębnego oznaczenia. Wspólny pusty wiersz ukrywa różne przyczyny.

Przy wynikach pobieranych partiami zachowaj kontrolę kompletności stronicowanego odczytu. Brak zdarzenia na pierwszej stronie odpowiedzi nie pozwala wnioskować o reszcie nagrania. Podobnie ponowiona próba dla jednego wycinka nie powinna zostać doliczona jako nowy, osobny odcinek filmu. Powiąż wyniki z zakresem czasowym i konkretnym zadaniem. Zespół musi móc odróżnić pięć ukończonych fragmentów od pięciu odpowiedzi dotyczących wciąż tego samego fragmentu.

Jeżeli dostępna jest lista faktycznie użytych klatek, zachowaj jej znaczniki i związek z oryginałem. Jeśli usługa nie udostępnia dokładnej listy, podaj tę granicę. Nie odtwarzaj rzekomego zakresu na podstawie samej długości filmu. W trybie dobierającym fragmenty do pytania kolejne uruchomienie może wymagać własnego zapisu przebiegu.

Przy błędzie rozdziel: zdarzenie nie trafiło do próbek, było w próbkach i zostało nierozpoznane, zostało rozpoznane z niewłaściwym czasem albo odpowiedź przekroczyła dostępne podstawy. To użyteczne kierunki dalszej pracy. Nie zawsze da się rozstrzygnąć przyczynę na podstawie dostępnego raportu, lecz można zapisać brakujący dowód zamiast zgadywać.

Zasada z oceny długiego kontekstu AI pozostaje trafna: przyjęcie materiału nie potwierdza wykorzystania każdej potrzebnej informacji. W wideo dochodzi wybór chwil i reprezentacji obrazu. Obietnica obsługi długich filmów nie jest równoznaczna z potwierdzeniem każdej krótkiej czynności.

Po zmianie częstotliwości lub trybu analizy ponów ocenę na tych samych wariantach materiału. Zachowaj również koszt i czas przygotowania użytecznego wyniku, jeśli są przedmiotem decyzji. Gęstsze próbkowanie może zwiększyć zakres wejścia, ale samo nie potwierdza poprawnej interpretacji. Korzystniejszy raport zużycia zasobów też nie usprawiedliwia utraty zdarzenia wymaganego w zadaniu.

Przy roboczym opisie demonstracji można zakończyć próbę jasno ograniczoną decyzją: rozwiązanie odnajduje wskazany rodzaj zdarzeń w sprawdzonych warunkach albo wymaga dalszej kontroli określonego fragmentu. Kartonik z numerem 7 nie potrzebuje recenzji stylu. Potrzebuje szansy, żeby w ogóle znaleźć się w analizowanym materiale.