본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

프레임 사이의 짧은 동작: AI 영상 분석을 검토하는 법

짧은 사건은 추출한 프레임 사이에서 빠질 수 있습니다. 분석 범위와 타임스탬프의 의미, 미탐지와 부재의 차이를 살펴봅니다.

본문 언어: 한국어

풍경이 보이는 큰 원형 구조물 앞에서 탁자 곁에 있는 두 사람.
목차

"그런 글자는 없었다"는 결론은 "분석한 프레임에서 찾지 못했다"보다 더 강합니다. 짧게 나타나는 세부 사항이라면 자료를 추출한 방식 때문에 차이가 생길 수 있습니다. 모델이 눈에 보이는 숫자를 잘못 읽은 것이 아닐 수도 있습니다. 선택한 프레임 어디에도 그 숫자가 없었을 수 있습니다.

따라서 영상 분석을 검토할 때는 실제로 어떤 부분이 평가에 들어갔는지 밝혀야 합니다. 시스템이 받아들인 파일의 재생 시간만으로는 그 범위를 알 수 없습니다. 영상 이해 품질을 보고하기 전에 샘플링 규칙, 식별 가능한 녹화본의 버전, 사건의 판정 기준을 정해야 합니다. 제품 시연이나 게시물 설명을 위한 자료를 실무에서 분석할 때 특히 유용합니다.

5초에서 고른 여섯 프레임

시간 격자를 직접 계산해 보겠습니다. 실제 영상을 만들거나 AI를 실행하는 것은 아닙니다. 가상의 영상에서 숫자 7이 적힌 카드가 2.2초부터 2.4초 직전까지 보인다고 가정합니다. 0, 1, 2, 3, 4, 5초에 프레임을 추출하면 이 묶음에는 숫자가 한 번도 나타나지 않습니다.

0초부터 초당 네 번 샘플링하면 2.25초의 프레임이 포함됩니다. 카드가 보이는 구간 안입니다. 시작점을 0.3초로 옮겨 초당 한 번 샘플링해도 그 구간을 포착합니다. 샘플 하나가 2.3초에 해당하기 때문입니다. 이것은 특정 시점에 카드가 있는지를 계산한 것이지 글자 인식 결과가 아닙니다.

이 예는 샘플링 빈도와 시간 격자의 위치가 모두 중요하다는 것을 보여 줍니다. 모든 영상 분석에 필요한 보편적인 프레임 수를 정해 주지는 않습니다. 다른 사건은 더 짧거나 다른 시점에 일어나거나 가려질 수 있습니다. 이 한 번의 계산에서 도움이 되었다고 해서 초당 네 번의 샘플링이 보증이 되는 것은 아닙니다.

Gemini 문서는 초당 한 프레임을 추출하는 정적 모드를 설명하고 빠른 움직임이나 장면 전환에서 세부 사항을 놓칠 수 있다고 주의합니다. 또 자료를 동적으로 탐색하는 모드와 이를 구분합니다. 특정 설정을 검토할 때는 사용한 모드를 기록해야 합니다. 영상 분석 서비스마다 같은 규칙이 적용된다고 단정해서는 안 됩니다.

원본 영상의 프레임 수와 분석에 사용하는 샘플 수는 서로 다릅니다. 일반 재생에서는 움직임이 부드러워도 모델에는 더 드문 간격의 이미지가 전달될 수 있습니다. 원본을 보는 사람이 모델도 같은 연속성을 받았다고 자동으로 가정해서는 안 됩니다. 입력을 준비하는 전체 과정에 관한 문제입니다.

Aeneia Audit의 AI 활용 검토에서는 분석 목적, 영상 전달 방식과 답변을 받아들이는 기준을 정리할 수 있습니다. 잠깐 보이는 표시라면 모델의 전반적인 순위부터 비교하기보다 어떤 프레임이 추출됐는지 묻는 편이 더 유용할 수 있습니다. 프로세스 책임자는 그 결과로 실제 무엇을 확인할 수 있는지 알아야 합니다.

무엇을 사건으로 볼 것인가

"시연을 확인하라"는 요구는 너무 넓습니다. 종이 포장 접기 안내를 준비하는 가상의 스튜디오라면 숫자가 보이는지, 탭이 어디에 놓였는지, 접는 순서가 어떤지를 물을 수 있습니다. 각각 다른 과제입니다. 한 시점의 상태를 알아봤다고 해서 그 상태에 이르기까지의 전체 동작이 확인되는 것은 아닙니다.

질문이 숫자 7에 관한 것이라면 기준 자료에 숫자를 읽을 수 있는 구간이 표시돼야 합니다. 포장을 돌리는 동작이 문제라면 동작의 시작과 끝, 이를 알아볼 수 있는 시각적 근거를 정의해야 합니다. 비슷한 상자의 두 장면만으로 그 사이에 움직임이 계속됐다고 증명할 수는 없습니다. 편집으로 다른 준비 과정이 가려졌을 수도 있습니다.

탭이 처음에는 열려 있고 나중에는 닫혀 있다고 가정해 봅시다. 이 두 상태로 변화를 설명할 수는 있지만 어느 손으로 닫았는지, 다른 도구를 썼는지는 확인할 수 없습니다. 안내 절차를 점검하는 과제라면 수행 방식이 결과를 좌우할 수도 있습니다. 그런 요구를 최종 모습만 묻는 더 쉬운 질문으로 바꾸지 마세요. 기록에서는 두 판단을 나눌 수 있습니다. 최종적으로 닫힌 상태는 보이지만, 닫는 과정은 이용 가능한 샘플에 포함되지 않았다는 식입니다. 그러면 편집자가 어느 부분을 직접 봐야 하는지 알 수 있습니다.

AI 영상에서 대상과 동작의 연속성 점검하기 (폴란드어)는 시연에서 어떤 특징을 유지해야 하는지 정하는 데 도움이 됩니다. 기존 영상을 분석할 때는 그 특징이 평가 기준의 일부가 됩니다. 장면 사이에서 상자의 형태가 바뀐다면 모델은 확보된 자료를 설명해야지 빠진 올바른 안내 단계를 지어내서는 안 됩니다.

사건이 있는 버전과 없는 버전을 준비하세요. 시각 인식만 평가한다면 사건이 없는 버전에서는 캡션, 파일명이나 주석에도 그 사건이 나타나지 않아야 합니다. 그렇지 않으면 답변이 다른 단서를 이용할 수 있습니다. 프레임, 소리, 자막, 텍스트 지시 중 어떤 정보 채널이 제공됐는지도 기록하세요.

사람이 만드는 기준 답변에도 명확한 범위가 필요합니다. 기준 답변을 준비하는 사람은 평가할 구간 전체를 보고, 짧게 나타나는 표시라면 해당 부분에서 영상을 멈춰 확인해야 합니다. 위치 없이 "숫자 7 있음"이라고만 쓰면 나중에 다른 사본을 두고 생긴 이견을 해결하기 어렵습니다. 두 번째 사람이 그 표시를 확인하지 못한다면 불확실한 라벨을 근거로 모델이 틀렸다고 판정하지 말고 확인이 필요한 사례로 남겨 두세요. 파일 이름을 "최종"이라고 붙여도 기준 답변이 완벽해지는 것은 아닙니다.

짧은 사건의 의미는 유지하면서 시간축에서 위치를 바꿔 보세요. 몇 분의 일 초를 옮긴 것에 따라 결과가 달라진다면 샘플을 살펴볼 필요가 있습니다. 이것만으로 특정 원인이 자동으로 증명되는 것은 아니지만 입력 범위를 확인하라는 단서는 됩니다. 요구사항은 팀이 실제로 다룰 자료의 속도에 맞아야 합니다.

Aeneia 콘셉트 사진

일부가 가려진 사건과 준비된 입력만으로는 알아볼 수 없는 사건도 따로 확인하세요. 이때는 "판단할 근거가 부족하다"가 적절한 결과일 수 있습니다. 간결하다는 이유만으로 단정적인 "일어나지 않았다"에 좋은 점수를 주지 마세요. 보고서를 받는 사람은 부정적인 검사 결과와 관찰 범위가 충분하지 않았다는 사실을 구분할 수 있어야 합니다.

사건 전후의 맥락도 남겨 두세요. 중간만 잘라 내면 글자를 읽기 쉬워질 수 있지만 동작 순서를 판단할 근거가 사라질 수 있습니다. 모델에 넣기 전 이미지 자르기와 크기 조정 (폴란드어)의 원칙은 여기서 추출하는 각 프레임에도 적용됩니다. 필요한 세부 사항은 시점 선택과 이미지 준비를 모두 거친 뒤에도 남아 있어야 합니다.

타임스탬프에는 정해진 수준의 정확도가 있다

숫자가 많이 붙은 결과는 정밀해 보입니다. 하지만 사건이 처음 나타난 프레임을 반드시 가리키는 것은 아닙니다. Amazon Rekognition 레퍼런스는 Timestamp를 영상 시작부터의 밀리초로 설명하며 라벨이 처음 나타난 개별 프레임까지 정확하다고 보장하지 않는다고 밝힙니다 (영어). 이는 해당 서비스 응답에 관한 한정된 설명이지 모든 모델의 정확도를 측정한 결과가 아닙니다.

검토 과정에서는 예정된 용도에 허용할 수 있는 시간 차이를 정해야 합니다. 긴 사용 안내 영상에서 대략적인 위치를 찾는 데는 넓은 범위로도 충분할 수 있습니다. 짧은 자막을 동작에 맞추는 데는 다른 허용 범위가 필요합니다. 기준은 시스템이 반환한 숫자의 자릿수가 아니라 이용자의 과제에서 나와야 합니다.

차이를 계산하기 전에 표시가 무엇을 뜻하는지도 정하세요. 모델이 보이기 시작한 시점, 사건이 일어나는 구간 안의 아무 시점, 사람이 직접 볼 구간 중 무엇을 내놓아야 할까요? 앞의 계산에서 2.25초는 숫자가 보이는 기간 안에 있습니다. 하지만 그 기간의 시작은 아닙니다. 검토 중 이 정의를 바꾸면 같은 숫자의 평가도 달라집니다. 구간이라면 양쪽 끝과 실제 유용성을 비교하세요. 5분짜리 영상 전체를 가리키면 짧은 글자가 형식상 포함되지만 편집자가 이를 찾는 데는 도움이 되지 않습니다.

시간 단위도 명시하세요. MDN은 VideoFrame의 timestamp 속성을 마이크로초 단위의 값으로 설명합니다 (영어). 다른 인터페이스에서는 밀리초나 사람이 읽는 분과 초 표기를 사용할 수 있습니다. 단위를 변환하지 않고 숫자만 옮기면 의미가 유지되지 않습니다.

보고서에는 시간이 원본, 발췌본 또는 재생 속도를 바꾼 버전 중 무엇을 기준으로 하는지 밝히세요. 발췌본이 원본의 2:00에서 시작한다면 발췌본의 5초는 원본의 2:05에 해당합니다. 다만 속도를 바꾸지 않았고 추가로 자르지도 않은 경우입니다. 발췌본의 로컬 시간축과 원본에서의 위치를 구분하세요. 구간이 여러 개라면 각 표시가 어디에서 왔는지도 남아야 합니다.

속도를 바꿀 때도 비슷하게 구분해야 합니다. 영상을 느리게 하면 짧은 동작을 사람이 보기 쉬워질 수 있지만, 느린 사본을 기준으로 표시된 결과는 원본에 정확히 다시 연결해야 합니다. 결과를 열 때 원본과 느린 사본을 혼동하지 않도록 두 자료를 구분할 수 있게 표시하세요. 검토 기록에는 추측하지 않고 올바른 순간을 열 수 있는 시간 대응 관계를 남겨 두세요.

결과가 발화에 관한 것이라면 오디오, 채널과 무음 구간 준비하기 (폴란드어)를 확인하세요. 소리는 영상과 별도로 잘릴 수 있습니다. 영상 자막 (폴란드어)도 특정 버전과 맞아야 합니다. 단어가 정확해도 잘못된 동작에 붙으면 보는 사람을 오도합니다.

보고서는 관찰 범위를 보여 줘야 한다

오류를 모델 탓으로 돌리기 전에 작업이 완결됐는지 확인하세요. 영상을 받아들였는지, 필요한 구간을 처리했는지, 답변이 바로 그 시도의 결과인지 살펴봅니다. 발췌본을 가져오지 못한 오류는 "사건이 일어나지 않았다"는 결과가 아닙니다. 답변이 없는 경우도 따로 표시해야 합니다. 같은 빈 행 하나로 처리하면 서로 다른 원인이 가려집니다.

결과를 여러 차례 나누어 가져온다면 페이지별 조회의 완전성 확인하기 (폴란드어)를 참고하세요. 응답 첫 페이지에 사건이 없다는 사실만으로 녹화본의 나머지 부분을 판단할 수는 없습니다. 마찬가지로 한 발췌본을 재시도한 결과를 새롭고 별개의 영상 구간으로 더해서는 안 됩니다. 결과를 시간 범위와 특정 작업에 연결하세요. 팀은 완료한 구간 다섯 개와 같은 구간에 대한 답변 다섯 개를 구분할 수 있어야 합니다.

실제로 사용한 프레임 목록을 볼 수 있다면 각 타임스탬프와 원본과의 관계를 남기세요. 서비스가 정확한 목록을 제공하지 않는다면 그 한계를 밝히세요. 영상 길이만 보고 관찰한 범위를 추정해 사실처럼 재구성해서는 안 됩니다. 질문에 따라 부분을 고르는 모드라면 다음 실행에서도 그 실행 자체의 진행 기록이 필요할 수 있습니다.

오류가 생기면 사건이 샘플에 들어오지 않았는지, 샘플에는 있었지만 인식되지 않았는지, 인식은 했으나 시간이 틀렸는지, 답변이 확보된 근거를 넘어섰는지를 구분하세요. 이후 작업 방향을 잡는 데 유용합니다. 이용 가능한 보고서만으로 원인을 늘 판별할 수는 없지만 추측하는 대신 어떤 근거가 빠졌는지 기록할 수는 있습니다.

긴 AI 컨텍스트 평가 (폴란드어)의 원칙도 그대로 적용됩니다. 자료를 받아들였다고 해서 필요한 정보를 모두 사용했다는 뜻은 아닙니다. 영상에서는 어떤 시점과 이미지 표현을 고를지도 더해집니다. 긴 영상을 지원한다는 설명은 모든 짧은 동작을 확인했다는 증거가 아닙니다.

샘플링 빈도나 분석 모드를 바꾼 뒤에는 같은 자료의 같은 변형들로 다시 평가하세요. 결정에 필요한 항목이라면 유용한 결과를 준비하는 데 든 비용과 시간도 남겨 두세요. 더 촘촘한 샘플링은 입력 범위를 넓힐 수 있지만 그것만으로 해석이 정확하다고 확인되지는 않습니다. 자원 사용 보고서가 더 유리하더라도 과제에서 필요한 사건을 놓친 것을 정당화할 수는 없습니다.

시연을 실무적으로 설명할 때는 명확히 범위를 한정한 결정으로 시험을 마칠 수 있습니다. 확인한 조건에서 지정한 종류의 사건을 찾아내거나, 특정 구간을 더 살펴봐야 한다는 결정입니다. 숫자 7이 적힌 카드에는 문체 검토가 필요하지 않습니다. 적어도 분석할 자료 안에 들어갈 기회가 필요합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear