본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

사진 속 상자 열두 개: AI 객체 개수 세기의 한계

AI의 객체 개수 세기를 평가할 때 단위를 정하고 개별 지목을 비교하며 이미지가 확인할 수 없는 것을 밝힙니다.

본문 언어: 한국어

풍경이 보이는 큰 원형 구조물 앞에서 탁자 곁에 있는 두 사람.
목차

결과는 열둘입니다. 기준 답도 열둘입니다. 하지만 시험이 맞았다고 수락하기 전에 무엇을 셌는지 확인해야 합니다. 모델이 상자 하나를 빠뜨리고 다른 하나를 두 번 가리켰을 수 있습니다. 합계가 맞는다고 그 인식이 고쳐지는 것은 아닙니다. 두 오류가 같은 답에서 만났을 뿐입니다.

사진이나 AI 없이도 이를 보여 줄 수 있습니다. 직접 만든 간단한 계산에는 p01부터 p12까지 가상의 식별자 열두 개가 있습니다. 보고된 목록에는 p01부터 p11과 다시 p01이 들어 있습니다. 항목은 열두 개지만 서로 다른 지목은 열한 개뿐이며 p12가 빠졌습니다. 이는 논리적인 예시이지 모델의 결과나 사진 개수 세기 품질의 증거가 아닙니다.

따라서 객체 개수 세기를 검수할 때는 숫자뿐 아니라 한 단위의 의미와 결과를 확인할 수 있는 근거가 필요합니다. 사진의 내용을 묻는 간단한 업무상 질문도 마찬가지입니다. 창고 사진에 보이는 포장 수가 있더라도 그 뒤에 있는 물건의 전체 상태까지 드러나는 것은 아닙니다.

이 작업에서 한 개의 물체는 무엇인가요?

가상의 작업실이 재료 설명을 작성하기 전에 종이 장식 세트를 촬영한다고 합시다. 탁자에는 세트가 든 상자들이 있고 옆에는 여러 부품이 든 열린 포장 하나가 있습니다. “상품이 몇 개인가요?”라는 질문만으로는 포장, 판매할 세트, 개별 부품 중 무엇을 세는지 정할 수 없습니다. 상품 구성을 아는 사람과 이미지를 분석하는 모델이 서로 다른 단위로 답할 수 있습니다.

대상과 화면의 범위를 명시하세요. “탁자에 보이는 닫힌 상자를 세어 주세요”는 “발송할 세트가 몇 개 준비됐나요?”와 다릅니다. 두 번째 질문에는 사진에 없는 정보가 필요할 수 있습니다. 빈 포장과 완성된 세트는 겉으로 비슷해 보일 수 있습니다. 사진에서 개수를 세면서 내용물의 상태를 지어내서는 안 됩니다.

일부만 보이는 물체에도 합의된 규칙이 필요합니다. 가장자리에 뚜껑 조각만 보이면 상자를 셀까요? 답은 작업의 목적과 식별 가능성에 따라 달라질 수 있습니다. 모델의 답을 본 뒤에야 규칙을 정하지 마세요. 그러면 기대하는 합계에 따라 같은 지목 두 개를 다르게 평가하게 됩니다.

CVPR 2021의 Learning To Count Everything 저자 문서는 테두리로 표시한 객체 예시를 사용한 개수 세기를 보여 줍니다. 이는 특정 입력을 사용하는 방법이지 어떤 사진의 물체든 셀 수 있다는 보편적인 약속이 아닙니다. 어떤 종류의 서로 다른 객체를 세어야 하는지 정해야 한다는 점을 보여 주는 사례입니다.

일반적인 업무에서는 명확한 정의와 검수 집합의 표시된 예시가 이 역할을 할 수 있습니다. 자체 기준에는 포함된 물체를 각각 표시해야 합니다. 가장자리 조각을 두 사람이 다르게 판단한다면 미해결 상태를 기록하세요. 무작위로 고른 숫자는 “전문가의 답”이라고 이름 붙였다는 이유만으로 강한 근거가 되지 않습니다.

상품 종류를 알아보는 일과 개별 실물을 알아보는 일을 혼동하지 마세요. 사진을 이용한 상품 검색 (폴란드어)은 포장 모델을 찾을 수 있습니다. 링크된 글은 폴란드어입니다. 개수를 세려면 실제로 보이는 별도 개체가 몇 개인지 더 확인해야 합니다. “상자”라는 클래스 레이블 하나가 한 개라는 뜻은 아니며, 같은 상자에 레이블이 여러 개 있다고 여러 개가 되는 것도 아닙니다.

반사된 모습과 포장에 인쇄된 사진은 별도의 사례입니다. 포스터 속 상자 그림은 탁자 위 상자가 하나 더 있다는 뜻이 아닙니다. 거울 속 반사는 추가 물체가 아니라 같은 개체를 보여 줄 수 있습니다. 실제 자료에 이런 상황이 있다면 검수 집합에도 넣어야 합니다. 비슷한 모양이 보인다는 이유로 모두 더한다고 가정하지 말고 작업에 맞는 기대 판단을 준비하세요.

실제 개수를 아는 물체로 작은 대조 사진군을 만들 수 있습니다. 먼저 물체를 따로 놓고, 일부를 가린 다음, 배경에 비슷한 포장의 사진을 추가합니다. 각각의 변경을 기록하세요. 목적은 대표적인 사진 한 장을 보여 주는 것이 아니라 조건을 비교하는 것입니다. 이 글에서는 그런 사진군을 촬영하지 않았습니다. 검수를 위한 시험 제안입니다. 기준에는 탁자에 놓은 것으로 알려진 실제 물체 수와 해당 사진에서 존재를 확인할 수 있는 수를 구분해야 합니다.

숫자에서 비교할 수 있는 지목으로

OpenAI는 이미지 분석 모델의 한계에서 객체 수가 근사치로 제시될 수 있다고 밝힙니다. 이는 능력 범위에 대한 경고이지 이 업무 과정을 측정한 결과가 아닙니다. 회사에 정확한 수가 필요하다면 대표 자료로 그 조건을 별도로 검수해야 합니다.

같은 시험의 이미지, 질문, 결과를 보관하세요. 도구가 객체를 표시할 수 있다면 알아볼 수 있는 지목을 요청하고 기준과 비교합니다. 식별자 예시에서는 이 확인을 통해서야 빠진 p12와 반복된 p01을 알 수 있습니다. 답의 근거는 잘못됐지만 합계의 차이는 0입니다.

모든 솔루션이 개별 지목을 반환하지는 않습니다. 숫자만 받는다면 기준과 비교할 수는 있지만 어느 상자에서 오류가 났는지는 특정할 수 없습니다. 나중의 모델 설명을 바탕으로 발견된 객체 목록을 만들어 내지 마세요. 보고서에는 이 관찰 한계를 유지해야 합니다. 위치 확인이 작업의 일부라면 위치를 제공하는 방법을 고려할 수 있습니다. 그 선택도 검수가 필요합니다. 화면에 그래픽 테두리를 추가했다고 합계가 나온 과정과 일치한다는 증거는 아닙니다.

Hugging Face는 객체 탐지를 특정 클래스의 객체를 인식해 테두리와 레이블로 표시하는 작업으로 설명하며 API 응답에는 숫자 점수도 포함됩니다. 이는 합계만 적힌 문장과 다른 종류의 결과입니다. 이 테두리는 확인에 도움을 줄 수 있지만 각각을 자동으로 별도 물체라고 인정하지 말고 정확성도 평가해야 합니다.

여러 테두리가 같은 개체를 지목하지 않는지, 하나가 이웃한 두 물체를 덮지 않는지, 일부만 보이는 물체를 빠뜨리지 않았는지 확인하세요. 지목을 유지하는 임계값을 바꾸면 개수가 바뀔 수 있습니다. 설정을 알 수 있다면 보고서에 적고, 처리 방식을 모른다면 그 한계를 명시하세요. 한 목록에 추가 필터가 적용됐다면 두 합계가 같은 조건에서 나온 것처럼 비교하지 마세요.

Aeneia 콘셉트 사진

선택한 클래스의 물체가 없는 이미지도 포함하세요. 0이라는 결과는 제대로 수행된 분석이 해당 범위에서 그런 물체를 찾지 못했다는 뜻이어야 합니다. 파일 읽기 오류, 빈 응답, 필요한 클래스 미지원에 같은 값을 주어서는 안 됩니다. 이 예시에서 빈 탁자의 사진과 가득 찬 탁자의 사진이 로드되지 않은 상황은 다릅니다. 결과를 이후 설명 작업에 쓰기 전에 팀이 이 차이를 알아야 합니다.

분명하게 보이는 물체 한 개만 다른 비슷한 사진 두 장도 준비합니다. 나머지는 비슷한 배치로 둡니다. 합의한 정의에 따라 기대 결과가 하나 차이 나야 합니다. 이 쌍은 일반적인 더미 모양이나 자주 반복되는 고정 숫자에 근거한 답을 찾는 데 도움이 됩니다. 두 이미지와 각각의 표시를 보관하세요. 실제 작업의 질문에 기대 차이가 없다면 모델에게 그 차이를 덧붙여 알려 주지 마세요.

테두리를 이미지 위에 겹쳐 그릴 때는 좌표를 결과 이미지에 올바르게 옮겨야 합니다 (폴란드어). 링크된 글은 폴란드어입니다. 숫자 목록이 축소 이미지에서는 정확하지만 원본에는 잘못 그려질 수 있습니다. 그러면 검수자가 어느 물체를 가리켰는지 확인할 수 없습니다. 테두리의 합계는 그럴듯해도 시각적 증거는 다른 곳을 가리킵니다.

입력 화면에는 개수를 세는 데 필요한 영역이 남아 있어야 합니다. 모델에 넣기 전 이미지 준비 (폴란드어)에는 필요한 세부 정보를 없앨 수 있는 크기 변경과 자르기가 포함됩니다. 링크된 글은 폴란드어입니다. 탁자의 일부가 분석 자료 밖에 있다면 결과가 촬영한 장면 전체를 자동으로 설명하지는 않습니다. 차이를 밝히지 않고 더 넓은 이미지의 기준과 비교하지 마세요.

사진이 여러 장이면 이미지마다 보인 횟수의 합을 원하는지, 서로 다른 실제 물체의 수를 원하는지 정하세요. 같은 소포를 두 번 찍으면 보이는 상자에 대한 두 번의 올바른 판독이 나올 수 있습니다. 이를 더해도 작업실의 물건 수가 확인되는 것은 아닙니다. 같은 개체가 반복됐는지 알아보려면 실제로 읽을 수 있는 합의된 표시처럼 별도의 근거가 필요합니다.

그 목적으로 레이블을 쓴다면 개수 세기와 바코드 해독 및 상품 인식 (폴란드어)을 구분하세요. 링크된 글은 폴란드어입니다. 여러 물체가 공유하는 모델 번호는 각 개체의 식별자가 아닙니다. 두 상자에서 같은 글씨가 보인다는 사실만으로 물건 하나를 두 번 찍었는지, 비슷한 물건 두 개를 찍었는지 알 수 없습니다.

Aeneia Audit에서는 프로세스가 이미지에서 어떤 정보를 도출하고 다음 판단을 무엇에 근거하는지 확인할 수 있습니다. 명확히 표시된 기준이 있는 제한된 사진 집합과 결과의 예상 사용 범위가 자료가 됩니다. 이를 통해 대략적인 제안이 필요한지, 현재 솔루션이 아직 확인하지 못한 정확도 조건이 필요한지 평가할 수 있습니다.

Aeneia Audit

세는 단위와 보이는 범위, 개별 지목을 확인하는 방법을 함께 정합니다. 실제 업무에 쓰는 것과 비슷한 사진과 직접 표시한 객체를 준비하면 결과를 실제 기준과 비교할 수 있습니다.

사진 속 객체 개수 세기 검수 상담

보이는 배치가 가려진 개수를 확인해 주지는 않습니다

가려진 상태에서는 정확한 개수를 판단할 근거가 부족할 수 있습니다. 상자가 규칙적으로 놓였다고 보이지 않는 줄이 가득 찼다는 증거는 아닙니다. 명시한 가정에 따라 추정할 수는 있지만 그렇게 이름 붙여야 합니다. “적어도 몇 개가 보인다” 또는 “전체 개수를 정할 수 없다”는 답은 합의한 작업과 이미지가 실제로 보여 주는 내용에 맞아야 합니다.

하한에도 근거가 필요합니다. 보이는 세 조각이 하나의 포장에 속할 수 있다면 추가 정보 없이 최소 세 개라고 볼 수 없습니다. 먼저 서로 다른 개체인지 판단해야 합니다. 추정 범위라면 양 끝값의 근거를 보여 주세요. 10부터 20까지라는 범위가 넓다는 이유만으로 신중한 결과가 되지는 않습니다. 이미지에 필요한 정보가 없다면 단정적인 숫자 하나만큼이나 근거가 없을 수 있습니다.

근거가 없을 때 AI가 적절히 답변을 거절하는 것 (폴란드어)도 여기서 유용합니다. 링크된 글은 폴란드어입니다. 보이지 않는 부분을 패턴으로 채워 확실한 숫자로 바꿔서는 안 됩니다. 반대로 명확하고 모호하지 않은 사진에서 거절하는 것도 프로세스 오류일 수 있습니다. 검수에는 셀 수 있는 사례와 제한된 결과가 필요한 사례를 모두 포함해야 합니다.

합계 오류와 서로 다른 물체의 인식 오류를 따로 보여 주세요. 화면 범위와 수동 평가가 필요한 사례의 정보도 보관합니다. 열린 선반 사진의 결과를 많은 물체가 가려진 빽빽한 더미의 결과와 같은 뜻으로 해석해서는 안 됩니다. 하나의 공통 정확도 수치가 바로 그 차이를 숨길 수 있습니다.

각 시험 그룹의 사례 수도 보관하세요. 쉬운 단일 물체 사진이 많으면 몇 장뿐인 어려운 사진의 결과를 압도할 수 있습니다. 실제 팀의 업무가 어려운 사진에 가깝더라도 그렇습니다. 평가가 정확한 합계인지, 허용 오차인지, 개별 지목의 일치인지도 표시하세요. p01부터 p12까지의 계산은 이 기준들이 서로 대체될 수 없는 이유를 보여 줍니다. 프로세스가 사진을 일차적으로 분류하는 데만 쓰인다면 그 범위를 의식적으로 수락할 수 있습니다. 나중에 실제 물건의 전체 수가 확인됐다고 표현해서는 안 됩니다.

촬영 방법을 바꾸면 시험을 반복하세요. 배경, 각도, 거리가 달라지면 솔루션이 사용하는 자료가 바뀔 수 있습니다. 상자를 따로 펼쳐 놓는 변경을 동시에 했다면 개선을 새 프롬프트에만 돌리지 마세요. 알아보기 쉬운 물체 배치가 작업을 도울 수 있습니다. 보고서에는 그 변화를 명시하고 모델의 능력만으로 설명하지 마세요.

이 예시에서는 올바른 숫자가 반대 방향의 두 오류를 숨길 수 있는 어려운 이미지 하나를 검수에 포함할 가치가 있습니다. 지목을 비교해야만 결과의 근거를 판단할 수 있습니다. 목록의 항목 열두 개가 사진 속 서로 다른 상자 열두 개와 연결되는지도 확인해야 합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear