본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 물체를 찾았는데 좌표 변환 후 표시 테두리는 옆으로 빗나갔다

AI가 반환한 물체 좌표의 축 순서, 크기, 자르기와 회전을 확인합니다. 계산 예제로 모델 입력부터 미리보기까지 사각형의 경로를 따라갑니다.

본문 언어: 한국어

풍경이 보이는 큰 원형 구조물 앞에서 탁자 곁에 있는 두 사람.
목차

사진에 상자 여러 개가 놓여 있다. 모델은 알맞은 파란 상자를 가리키지만 미리보기의 테두리는 그 옆 상자를 둘러싼다. 보고서의 이름은 맞고 숫자 네 개도 유효한 숫자인데, 직원은 여전히 잘못된 상자를 보고 있다. AI에 전달하는 지시를 고치기 전에 좌표가 이동한 경로를 따라가 보자.

물체를 알아보는 것과 그 위치를 표시하는 것은 별개의 결과다. 그 사이에 앱은 사진 크기를 줄이거나, 일부를 자르거나, 이미지를 회전하거나, 여백을 추가할 수 있다. 한 화면에서 올바른 위치가 다른 화면에서도 올바르다는 보장은 없다.

종이 견본이 든 상자에 표시를 붙이는 가상의 작업실을 생각해 보자. 기기나 로봇을 제어하는 상황은 아니다. 사진을 살펴보는 도구에서 물체를 표시하는 작업이다. 아래 변환 예제는 가상의 데이터로 산술을 확인한 것이며, 모델이 사진을 분석한 결과가 아니다.

같은 숫자 네 개도 의미가 다를 수 있다

바운딩 박스는 지정한 물체를 둘러싸는 사각형이다. 이를 그리려면 어느 지점에서 거리를 재는지, 위치를 어떻게 표현했는지, 기준 이미지의 크기가 얼마인지 알아야 한다. 값 네 개를 나열한 것만으로는 알 수 없다.

사각형에 무엇을 포함할지도 정한다. 작업실에서는 눈에 보이는 상자가 대상이며 그림자와 옆 용기 밖으로 튀어나온 종이는 제외한다. 이 작업에서는 열려 있는 뚜껑 중 보이는 부분도 상자에 포함한다. 이는 작업실이 제안한 규칙이지 모든 모델의 특성은 아니다. 한 사람은 몸체만 표시하고 다른 사람은 뚜껑까지 포함한다면 서로 다른 기준 표시가 생긴다. 응답을 평가하기 전에 이 차이를 정해야 변환을 시작하기도 전에 테두리를 둘러싼 논쟁이 생기지 않는다.

Gemini의 물체 감지 예제에서 상자의 순서는 ymin, xmin, ymax, xmax이고 좌표는 이미지를 기준으로 0부터 1000까지의 범위로 정규화된다. 따라서 첫 번째 값은 세로축에 해당한다. 이는 설명된 방법의 규약이지 모든 AI 응답의 공통 형식은 아니다.

반면 Amazon Rekognition의 BoundingBox 참조 문서(영어)는 왼쪽 위 모서리의 위치와 너비, 높이를 이미지 크기에 대한 비율로 설명한다. 원점은 왼쪽 위에 있다. 사각형의 크기를 나타내는 값은 반대쪽 모서리의 좌표가 아니다. 이 참조 문서는 얼굴이 일부만 보이는 경우처럼 좌표가 이미지 경계를 벗어날 수도 있다고 설명한다.

앱이 이 두 표현을 혼동하면 오류를 알리지 않고도 테두리를 그릴 수 있다. 따라서 올바른 JSON만으로 데이터의 의미를 확인할 수는 없다 (폴란드어). 검수에는 숫자 네 개의 존재뿐 아니라 필드 이름, 축 순서와 단위가 포함돼야 한다.

특정 연동에 대해서는 입력과 출력을 간단히 기록한다. 어떤 파일이 모델에 전달됐는지, 크기가 얼마였는지, 반환값을 어떻게 해석하고 어느 이미지에 사용할지를 적는다. 이를 ‘표준 좌표’라는 이름만 붙여 두지 않는다. 한 도구의 표준이 다음 도구에도 익숙한 형식이라는 뜻은 아니다.

값의 범위 검사는 이 설명에 맞춘다. 모서리 순서가 뒤바뀌었거나 크기가 허용되지 않으면 결과 사용을 멈추고 이유를 보여 준다. 이미지 밖으로 나가는 것이 허용되는 상자라면 원본 결과와 화면에 실제로 보이는 부분을 구분한다. 표시용 테두리를 화면에 맞게 잘랐다는 이유로 다음 단계에 전달할 데이터를 조용히 바꾸어서는 안 된다. 자르기 규칙은 꾸밈이 아니라 검수의 일부다.

계산하기 전에 물체를 정확히 골랐는지와 좌표를 제대로 변환했는지를 나눈다. 입력 이미지에서는 올바른 상자를 둘러싼 테두리가 미리보기에서 이동할 수 있다. 반대로 모델이 잘못된 물체를 고른 입력에서 좌표를 오차 없이 옮길 수도 있다. 첫 번째는 위치 전달의 문제이고 두 번째는 인식의 문제다. 둘을 한꺼번에 고치면 무엇이 실제로 효과가 있었는지 확인하기 어렵다.

하나의 사각형을 세 이미지에서 따라가기

너비 2400픽셀, 높이 1600픽셀인 사진을 가정한다. 앱은 왼쪽에서 600픽셀, 위에서 200픽셀 떨어진 지점부터 일부를 잘라 낸다. 잘라 낸 영역은 1200 x 800픽셀이고, 이를 600 x 400으로 줄인 이미지가 모델에 전달된다.

반환된 상자가 앞에서 설명한 ymin, xmin, ymax, xmax 순서로 250, 200, 750, 800이라고 가정한다. 이는 계산을 위해 만든 값이지 모델 품질을 측정한 값이 아니다. 아래 좌표 쌍은 이미 x, y 순서다. 먼저 왼쪽에서의 거리, 다음에 위에서의 거리를 나타낸다. 결과는 다음과 같이 변환한다.

  • 600 x 400픽셀 입력에서 왼쪽 변은 120, 오른쪽 변은 480, 위쪽 변은 100, 아래쪽 변은 300픽셀에 있다. 값을 1000으로 나눈 뒤 가로축 값에는 너비를, 세로축 값에는 높이를 곱한다.
  • 1200 x 800으로 잘랐던 영역으로 돌아갈 때 이 예제에서는 거리를 두 배로 한다. 자른 영역의 원점에서부터 상자는 240, 200에서 960, 600까지 뻗는다.
  • 전체 사진으로 돌아가려면 잘라 낸 영역의 시작 위치인 가로 600, 세로 200을 더한다. 원본 기준 모서리는 840, 400과 1560, 800이 된다.

이 계산은 AI와 무관하게 확인할 수 있다. 위 가상 데이터에 짧은 스크립트를 적용해 이후의 미리보기와 회전까지 계산을 확인했다. 이미지를 만들거나 모델을 호출하지는 않았다. 이렇게 시험하면 물체 인식의 정확도와 기하 변환을 분리할 수 있다.

결과에 원본의 크기만 곱하면 잘라 낸 영역이 빠진다. 모델이 사진 전체를 본 것처럼 상자가 변환된다. 이는 지시문의 다음 버전을 평가하기 전에 드러내야 할 실수다. 입력에 세부 사항을 더한다고 사라진 시작 위치가 복구되지는 않는다.

canvas drawImage 문서(영어)는 이미지에서 잘라 내는 원본 사각형과 그 결과를 그리는 대상 사각형을 구분한다. 미리보기에서 보이는 크기와 위치가 원본 좌표와 반드시 같지는 않은 이유를 보여 주는 예다. 두 단계의 매개변수는 서로 다른 의미를 갖는다.

Aeneia 콘셉트 사진

계산을 미리보기까지 이어 가자. 원본 전체를 네 분의 일로 줄여 600 x 400픽셀로 표시하면 상자는 210, 100에서 390, 200까지다. 이 이미지를 왼쪽에 100픽셀, 위에 50픽셀의 여백이 있는 더 큰 캔버스에 놓으면 캔버스상의 테두리 모서리는 310, 150과 490, 250이 된다. 이 경우도 산술로 확인했다. 여백을 빼먹으면 크기를 올바르게 조정한 상자도 이동한다.

창 너비가 달라지면 미리보기 크기와 여백도 달라질 수 있다. 이때는 현재 표시 방식에 맞춰 다시 변환해야 한다. 제안하는 검수 시험에서는 응답을 받은 뒤 화면 크기를 바꿔 본다. 처음 화면에서 사각형을 한 번 올바르게 보여 주는 것으로는 충분하지 않다.

회전도 기준 좌표계를 바꾼다. 이 계산에서 원본 전체를 시계 방향으로 90도 돌리면 1600 x 2400픽셀 이미지가 된다. 모서리를 변환하면 같은 상자는 800, 840에서 1200, 1560까지 뻗는다. 이미지의 너비와 높이만 서로 바꾸고 예전 위치를 그대로 둘 수는 없다.

이 예제에서는 개별 픽셀 번호가 아니라 연속적인 변의 위치를 계산한다. 모든 모서리를 변환한 뒤 새 사각형을 이루는 극값을 선택한다. 이미지를 자를 때의 반올림 규칙은 구현자가 따로 기록해야 한다. 이후의 크기 변환을 거치기 전에 너무 일찍 반올림하면 최종 경계가 달라질 수 있다. 반올림 전 값만 보지 말고 실제 저장된 파일을 확인한다.

Rekognition의 방향 문서(영어)는 설명된 얼굴 분석 작업의 범위에서 Exif 방향에 따라 상자 좌표가 이미 보정된 경우도 제시한다. 그 경우 같은 보정을 다시 적용해서는 안 된다. 실제 연동에서는 결과가 어느 이미지를 기준으로 하는지 정해야 한다.

기록된 방향 정보와 실제로 회전된 픽셀은 구분해야 한다. 사진 처리의 모든 단계에서 같은 작업을 했다고 가정하지 않는다. 검수에는 각 단계의 이미지와 그 크기가 필요하다. 화면 캡처가 어느 파일을 보여 주는지 정하지 않은 채 논의하면 서로 다른 두 상태에 동의하기 쉽다.

상자는 실제 사용 단계에서도 맞아야 한다

작업실에서 미리보기는 상자를 고르는 데 쓰이고, 다음 단계는 그 상자의 사진을 잘라 내는 데 쓰일 수 있다. 두 결과를 모두 살펴본다. 자르기 기능이 다른 크기의 이미지에 해당하는 숫자를 받았더라도 화면 테두리는 올바르게 보일 수 있다. 테두리만 검수해서는 결과 파일의 정확성을 확인할 수 없다.

잘라 낸 이미지를 저장할 때 원본 사진을 다시 선택하고 어느 위치에서 내용을 가져왔는지 보여 준다. 직원이 상자를 수정했다면 그가 승인한 버전을 모델의 원본 응답과 별도로 보관한다. 그러면 다음 분석이 수동 수정을 알림 없이 덮어쓰지 않는다. 보고서에서도 AI가 정확히 가리킨 결과와 사람이 바로잡아 정확해진 결과를 구분할 수 있어야 한다.

선택 영역이 AI를 이용한 제품 사진 편집 (폴란드어)의 범위를 정한다면 올바른 위치는 검수의 시작일 뿐이다. 영역 안에서 무엇을 바꿀 수 있고 무엇을 보존해야 하는지 따로 정한다. 테두리가 제품을 다시 설계해도 된다는 허가를 뜻하지는 않는다.

표시가 클릭 가능한 영역이 된다면 클릭 자체도 확인한다. 목록과 구역을 함께 제공하는 인터랙티브 공간 안내도 (폴란드어)에서는 구역을 선택하면 올바른 정보로 이어져야 한다. 사진에서도 같은 책임이 생긴다. 화면 크기를 바꾼 뒤에도 눈에 보이는 테두리와 활성 영역이 같은 대상을 가리켜야 한다.

모델에 전달하기 전 이미지 준비 (폴란드어)에서는 원본으로 돌아가는 데 필요한 데이터를 보관한다. 최종 숫자와 상자의 이름만 저장해서는 충분하지 않다. 자른 영역이 바뀐 뒤에는 여전히 파란 물체를 가리킨다는 이유만으로 파일과 연결되지 않은 오래된 좌표가 최신 좌표가 되지 않는다.

늦게 도착하는 응답도 고려한다. 이전 사진의 분석이 끝났을 때 직원이 이미 다음 사진을 열었을 수 있다. 결과를 현재 보이는 이미지에 덧씌우지 말고 특정 입력과 그 버전에 연결한다. 검수 시험에서는 두 결과가 도착하는 순서를 반대로 해 본다. 각 테두리는 자기 사진에 남아 있어야 한다. 더 빠른 애니메이션이 이 연결을 대신하지는 못한다.

Aeneia Audit의 AI 사용 검토에서는 이 과정을 이미지, 결과, 검수 결정으로 나누어 살펴볼 수 있다. 상담을 위해 원본, 실제 분석에 전달한 자료, 원본 응답과 최종 미리보기 또는 잘라 낸 결과를 준비한다. 어느 단계에서 위치의 의미가 달라졌는지 파악하는 데 도움이 된다.

제품 이미지 검색 (폴란드어)은 올바른 모델이나 변형을 찾았는지라는 다른 질문에 답한다. 정확한 테두리가 카탈로그에서 상자의 정체까지 증명하지는 않는다. 표시된 물체가 제품 페이지로 이어져야 한다면 그 이동도 확인해야 한다.

허용할 위치 차이는 결과가 다음에 어떻게 쓰이는지에 따라 정한다. 미리보기에는 상자 둘레의 작은 여유를 허용할 수 있지만, 이미지를 자를 때는 뚜껑이 사라져서는 안 된다. 두 경우 모두 옆 물체까지 포함하는 오류는 변이 조금 밀리는 것과 다르다. 같은 이미지에서 최종 결과를 합의된 기준 표시와 비교한다. 어떤 크기를 기준으로 하는지 밝히지 않은 채 픽셀 단위 허용 오차를 계산하지 않는다.

마지막으로 한 물체를 지정해 실제로 쓰이는 결과까지 전체 경로를 따라가 보도록 요청한다. 이름, 사각형, 최종 파일은 올바른 버전의 이미지에서 같은 물체를 설명해야 한다. 테두리가 여전히 옆 상자를 둘러싼다면 옆 상자의 이름을 고치지 않는다. 좌표계가 처음 어긋난 지점으로 돌아간다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear