본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 그래프를 읽을 때: 축의 숫자가 답을 바꿀 수 있다

막대를 제대로 봐도 의미를 잘못 읽을 수 있습니다. 축, 단위, 범례, 누락된 데이터와 결론의 범위를 확인합니다.

본문 언어: 한국어

돌계단과 벽의 균열을 비추는 금빛 랜턴 일러스트.
목차

문의가 80건에서 100건으로 늘었습니다. 한 작업실에 첫 주에는 메시지 80건, 다음 주에는 100건이 왔다고 가정해 보겠습니다. 차이는 20건으로 이전 수의 4분의 1입니다. 하지만 축의 시작을 잘라 낸 그래프에서는 두 번째 막대가 세 배 길어 보일 수 있습니다. 이미지를 설명하는 AI 보조 도구는 관심이 폭발적으로 늘었다고 말하기 전에 숫자를 읽어야 합니다.

이런 활용을 평가할 때 모델이 “그래프를 이해하는가”만 물어서는 부족합니다. 계열과 단위를 알아보는지, 값을 정확히 읽는지, 결론이 데이터의 범위를 지키는지 따로 확인하세요. 두 숫자를 제대로 옮겨 적고도 잘못된 결론을 낼 수 있습니다. 반대로 계산은 정확하지만 다른 축의 값을 쓸 수도 있습니다.

먼저 답의 근거를 요청하세요

분석이 실제로 답해야 할 질문부터 정합니다. “그래프를 설명해 줘”는 어디까지 평가해야 할지 모호한 넓은 설명을 유도합니다. “표시된 두 주 사이에 문의 건수가 얼마나 달라졌는가?”에는 구체적인 기준이 있습니다. 실행 전에 원본 데이터로 정답을 준비하고 이미지의 어느 부분이 그 답을 뒷받침하는지 표시하세요.

시험할 때 모델에게 계열 이름, 읽은 값, 단위와 대상 기간을 말해 달라고 요청합니다. 라벨과 데이터에 대조할 수 있는 짧고 확인 가능한 정보면 충분합니다. 다른 계열에 답하고 있다면 보고서에 넣을 완성된 문단을 읽기 전에 오류를 발견할 수 있습니다.

80과 100의 예에서는 그 값과 올바른 두 주의 식별을 기대합니다. 라벨을 읽을 수 없다면 모델은 그 한계를 밝혀야 합니다. “약 100”은 대략적인 설명에는 충분할 수 있지만 정확한 차이가 필요한 비교에는 부족합니다. 기준은 사용 목적에 따라 다르므로 평가 전에 정하세요.

2022년의 ChartQA 연구에는 시각적 특징을 읽는 일과 논리 및 산술 연산이 함께 필요한 질문이 포함됩니다. 단순한 “그래프 설명”에서 하나의 능력으로 취급하기 쉬운 과업을 구분하는 데 도움이 됩니다.

그래프의 숫자가 반올림되어 있다면 허용할 답의 정확도를 정하세요. “약 100”이라고 표시된 이미지는 정확한 값이 담긴 표와 같은 근거가 아닙니다. 자체 시험 세트에 두 경우를 모두 넣을 수 있습니다. 이미지가 뒷받침하지 않는 자릿수를 더 쓴 답에 점수를 주기보다 자료의 정확도 수준을 지켰는지 평가하세요.

시험 보고서에서도 읽기와 계산을 구분합니다. 모델이 80을 60으로 읽은 뒤 60을 기준으로 변화를 올바르게 계산할 수 있습니다. 이때 산술 지시문만 고치면 원인을 놓칩니다. 입력 데이터를 먼저 확인하고 연산과 최종 문장을 차례로 살펴보세요.

막대 길이는 눈금을 대신하지 못합니다

이 예에서는 같은 값을 사용해 이미지 두 개를 만듭니다. 첫 번째 축은 0부터 100까지, 두 번째는 70부터 시작합니다. 두 번째 그림에서 축의 아래 경계부터 각 값까지 보이는 부분의 길이는 10과 30에 해당합니다. 실제 값은 여전히 80과 100입니다. 메시지 수가 아니라 표시 방식이 바뀐 것입니다.

두 이미지에 같은 질문을 하세요. 문의 건수의 차이는 같아야 합니다. 모델이 두 번째 표시가 변화를 더 강조한다고 말할 수는 있지만, 그것을 근거로 결과를 세 배로 만들어서는 안 됩니다. 눈금 대신 보이는 구간의 길이에 따라 답이 달라진다면 그 시험은 해당 활용의 구체적인 한계를 보여 줍니다.

축에서 같은 간격이 같은 값의 차이에 해당하는지도 확인하세요. 다른 눈금에서는 이미지의 비슷한 거리가 다른 수치 관계를 뜻할 수 있습니다. 대조 세트에 읽는 방법과 기대 답변을 기록합니다. 표시를 알아볼 수 없는 이미지에서 정확한 계산을 요구하지 마세요.

Misleading ChartQA는 오해를 부르는 특징이 있는 그래프의 추론을 별도 평가 대상으로 다룹니다. 그 연구 결과를 자체 시험 없이 현재 모델에 그대로 적용하지 마세요. 시험 설계에서 얻을 수 있는 더 좁은 결론은, 읽기 쉬운 그래프만으로는 표시 변화에 대한 대응을 충분히 확인할 수 없다는 것입니다.

축을 뒤집은 버전은 또 다른 점을 확인합니다. 모델이 표시를 읽는지, 아니면 선이 위로 움직이면 값도 증가했다고 자동으로 생각하는지입니다. 기대 답변에는 숫자 변화의 방향을 쓰고 업무상의 의미는 별도로 설명하세요. 응답 시간의 단축과 문의 건수의 증가는 두 그래프가 모두 좋아 보인다는 이유만으로 같은 개선이 아닙니다.

잘린 축마다 작성자의 나쁜 의도를 가정할 필요는 없습니다. 범위를 분명히 설명한다면 작은 차이를 보여 주는 데 사용할 수 있습니다. AI 검수에서는 답이 이 조건을 반영하는지 평가합니다. 그래프 자체의 설계와 독자가 표시 방식을 이해하는지는 따로 평가할 수 있습니다.

어느 계열이고 단위는 무엇인가요?

별도의 시험에 계열 두 개를 넣을 수 있습니다. 하나는 문의 건수, 다른 하나는 첫 응답까지 걸린 시간을 분 단위로 보여 줍니다. 두 선은 서로 다른 양을 별도 축으로 나타내면서도 교차할 수 있습니다. 이미지에서 교차했다는 사실만으로 값이 같아졌다고 볼 수는 없습니다. 각 선을 올바른 단위에 연결해야 합니다.

색만이 아니라 이름으로 계열을 가리키도록 요청하세요. 다음에는 데이터를 바꾸지 않고 색을 바꾼 뒤 같은 질문을 반복합니다. 기대하는 숫자 답은 그대로입니다. 모델이 이전의 “빨간 선”을 계속 설명한다면 현재 이미지의 범례를 읽었는지, 이전 맥락에 의존했는지 확인하세요.

다른 이미지에서는 범례 항목의 순서를 바꿉니다. 회사 자료에 여러 레이아웃이 있고 보조 도구가 추가 지시 없이 이를 받는다면 유용한 시험입니다. 다만 각 변형을 전체 분석의 독립적인 시험으로 취급하지 마세요. 이름과 시각적 표현의 연결을 확인하는 시험이라고 기록합니다.

Aeneia 콘셉트 사진

계열이 해당 기간의 결과인지 누적인지도 확인하세요. 둘째 주 말까지 모인 문의 100건은 둘째 주에 새로 100건이 들어왔다는 뜻이 아닙니다. 라벨이나 데이터 설명에 그 정보가 있어야 합니다. 없다면 모델은 근거 없이 하나를 고르지 말고 가능한 해석을 제시하며 확인을 요청할 수 있습니다.

브랜드의 시각 언어에 맞는 그래프 (폴란드어)를 설계할 때는 읽기 쉬운 라벨과 계열 구분 방식을 정하세요. AI 답변을 평가하는 데도 도움이 되지만 자동으로 정답을 보장하지는 않습니다. 버건디색을 아름답게 골라도 모델이 “분”이라는 단어를 읽어야 한다는 사실은 달라지지 않습니다.

점이 없다는 것은 0이 아닙니다

주간 대조 그래프에 월요일 문의 8건, 화요일 10건, 목요일 12건을 표시합니다. 수요일에는 기록이 없습니다. 화요일과 목요일을 선으로 연결했더라도 “수요일은 11건이었다”는 답은 선을 바탕으로 한 추정이지 데이터에 표시된 값이 아닙니다. 모델은 이 차이를 밝혀야 합니다.

수요일의 실제 값이 0인 버전과 수요일 데이터가 누락된 버전을 따로 시험하세요. 그날에 대한 질문에는 서로 다른 답을 기대합니다. 원본 표의 빈 칸도 마찬가지입니다. 표로 이미지를 만든다면 그래프를 모델에 전달하기 전 그리기 단계에서 결측값이 0으로 바뀌지 않았는지 확인하세요.

주를 비교할 때는 관측 기간의 완전성도 고려합니다. 일주일 일곱 날의 메시지 100건과 사흘의 80건은 두 합계로 설명할 수 있지만 완전한 두 주의 비교는 아닙니다. 시험 세트에 중간에 끊긴 기간을 표시하고 답변이 그 정보를 유지하는지 확인하세요. 별도 합의 없이 빠진 날의 결과를 덧붙이지 않아야 합니다.

시간 범위도 결론을 제한합니다. 6월부터 8월까지의 그래프만으로 한 해 전체를 평가할 수 없습니다. 첫 몇 달을 잘라 내면 표시된 점은 그대로여도 보이는 방향이 달라질 수 있습니다. 전체 버전과 짧은 버전을 준비하고 각 비교가 어느 기간을 가리키는지 기대 답변에 적으세요.

라벨 순서도 읽어야 합니다. 크기순으로 정렬된 막대가 요일을 나타내더라도 그 배열은 시간순이 아닙니다. 모델은 요일별 값을 설명해야지 왼쪽에서 오른쪽으로 움직이는 모양에서 추세를 도출해서는 안 됩니다. 시험에서는 같은 데이터를 유지하고 범주 배열 방식만 바꾸세요.

긴 문맥에서 AI가 정보를 놓치는 문제 (폴란드어)에서도 비슷한 한계에 주의해야 합니다. 여기서는 이미지의 잘린 영역이나 보이는 기간이 제약일 수 있습니다. 비교 근거 전체를 받지 못했다면 모델은 나머지를 그럴듯한 이야기로 채우지 말고 받은 범위로 답을 제한해야 합니다.

자체 시험 세트에서 오류 원인을 분리하세요

독립적으로 정답을 정해 둔 데이터로 그래프를 준비합니다. 축 범위, 색, 범례, 자른 영역, 점의 존재 여부를 한 번에 하나씩 바꾸세요. 다섯 가지를 동시에 바꾸면 답의 차이로 원인을 알 수 없습니다. 시험이 문제를 발견해도 무엇을 고쳐야 할지 밝히지는 못할 수 있습니다.

도구가 받은 것과 정확히 같은 상태로 이미지를 보존하세요. 원본 파일에서 읽히는 숫자도 축소 후에는 알아보기 어려울 수 있습니다. AI 앞에 문자 인식이 있다면 그 단계의 결과도 비교합니다. AI 분석 전 OCR 품질 확인 (폴란드어)은 문자 읽기 오류와 뒤이은 해석 오류를 구분하는 데 도움이 됩니다.

이미지 읽기 자체를 평가한다면 파일 이름이나 추가 설명에 정답을 넣지 마세요. 실제 업무에서 도구가 표도 이용한다면 그 넓은 조건도 시험할 수 있지만 별도로 이름을 붙여야 합니다. 표 데이터를 받은 뒤의 정답은 그래프를 정확히 읽은 것과 같은 증거가 아닙니다.

보고서에서 데이터 옮겨 적기, 계산, 해석을 분리하세요. 보조 도구가 구조화된 형식으로 결과를 반환한다면 필드의 의미도 확인합니다. 올바른 JSON이 내용의 정확성을 보장하지는 않습니다 (폴란드어). “변화” 필드에는 문의 건수의 차이나 상대적 증가율이 들어갈 수 있으므로 이름으로 구분할 수 있어야 합니다.

비교를 실험 평가에 사용한다면 또 다른 층위가 필요합니다. 그 차이가 변경의 효과를 뜻하는지는 그래프만으로 결정되지 않습니다. 이 주제는 AI의 A/B 테스트 설명 확인 (폴란드어)에서 다룹니다. 이번 검수에서는 설명이 표시된 데이터에 올바른 근거를 두고 있는지에 집중하세요.

독자에게 전달되는 것은 구체적인 문장입니다

이미지를 읽을 수 없을 때는 정확한 판독을 거절하는 답도 확인하세요. 알아볼 수 없는 라벨이나 단위를 짚고 더 나은 이미지를 요청하는 답을 기대할 수 있습니다. 막연히 “그래프를 분석할 수 없다”고 말하는 것보다 유용하고, 숫자를 추측하는 것보다 정직합니다. 올바르게 밝힌 판독 한계와 확신에 차서 제시한 잘못된 해석은 따로 기록하세요.

최종 평가에는 어떤 답을 받아들일 수 있고 언제 사람의 확인이나 원본 파일이 필요한지 적어야 합니다. 도구가 라벨이 붙은 값은 잘 읽지만 이중 축에서는 검토가 필요할 수 있습니다. 이런 결과를 “그래프를 이해한다” 또는 “이해하지 못한다”는 일반적인 표현으로 줄이지 마세요.

Aeneia Audit에서는 AI 활용 방식, 위험과 이 분석의 수용 기준을 평가할 수 있습니다. 범위에는 조직이 실제로 사용하는 그래프가 포함되어야 합니다. 특정 답변의 평가는 데이터가 나온 연구 방법론의 확인을 대신하지 않으며 앞으로의 모든 모델 설명을 보증하지도 않습니다.

공개 전에 독자가 실제로 읽을 문장으로 돌아갑니다. 이 예에서는 지정된 두 주에 문의가 80건에서 100건으로 늘었다고 말할 수 있습니다. “시즌 전체에 관심이 세 배로 늘었다”는 문장이 있다면 고쳐야 합니다. 독자에게 필요한 것은 올바른 날짜에 대응하는 두 값입니다. 시즌 전체를 말하려면 별도 데이터가 필요합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear