본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

올바른 JSON, 잘못된 데이터: AI 응답 스키마가 대신 확인해 주지 않는 것

올바른 JSON만으로는 충분하지 않습니다. 단위, 누락값, 식별자와 원문 및 업무 과정의 일치를 확인하세요.

본문 언어: 한국어

여성이 큰 렌즈를 통해 건축 모형을 살펴보는 일러스트.
목차

결과는 초록색입니다. 파서는 JSON을 받아들였고 모든 필드의 자료형이 올바르며 애플리케이션은 오류 없이 응답을 받았습니다. 그런데 레코드의 패널 길이는 240cm가 아니라 240m입니다. 형식상으로는 모든 것이 맞습니다. 창고에 조금 더 큰 문만 있으면 되겠네요.

구조화 데이터는 형식의 자유도를 제한해 AI 결과를 애플리케이션에 전달하는 데 도움이 됩니다. 하지만 값이 의도한 의미를 갖는지 확인하는 과정을 대신하지는 못합니다. 이 과정을 점검할 때는 표기 문법의 정확성, 스키마 적합성, 문서 및 업무 규칙과의 일치를 나누어야 합니다. 한 단계의 초록색 결과가 다른 단계까지 물들이게 해서는 안 됩니다.

모델이 설비 카드를 읽고 주문 시스템용 레코드를 준비하는 가상의 과정을 따라가 보겠습니다. 필요한 것은 상품 식별자, 길이, 단위, 수량과 이용 가능 날짜입니다. 각 단계를 확인할 만큼 작으면서도 여러 종류의 오류를 볼 수 있는 예입니다.

스키마는 실제로 무엇을 약속하나요?

JSON은 데이터를 알아볼 수 있는 구조로 표현하는 방법입니다. 객체에는 이름이 붙은 필드가 있고 필드는 값을 담습니다. 스키마는 숫자 자료형이나 식별자의 존재처럼 이 표현에 대한 요구 사항을 정합니다. 기술자가 아니어도 무엇을 정확히 검사하며 검증 결과에 무엇이 포함되지 않는지 물을 수 있습니다.

객체에 관한 JSON Schema 문서(영어)는 properties에 필드를 나열하는 것만으로 필수가 되는 것은 아니라고 설명합니다. 필수 여부에는 required를 사용하고 추가 필드 허용에는 별도 규칙이 있습니다. 따라서 “응답이 JSON이다”라는 일반적 주장보다 실제 사용하는 스키마를 평가하세요.

우리 과정에서 길이 필드는 숫자를 요구할 수 있습니다. 2.4와 240은 다른 값을 나타내지만 둘 다 숫자입니다. 관련 조건이 작성돼 있고 해당 방식이 이를 지원한다면 스키마가 허용 데이터 일부를 제한할 수 있습니다. 하지만 원본 카드의 어느 부분이 선택한 변형의 길이인지 스스로 정해 주지는 않습니다.

Anthropic의 structured outputs 설명(영어)은 지원되는 스키마에 맞게 응답을 제한하는 기능과 숫자 제약을 포함한 지원 한계를 다룹니다. 따라서 임의의 스키마에 적힌 모든 규칙이 모든 도구에서 자동으로 강제된다고 가정하지 마세요. 사용 중인 구성의 구체적인 계약을 확인해야 합니다.

사용하는 스키마와 버전을 보존하세요. 지침은 센티미터, 스키마는 미터, 화면은 밀리미터를 말한다면 오류가 생기는 곳은 모델뿐이 아닙니다. 과정을 아는 사람과 세 설명을 함께 검토하세요. 응답을 비교하기 전에 차이를 해소해야 시험의 기대 결과가 하나로 합의됩니다.

수용 평가를 위해 짧은 지도를 만드세요. 파서가 무엇을 거부하고, 구조 검증이 무엇을 검사하며, 원문과 무엇을 비교하고, 어떤 항목에 업무 규칙이 필요한지 적습니다. 각 필드의 담당 단계를 표시하세요. “모델이 올바른 데이터를 반환해야 한다”는 문구보다 팀이 검토하기 쉽습니다. 그 문구는 타당해 보이지만 어디에서 오류를 찾는지는 말해 주지 않습니다.

숫자에는 의미가 필요합니다

상품 카드에 길이가 240cm로 적혀 있습니다. 합의된 시스템은 미터를 기대합니다. 올바른 결과는 2.4m지만 모델이 240을 그대로 옮기고 애플리케이션이 기대하는 단위를 붙일 수 있습니다. 필드를 각각 보면 올바르게 보입니다. 잘못된 것은 값, 단위와 원문 사이의 관계입니다.

시험에서는 원본 값과 변환 결과를 모두 보존하세요. 기대하는 규칙을 기록하고 필드 선택과 변환의 정확성을 따로 평가합니다. 길이 대신 너비를 읽었다면 변환이 정확해도 레코드는 고쳐지지 않습니다. 보고서에서 두 오류를 막연한 “숫자 문제”로 묶지 마세요.

자료에 두 가지 변형과 비슷한 값을 추가하세요. 카드에는 상품 치수와 포장 치수가 함께 있을 수 있습니다. 시스템은 부여된 과제에 맞는 데이터를 반환해야 합니다. 문서 어딘가에 올바른 숫자가 있다는 사실만으로 답변이 올바른 위치에 그 숫자를 사용한다는 증거는 되지 않습니다.

AI 처리에 앞선 OCR (폴란드어)에서는 소수점 구분자, 마이너스 부호와 단위 표시도 확인하세요. 모델이 답하기 전에 오류가 생길 수 있습니다. 원본 구절을 보존하면 잘못 읽은 경우와 올바르게 읽은 값을 잘못 해석한 경우를 구분할 수 있습니다.

허용 범위의 경계에서 반올림을 점검하세요. 가상의 과제에서 과정에 필요한 규칙을 정하고 경계 바로 아래와 바로 위의 값을 준비합니다. 모델, 애플리케이션과 화면이 같은 결과를 보이는지 살펴보세요. 이후 작업이 전체 값을 쓰는데 사람이 반올림된 값을 승인한다면 그 차이를 수용 평가의 일부로 기록합니다.

수량도 별도 평가가 필요합니다. “각 세 개로 구성된 두 세트”는 필드가 무엇을 저장하는지에 따라 두 포장 또는 여섯 개의 요소를 뜻할 수 있습니다. 결과를 본 뒤 직관으로 결정하지 마세요. 주문 단위의 정의는 과정 실행 전에 존재해야 하고 레코드 사용자도 이해할 수 있어야 합니다.

AI 과정에서 사용하는 스프레드시트 (폴란드어)에서는 이 차이가 이후 계산에 전달될 수 있습니다. 시험은 데이터가 사용되는 곳까지 이어져야 합니다. 잘못 정의된 수량을 정확히 합산해도 결과는 똑같이 틀리며, 다만 합계만 매우 꼼꼼하게 계산됐을 뿐입니다.

누락값이 정보인 척해서는 안 됩니다

문서에 이용 가능 날짜가 없습니다. 모델은 빈 텍스트, 0 또는 오늘 날짜를 반환합니다. 각각 일부 피상적 검사를 통과할 수 있지만 이후 애플리케이션에는 서로 다른 의미입니다. 누락을 표현하는 합의된 방식과 그에 따른 행동이 필요합니다.

Aeneia 콘셉트 사진

계약에 포함된다면 필드 부재, 빈 텍스트, null을 구분하세요. 다음으로 대상 시스템이 각각을 어떻게 해석하는지 확인합니다. 값의 전체 경로를 따라가세요. 모델이 아무것도 추가하지 않아도 애플리케이션이 빈 텍스트를 기본값으로 바꿀 수 있습니다. 보고서에는 그런 변환이 일어난 단계를 표시해야 합니다.

날짜가 모호한 사례를 추가하세요. 숫자만 있는 날짜는 입력 형식에 합의하지 않으면 여러 방식으로 해석될 수 있습니다. 별도로 문법상 올바르지만 과제에는 맞지 않는 날짜도 준비합니다. 예를 들어 프로모션 종료일을 이용 가능 날짜로 넣는 경우입니다. 날짜 모양만 검사해서는 의미를 구분할 수 없습니다.

AI의 일정 계획 (폴란드어)에는 시간대와 특정 일정의 범위도 더해집니다. 이 예는 date라는 필드 이름만으로 계약을 설명하기 부족할 수 있는 이유를 보여 줍니다. 날짜인지, 특정 순간인지, 마감인지, 작업 시작인지 알아야 합니다.

서로 충돌하는 출처도 추가하세요. 표에는 한 날짜, 주석에는 다른 날짜가 있는 경우입니다. 기대 결과에서 명시적 우선순위 규칙을 적용할지 충돌을 보고할지 정하세요. 자료에서 찾은 날짜라면 무엇이든 정답으로 평가하지 마세요. 이 사례는 값을 읽는 일과 어느 값을 사용해도 되는지 판단하는 일을 구분합니다.

자료에 값이 없을 때 필수 필드를 추측으로 채우도록 모델을 강요하지 마세요. 명시적 누락 상태를 요구하거나 사용 전에 레코드를 멈출 수 있습니다. 선택은 업무 과정에 달려 있지만 시험에 미리 반영해야 합니다. 데이터의 진실성을 희생해 완성한 표는 목표가 아닙니다.

식별자가 완벽해 보여도 아무것도 가리키지 않을 수 있습니다

결과에 기대한 형식의 상품 코드가 있습니다. 그 상품이 실제로 존재하고 올바른 변형에 해당하는지 확인해야 합니다. 알려진 식별자, 구조는 맞지만 존재하지 않는 코드, 다른 변형의 실제 코드라는 세 사례를 준비하세요. 셋 다 그럴듯해 보여도 첫 번째만 과제를 충족합니다.

표기 정규화와 내용 수정을 따로 평가하세요. 식별자의 공백을 없애는 것은 합의된 작업일 수 있지만 비슷한 문자를 숫자로 바꾸려면 근거가 필요합니다. 입력값과 변환 규칙을 보존하세요. 그래야 잘못된 코드가 인식, 모델 응답, 애플리케이션 자동 수정 중 어디서 생겼는지 나중에 알 수 있습니다.

존재 여부는 올바른 카탈로그나 합의된 다른 출처를 사용해 확인해야 합니다. 같은 모델에게 자신의 제안이 맞는지만 다시 확인해 달라고 하지 마세요. 보고서에 확인 근거와 출처 버전을 표시합니다. 오래된 카탈로그 사본에 레코드가 있다는 사실은 현재 사용에 충분하지 않을 수 있습니다.

AI가 작성한 코드에서 제안된 의존성 (폴란드어)에도 비슷한 함정이 있습니다. 라이브러리 이름이 실제 이름과 비슷해도 올바른 패키지를 가리키지 않을 수 있습니다. 올바른 문자열은 객체 동일성 확인의 출발점일 뿐입니다.

데이터가 행동을 실행한다면 검증을 AI 통합의 권한 (폴란드어)과 연결하세요. 올바른 레코드를 받았다는 사실만으로 주문이나 카탈로그 변경이 승인되는 것은 아닙니다. 통제된 환경에서 애플리케이션이 거부된 레코드를 어떻게 처리하고 다른 경로로 넘기지는 않는지 확인하세요.

Aeneia Audit 검토는 예시 입력 하나, 응답 스키마와 다음 작업 설명에서 시작할 수 있습니다. 그러면 평가는 괄호 확인에서 끝나지 않고 실제 사용과 연결됩니다.

세 가지 결과를 따로 평가하세요

시험 기록에는 구조의 정확성, 값과 원문의 일치, 업무 규칙과의 일치를 보여 주세요. 레코드가 첫 단계는 통과하고 두 번째 단계에서 탈락했다면 그 사실을 보존합니다. 작동하는 형식 검사를 약화하지 않고 수정이 필요한 해당 부분을 고치는 데 도움이 됩니다.

값은 올바르지만 다른 문서에 배정된 레코드도 넣으세요. 이를 위해 합성 시험 세트를 만든다면 기준 자체에 우발적인 오류가 없도록 합성 데이터의 관계와 사건의 일관성 (폴란드어)을 확인합니다. 과정은 응답과 입력의 관계도 확인해야 합니다. 그렇지 않으면 모든 필드가 개별 검사를 통과해도 데이터가 잘못된 사례에 들어갈 수 있습니다. 비슷한 문서 두 개를 준비하고 실제 시스템에 기록하지 않는 통제된 시험에서 두 문서에 연결된 응답을 서로 바꿔 배정해 보세요.

수용 기록에 지침, 스키마와 검사 규칙의 버전을 추가하세요. 나중에 레코드를 수정하면 입력, 해석 또는 표기 방식 중 무엇을 바꿨는지 표시합니다. 사례를 반복하고 개선 이유를 확인할 수 있습니다. 새로 올바른 답변 하나만으로는 어느 단계가 다르게 작동했는지, 이전 오류가 돌아올 수 있는지 알 수 없습니다.

거부에 대한 반응도 시험하세요. 담당자가 필드와 이유, 수정에 필요한 구절을 볼 수 있나요? 수정 후에도 출처와의 연결이 유지되나요? 막연한 “데이터 오류” 메시지는 문서 전체를 다시 읽는 일을 사람에게 넘기고 자동화 사용 비용을 가립니다.

통제된 시험에서는 빈 응답, 중단된 응답, 과제를 수행할 수 없다는 메시지만 포함한 응답도 제공하세요. 애플리케이션이 이런 상태를 완성된 레코드와 구별하고 필수 필드를 임의의 값으로 채우지 않는지 확인합니다. 어떤 대가를 치르더라도 가져올 수 있는 객체를 만드는 대신 수행되지 않은 과제에는 별도의 종료가 필요합니다. 결과를 기다리는 사람이 무엇을 보고 어떻게 업무를 재개할 수 있는지 보고서에 보여 주세요.

부분적으로 올바른 레코드도 확인하세요. 한 필드에 오류가 있다면 나머지를 사용할 수 있는지, 전체 객체를 멈춰야 하는지 정합니다. 답은 과제에 달려 있습니다. 설명 초안과 자동 주문에는 서로 다른 처리가 필요합니다. 기술적으로 가져오기 쉽다는 우연한 사실이 업무 원칙이 되지 않도록 결정 내용을 과정 규칙에 기록하세요.

지침, 스키마 또는 문서 읽기 방식을 바꾼 뒤 다시 확인할 수 있도록 어려운 사례를 보존하세요. 길이와 포장, 누락과 0, 올바른 코드와 그럴듯하게 비슷한 코드처럼 실제 구분에 맞다면 작은 세트도 충분합니다. 초록색 파서는 여전히 유용합니다. 다만 이제 혼자서 품질 관리 부서 전체인 척하지 않아도 됩니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear