본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 작성한 SQL은 실행됐다. 그런데 무엇을 센 것일까?

AI가 작성한 SQL 결과를 인수하기 전에 조인, 집계 단위와 작은 대조 사례를 확인합니다.

본문 언어: 한국어

여성이 큰 렌즈를 통해 건축 모형을 살펴보는 일러스트.
목차

가상의 서비스 보고서에 문의 네 건이 나타납니다. 관리자는 세 건으로 기억합니다. AI 어시스턴트는 정상적으로 실행된 쿼리를 보여 주므로, 대화는 잠시 사람의 기억이 부정확하다는 쪽으로 흐릅니다. 데이터를 살펴본 뒤에야 시스템이 파일과 결합된 행을 세었다는 사실이 드러납니다. 고장 사진 한 장이 추가 문의 한 건으로 승격된 셈입니다.

SQL은 데이터베이스에 질문하는 언어입니다. 어시스턴트가 작성에 도움을 줄 수 있지만, 실행이 성공했다는 것은 우선 데이터베이스가 명령을 처리할 수 있었다는 뜻입니다. 그 명령이 팀의 질문에 답했는지는 결정해 주지 않습니다. 결과를 인수할 때는 숫자가 보고서에 들어가고 세 개의 발표 자료에서 제 삶을 시작하기 전에 그 의미부터 확인하세요.

세 건의 문의, 네 개의 파일, 여러 가능한 숫자

작은 자체 사례를 생각해 봅시다. 살펴보는 기간에 문의 A, B, C가 생성됐습니다. A에는 파일 세 개가 첨부됐고 B에는 없으며 C에는 한 개가 있습니다. 질문은 문의가 몇 건 들어왔는가입니다. 답은 세 건입니다. 세 식별자 목록을 보면 AI나 SQL 문법을 몰라도 알 수 있습니다.

데이터베이스에서는 문의와 파일 정보가 별도 테이블에 있을 수 있습니다. 조인은 파일이 문의에 속한다는 관계처럼 정해진 관계에 따라 둘을 연결합니다. PostgreSQL 문서는 INNER JOIN이 조건에 맞는 각 조합에 대해 행을 만든다고 설명합니다. 따라서 결과에 한 문의가 여러 번 나타날 수 있습니다.

이 데이터에서 일치하는 쌍만 포함하는 조인은 A에 대해 세 행, C에 대해 한 행을 만듭니다. B에는 파일이 없으므로 사라집니다. 네 행은 네 건의 문의가 아닙니다. 더구나 이 결과에서 문의 식별자의 중복을 제거해도 두 건이 됩니다. A를 한 건으로 되돌렸지만 빠진 B는 복구하지 못했습니다.

이쯤에서 자동으로 ‘중복을 수정해’라는 다음 지시를 내리기 전에 멈추는 편이 좋습니다. 먼저 서로 다른 두 문제의 이름을 붙이세요. 파일이 여러 개인 문의는 반복됐고 파일이 없는 문의는 빠졌습니다. 한 가지 변경이 첫 문제를 없애도 두 번째는 남을 수 있습니다. 결과는 여전히 그럴듯한 정수이지만 다른 질문의 답입니다.

일치하는 파일이 없는 문의도 유지하는 조인을 쓰면 이 사례는 다섯 행이 됩니다. A가 세 행, B와 C가 각각 한 행입니다. B의 행에는 파일 식별자가 없습니다. 이번에도 행 수는 문의 수가 아닙니다. 여러 값을 하나의 결과로 묶는 집계 방식을 고르기 전에 모든 쌍을 적어 직접 셀 수 있습니다. 이 데이터의 숫자는 로컬 SQLite에서도 확인했습니다. 이는 예시를 확인한 것이지 특정 어시스턴트나 PostgreSQL 배포를 시험한 것은 아닙니다.

PostgreSQL의 count 설명은 count(*)로 모든 행을 세는 것과 지정한 식의 값이 NULL이 아닌 행을 세는 것을 구분합니다. 여기서 NULL은 데이터베이스의 값 부재를 뜻합니다. 이 예시에서 파일을 가리키는 식은 네 개, 전체 행은 다섯 개를 줍니다. 어느 쪽도 자동으로 문의 수를 대신하지는 않습니다.

외워 둘 마법의 수정법이 있다는 뜻은 아닙니다. 고유한 문의 식별자를 선택하는 방법은 이 질문에 적절할 수 있습니다. 그러나 먼저 실제 데이터에서 무엇이 문의 한 건을 식별하는지 알아야 합니다. 고객 이름, 메시지 제목, 화면에 보이는 짧은 번호가 반드시 그 역할을 하지는 않습니다. 서로 다른 두 사람이 같은 제목으로 고장을 신고할 수 있습니다.

AI를 활용한 스프레드시트 분석 (폴란드어)(링크된 글은 폴란드어입니다.)에도 비슷한 오류가 나타납니다. 잘못된 행들의 합계를 정확히 계산하기 쉽습니다. 여기서는 추가 행이 쿼리에서 비로소 생길 수 있으므로 원래 문의 테이블이 전혀 문제가 없어 보일 수 있다는 차이가 있습니다.

쿼리를 받기 전에 질문을 합의하세요

‘10월 문의를 세어 주세요’에는 여러 결정이 남아 있습니다. 문의 생성 시점을 말하나요, 첫 메시지 수신 시점을 말하나요, 처리가 끝난 시점을 말하나요? 다시 열린 문의는 새로운 한 건인가요? 시험용 문의도 셀까요? 열 이름이 date나 status라는 사실만으로는 답을 알 수 없습니다.

정의를 쉬운 한 문장으로 적으세요. 예를 들면 이렇습니다. 문의 한 건에는 변하지 않는 식별자 하나가 있고, 나중에 닫혔는지와 관계없이 합의한 기간의 생성일을 기준으로 포함하며, 시험으로 표시된 레코드는 제외한다. 이는 이 사례를 위한 제안이지 모든 문의에 적용되는 정의가 아닙니다. 결과를 평가하기 전에 프로세스 책임자가 동의해야 합니다.

그다음 정의를 데이터에 연결합니다. 어느 테이블에 문의가 있고, 어느 필드가 생성 시점을 나타내며, 시험 표시는 어디에 있나요? 데이터 모델을 아는 사람에게 관계를 확인해 달라고 요청하세요. 테이블 이름이 비슷하면 어시스턴트가 현재 목록 대신 변경 이력을 고를 수 있습니다. 그러면 보고서는 문의의 생애 동안 발생한 사건을 세게 됩니다.

관계에 대한 설명은 필드 이름만큼 중요합니다. 파일은 한 문의에 속하나요? 한 문의에 담당자가 여러 명일 수 있나요? 이력에 같은 상태의 기록이 여러 개 있을 수 있나요? 이런 관계를 이해하면 집계 전 결과를 읽는 데 도움이 됩니다. 관계의 방향과 근거라는 더 넓은 문제는 AI가 사용하는 지식 그래프 확인하기 (폴란드어)(링크된 글은 폴란드어입니다.)에서 다룹니다.

Google은 BigQuery에서 Gemini로 쿼리를 작성하는 문서에서 사용 전에 결과를 검증하라고 권고하며, 그럴듯해 보이지만 틀린 출력이 나올 수 있다고 경고합니다. 실제 검증에는 합의된 데이터의 의미가 포함돼야 합니다. 같은 어시스턴트가 생성한 쿼리 설명은 독립적인 확인이 아닙니다.

질문이 모호하다면 SQL을 고치기 전에 명확히 하세요. 숫자를 본 뒤 정의를 바꾸면 오류를 고친 것인지 보고서를 기대에 맞춘 것인지 평가하기 어려워집니다. 원래 질문, 합의한 해석, 확인한 쿼리 버전을 보존하세요. 나중에 보는 사람도 숫자의 의미를 재구성할 수 있습니다.

필터는 올바른 조인의 의미도 바꿀 수 있습니다

보고서에 모든 문의가 포함돼야 하는데 어시스턴트가 첨부 파일 형식에 관한 조건을 추가했다고 합시다. 일치하지 않는 문의를 유지하는 조인을 사용해도 파일이 없는 B가 사라질 수 있습니다. SQL을 아는 사람에게 조건을 적용한 위치를 확인해 달라고 요청하세요. PostgreSQL의 조인 문서는 외부 조인에서 ON과 WHERE에 제한을 두면 결과가 달라질 수 있음을 보여 줍니다.

Aeneia 콘셉트 사진

프로세스 책임자는 질문이 모든 문의에 관한 것인지 특정 파일이 있는 문의에만 관한 것인지 결정해야 합니다. 둘 다 의미 있는 분석이지만 이름은 달라야 합니다. 수정 후 보고서에서 중복이 사라졌다는 이유만으로 정의 변경을 승인하지 마세요. 일부 문의를 제거하면 문제를 해결하는 대신 가릴 수 있습니다.

필터에 사용한 날짜가 어느 사건에 속하는지도 확인하세요. 11월에 올린 파일이 10월에 생성된 문의에 속할 수 있습니다. 문의 생성일을 묻는다면 나중에 첨부한 파일이 그 문의가 속하는 달을 저절로 바꿔서는 안 됩니다. 어시스턴트 설명의 열 이름에 기대지 말고 시험 세트에 이런 사례를 준비하세요.

기간의 경계에서는 데이터에 사용된 시간과 시간대에 대한 기대를 적으세요. 필드에 시각도 저장된다면 ‘10월 31일까지’는 모호할 수 있습니다. 마지막 날 늦은 저녁과 다음 달 시작 시점을 확인에 포함하세요. 결과는 ‘까지’라는 말의 우연한 해석이 아니라 합의된 기간과 맞아야 합니다.

작은 데이터 세트가 차이를 드러내야 합니다

대조 세트에는 잘못된 쿼리가 다른 결과를 내도록 만드는 사례가 있어야 합니다. 문의 세 건에 파일이 정확히 하나씩만 있으면 이 문제는 드러나지 않습니다. 조인된 행 수와 문의 수가 같기 때문입니다. 데이터가 오류를 알아볼 기회를 만들지 않았으므로 시험이 통과합니다.

이 예시에서는 파일 세 개가 있는 A와 파일이 없는 B가 차이를 만듭니다. 제목으로 세자는 제안이 있다면 제목이 같은 문의 두 건도 추가하세요. 해당 기간에 대해서는 시작 직전, 중간, 종료 경계의 문의를 준비합니다. 평가할 쿼리를 실행하기 전에 기대 결과를 적어 두세요. 쿼리의 답을 보고 기대값을 정하면 안 됩니다.

이런 데이터는 손으로 준비할 수 있습니다. 생성기를 사용한다면 합성 데이터의 관계 일관성 (폴란드어)(링크된 글은 폴란드어입니다.)을 확인하세요. 존재하지 않는 문의를 가리키는 파일이나 고유해야 할 두 개체가 공유하는 식별자는 시험 대상을 바꿉니다. 시험은 알려진 조건에서 쿼리를 평가해야지 우연히 생성된 수수께끼를 풀어서는 안 됩니다.

올바른 결과를 얻은 뒤 그 결과에 영향을 주지 않아야 하는 것 하나를 바꿔 보세요. A에 파일을 하나 더 첨부합니다. 문의 수는 세 건으로 유지됩니다. 보고서 숫자가 늘면 여전히 첨부 파일 수에 의존한다는 뜻입니다. 그다음 파일이 없는 새 문의를 추가합니다. 이번에는 결과가 하나 늘어야 합니다. 두 변경은 의미의 서로 다른 부분을 시험합니다.

실제 데이터에 시험 표시가 없는 상태가 나타난다면 그런 레코드도 추가하세요. 이를 제외할지, 포함할지, 확인을 위해 따로 보낼지 합의합니다. 표시가 없다는 사실은 문의가 실제라는 증거도, 시험용이라는 증거도 아닙니다. 규칙을 적어 두면 시연 사례보다 덜 정돈된 데이터베이스에서도 결과를 평가할 수 있습니다.

결과를 구성하는 식별자 목록도 살펴보세요. 같은 합계가 우연히 상쇄된 두 오류를 숨길 수 있습니다. 문의 하나가 빠지고 다른 하나가 두 번 세어진 경우입니다. 집합의 구성원을 확인해야 이를 볼 수 있습니다. 작은 인수 사례에서는 모든 레코드를 설명할 수 있다는 장점이 있습니다.

결과가 여전히 맞지 않으면 수행자에게 단계를 보여 달라고 요청하세요. 조인 전 문의 목록, 조인 후 목록, 필터 후 목록을 보면 AI가 길게 설명을 덧붙이는 것보다 어긋난 지점을 빨리 찾을 수 있습니다. 모든 독자에게 전체 문법을 보여 줄 필요는 없습니다. 하지만 확인하는 사람이 특정 문의가 어디서 왔는지는 알아낼 수 있어야 합니다.

Aeneia Audit: AI를 활용한 분석이 팀의 실제 질문에 답하는지 살펴보겠습니다. 쿼리가 실행됐다는 사실에서 평가가 끝나지 않도록 인수 기준, 대조 사례, 결과의 정확성을 확인할 증거를 정리합니다. AI 지원 분석의 인수 기준 논의하기.

확인 후에도 숫자에는 설명이 필요합니다

쿼리를 승인한 뒤에는 쿼리 버전, 문의의 정의, 데이터 범위, 시험의 기대 결과를 보존하세요. 어느 데이터 사본을 확인했으며 그 사본이 어느 시점의 것인지도 적습니다. 확인한 뒤 보고서와 비교하기 전 새 문의가 추가됐다면 숫자의 차이만으로 쿼리 오류를 입증할 수 없습니다. 먼저 두 답을 같은 데이터 집합에 맞춰 보아야 합니다.

나중에 데이터베이스 모델이나 시험용 문의를 표시하는 방식이 바뀌면 어떤 가정을 다시 확인해야 하는지 누군가는 알아야 합니다. 무엇을 대상으로 한 평가인지 적지 않고 ‘SQL 확인 완료’라는 메모만 남기는 것으로는 부족합니다.

쿼리 결과와 모델이 덧붙인 설명을 구분하세요. 테이블에는 문의 세 건이 있는데 요약이 고객 네 명을 말한다면 SQL을 확인해도 그 문장이 승인되는 것은 아닙니다. 단위가 바뀌었습니다. 구조는 올바르지만 의미가 잘못된 JSON 데이터 (폴란드어)(링크된 글은 폴란드어입니다.)와 같은 종류의 차이입니다. 기술적으로 받아들여진 결과가 합의한 것과 다른 대상을 설명할 수 있습니다.

지표 이름에는 정의가 남아 있어야 합니다. 새 문의만 셌다면 ‘10월에 생성된 문의’가 ‘서비스 활동’보다 정확합니다. 추가 데이터 없이 결과를 서비스 품질, 사람 수, 업무량으로 확대하지 마세요. 하나의 측정값이 관리자의 모든 질문에 스스로 답하지는 않습니다.

도구의 이익을 평가할 때 확인 시간도 포함하세요. AI와 함께 일한 시간 측정하기 (폴란드어)(링크된 글은 폴란드어입니다.)에서는 질문을 명확히 하고 쿼리를 수정하며 결과를 검증한 시간도 기록합니다. SQL을 더 빨리 쓰는 것은 여전히 유용할 수 있지만 보고서를 인수하는 데 필요한 일을 지워서는 안 됩니다.

Aeneia Audit에서 이런 활용을 평가할 때는 AI 사용 과정과 그 결과를 인수하는 데 필요한 증거를 살펴봅니다. 솔루션에 따라 데이터베이스 자체의 분석은 데이터를 책임지는 사람과 함께 진행해야 합니다. 좋은 결과는 팀이 합의된 확인을 거쳐 받아들일 수 있는 분석과 추가 검토가 필요한 분석을 구분합니다.

이 예시의 보고서에는 범위를 명확히 적은 문의 세 건이 들어갈 수 있습니다. A의 사진 세 장은 여전히 A의 사진 세 장입니다. 네 번째 사진을 추가하자 문의 수가 갑자기 늘어난다면 관리자가 지원 인력 한 자리를 더 계획하기 전에 쿼리로 돌아가야 합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear