본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 자신의 제안으로 돌아올 때: 새로운 데이터인지 어떻게 알 수 있을까?

AI 라벨이 지침과 지식 및 평가로 돌아가는 경로를 추적하고 이전 제안을 독립 근거와 구분합니다.

본문 언어: 한국어

돌계단과 벽의 균열을 비추는 금빛 랜턴 일러스트.
목차

어시스턴트가 한 메시지를 일반적인 설치 질문으로 분류했다. 라벨은 CRM에 들어갔고, 나중에 "해결된 사례" 내보내기 파일을 거쳐 같은 어시스턴트를 위한 예시 모음에 실렸다. 한 달 뒤 도구는 비슷한 메시지를 다시 설치 질문으로 인식했다. 팀은 이를 품질의 확인으로 받아들였다. 하지만 AI가 주로 만난 것은 "데이터"라는 옷을 입은 자신의 이전 판단이었다.

이는 조립용 모듈을 판매하는 가상의 회사 리듬에서 만든 이야기다. 원래 메시지는 세트의 부품 누락에 관한 것이었지만 확인되지 않았다. 모델을 다시 학습했다고 가정할 필요는 없다. 라벨이 지침의 예시, 지식 베이스의 항목 또는 새 결과를 평가하는 기준으로 돌아와도 된다. 정보의 지위가 바뀐다. 제안이 독립적인 관찰처럼 취급되기 시작한다.

여기서 피드백은 한 작업의 결과가 이후 작업에 사용되는 자료에 영향을 미치는 순환을 뜻한다. 결과가 돌아오는 것 자체가 반드시 오류는 아니다. 제안, 수정과 승인된 예시는 의도적으로 활용할 수 있다. 문제는 그 과정에서 출처나 평가의 의미가 사라질 때 시작된다. 확인되지 않은 동일한 라벨로 채운다면 "품질"이라는 열 하나를 더 만들어도 해결되지 않는다.

한 가지 범주를 골라 메시지에서 다음 사용까지 경로를 따라가자. 누가 처음 라벨을 붙였는지, 사례 종료가 무엇을 뜻하는지, 어떤 규칙으로 레코드가 내보내기에 들어가는지 기록한다. 처음부터 회사의 모든 AI를 논의하기에는 범위가 너무 넓다. 구체적인 메시지 하나면 도구가 자신의 답을 어떻게 새로운 근거로 받았는지 확인할 수 있다.

정확히 무엇을 승인했을까?

리듬의 표본에서 AI의 제안, 현재 업무를 위한 수용, 사람의 수정, 사례의 최종 판단, 이후 예시로 적합한지에 대한 평가를 구분한다. 각각 별도 화면일 필요는 없지만 알아볼 수 있는 사건으로 남아야 한다. "종료" 클릭만으로 담당자가 범주를 확인했는지, 고객과의 대화만 끝냈는지는 알 수 없다.

사람이 실제로 무엇을 확인하는지 정한다. 라벨에 대한 판단 없이 답변 발송만 승인할 수 있다. 메시지의 의미를 평가하지 않고 팀 업무를 정리하기 위해 범주를 바꿀 수도 있다. 이런 결정은 업무에 유용하지만 언제나 좋은 분류 기준이 되는 것은 아니다. AI 메시지 분류 시험 (폴란드어)에는 평가할 범주의 이해 가능한 정의가 필요하다.

각 예시에 최소한 입력과의 연결, 최초 제안, 최종 판단과 변경 근거를 남긴다. 도구의 오류 정보가 사라지도록 첫 라벨을 덮어쓰지 않는다. 이후 보고서는 정확한 제안과 담당자가 바로잡은 사례를 구별할 수 있어야 한다. 둘 다 최종 범주는 맞을 수 있지만 어시스턴트의 작업은 다르게 평가해야 한다.

확인되지 않은 제안, 확인된 범주, 고객의 설명 뒤 수정된 범주라는 세 개의 통제 레코드를 준비한다. 실제 규칙에 따라 시험용 내보내기를 실행한다. 어떤 레코드가 선택됐고 출처가 어떻게 표시됐는지 확인한다. 모두 "검증됨"이 된다면 다음 모델 실행 전에 이미 데이터 준비에 문제가 있다.

나중에 다시 열린 레코드도 살펴본다. 처음에는 고객이 안내를 수용했지만 이후 부품이 없다고 확인했다. 내보내기에 첫 종료만 남았다면 데이터는 최종 판단을 반영하지 못한다. 데이터 버전이 어느 시점을 포함하고 이후 수정이 어떻게 전달되는지 정한다. 오늘의 상태를 처음부터 알고 있었던 것처럼 꾸밀 필요는 없다.

AI가 올바른 라벨을 붙인 경우도 판단한다. 담당자가 메시지를 읽고 조건을 확인한 뒤 범주를 승인했다면 유용한 예시가 될 수 있다. 그래도 도구의 제안과 이후 평가라는 두 사건을 남긴다. AI 도움의 흔적을 모두 지우는 것은 근거 확인을 대신하지 않는다. 판단의 출처와 사람이 실제로 평가한 범위가 중요하다.

재학습 없이도 순환이 생길 수 있다

Hidden Technical Debt in Machine Learning Systems에서 저자들은 모델이 이후 학습 데이터의 선택에 직접 영향을 주는 경우와 시스템 사이에서 알아차리기 어려운 의존성을 설명한다. 이는 2015년 머신러닝 시스템 유지의 메커니즘을 분석한 논문이지 모든 기업 자동화가 같은 문제를 겪는다는 증거는 아니다.

리듬에서 가장 단순한 복귀 경로는 지침이다. 담당자가 매주 내보내기에서 "가장 자주 올바르게 해결된 예시"를 추가한다. 선택이 평가되지 않은 AI 라벨에 기반하면 도구는 이를 본보기로 받는다. 지침 버전이 바뀌어도 독립적으로 확인된 지식이 들어온 것은 아니다. 검수할 때 구체적인 예시를 열어 출처를 확인한다.

두 번째 경로는 과거 사례 검색이다. 어시스턴트가 출처 표시 없이 저장된 자신의 이전 요약을 찾는다. 비슷한 요약 여러 개는 고객들의 일치된 기록처럼 들리지만 모두 같은 잘못된 규칙에서 나왔을 수 있다. 검색된 문장이 질문에 맞는지만이 아니라 별개의 사건과 확인된 판단을 설명하는지도 본다.

세 번째는 품질 평가다. 새 라벨을 오래된 라벨과 비교하고 일치율을 정확도로 보고한다. 오래된 라벨도 모델의 제안이었다면 결과는 주로 이전 답변과의 일치를 측정한다. 그것만으로 범주의 정답 여부를 말할 수 없다. 독립적인 근거를 확인하기 전에는 지표를 일치율이라고 부른다.

Aeneia 콘셉트 사진

검토할 사례의 선택도 다르게 작용한다. 담당자가 "부품 누락" 범주만 연다면 설치 질문으로 잘못 분류된 메시지는 평가에 들어오지 않을 수 있다. 나중의 수정 기록에는 사람이 볼 기회가 있었던 것만 나타난다. 제한된 표본에서 선택한 대기열 밖의 사례도 살펴본다. 수정이 없다는 것을 사람이 결과를 확인했다는 증거로 여기지 않는다.

제안 자체가 담당자의 후속 기록에 영향을 줄 때도 비슷하다. 시험에서 같은 범주 정의를 유지하면서 라벨을 보여 준 평가와 제안 없이 자료를 평가한 결과를 비교한다. 차이가 있다면 판단 근거를 논의해야 한다. 그 차이만으로 회사 전체의 영향 크기를 바로 측정한 것은 아니다. "사람이 클릭했다"는 기록은 무엇을 읽고 선택을 어떻게 이해했는지 설명하지 않는다.

여기서 유입 데이터의 드리프트 (폴란드어)도 살펴볼 만하다. 범주 비율의 변화는 고객의 새로운 필요에서 올 수도 있지만 사례를 배분하는 방식의 변화 때문일 수도 있다. 원래 입력, 도구의 결과, 담당자가 볼 수 있었던 자료를 비교한다. 그렇지 않으면 내부 시스템의 가시성 변화를 시장 변화로 설명하기 쉽다.

AI models collapse when trained on recursively generated data는 다른 특정 메커니즘, 즉 이전 모델이 만든 데이터로 다음 세대 모델을 학습하는 경우를 분석한다. 이것은 CRM에서 "모델 붕괴"가 일어났다는 자동 진단이 아니다. 우리 사례의 정보 지위 오류는 모델 파라미터의 변화나 능력의 장기적 저하를 입증하지 않고도 보일 수 있다.

회사가 실제로 추가 학습용 데이터를 준비한다면 모델 미세 조정을 위한 데이터셋 준비 (폴란드어)처럼 출처와 선택까지 검수 범위를 넓힌다. 이 결정을 매주 지침을 갱신하는 것과 혼동하지 않는다. 각각 어떤 데이터가 어떤 역할로 돌아왔는지 별도로 기록해야 한다.

중간 단계도 확인한다. 통합 스프레드시트가 CRM 레코드, 설문 답변과 자동 보고서를 합친 뒤 출처 열을 없앨 수 있다. 지침을 만드는 사람에게는 하나의 목록만 보인다. 각 경로에서 항목을 골라 원래 자료까지 거슬러 간다. 서로 다른 행의 같은 문장 두 개는 독립된 두 사례가 아니라 하나의 결과를 복사한 것일 수 있다.

유용한 수정은 남기고 오류의 재유입을 막는다

첫 수정은 데이터셋에 받아들이는 조건을 정하는 것일 수 있다. 사례를 종료한 것만으로는 부족하며 정해진 규칙에 따른 범주 평가가 필요하다. 그 판단의 책임자와 추가 확인으로 보내는 사례를 정한다. 화면이 무엇을 확인해야 하는지 보여 주지 않는데 담당자에게 "전부 확인하라"고만 하여 책임 전체를 넘기지 않는다.

수정을 처음부터 끝까지 시험한다. 통제 자료에서 설치 질문 라벨을 부품 누락으로 바꾸고 이유를 추가한다. 이어 새 내보내기, 검색되는 자료와 평가용 표본을 확인한다. 한 곳에서라도 오래된 제안이 돌아온다면 CRM에서 보이는 수정만으로 순환이 닫힌 것은 아니다. 보고서에 갱신이 필요한 구체적인 사본을 적는다.

다른 팀이 그 사본을 쓴다면 소유자와 수정 전달 방법을 정한다. CRM을 수정하는 사람은 학습 자료에 접근하지 못할 수 있다. 알림을 보냈다는 이유만으로 작업을 완료 처리하지 않는다. 표본에서 대상 문서의 확인된 상태와 버전을 확인한다. 책임을 넘기는 것은 흐름의 한 단계이지 수정 완료의 증거가 아니다.

출처 표시는 데이터가 옮겨져도 유지되어야 한다. 스프레드시트 행, 지침의 발췌문과 내보내기 파일은 형식이 달라도 예시의 출처를 알아볼 수 있어야 한다. 도구 사이의 실제 이동에서 이를 확인한다. 특히 일부 열만 복사할 때 "확인됨" 폴더 이름은 개별 레코드의 평가 정보를 대신하지 못한다.

검수에는 지침 갱신도 포함한다. 새 버전에는 수정이 있어도 팀 일부는 이전 버전을 쓸 수 있다. 조사한 실행이 어느 버전을 사용했고 예전 예시가 다른 경로로 남아 있었는지 기록한다. 이 구분이 없으면 도구가 서로 다른 자료를 받았을 뿐인데 두 결과의 차이를 모델의 무작위성으로 설명하기 쉽다.

합성 데이터 (폴란드어)는 별도로 표시한다. 통제된 시험에 유용할 수 있지만 새로운 고객지원 사건은 아니다. 특정한 드문 사례를 보완한다면 그 목적과 예상 결과를 기록한다. 내보내기 뒤 역할이 "고객이 회사에 실제로 이렇게 쓴다"로 바뀌어서는 안 된다.

수정 중인 자료를 같은 수정의 독립적인 시험에도 사용하지 않는다. 시험 데이터 누출 방지 (폴란드어) 규칙은 평가 자료를 분리하는 데 도움이 된다. 리듬은 지침을 만드는 데 사용하지 않은, 독립적으로 판단된 새로운 부품 누락 메시지를 준비할 수 있다. 시험은 다른 입력에서의 작동을 보여 주어야 한다.

결정 자료에는 새 결과의 정확성과 이를 확인하는 데 필요한 작업을 함께 비교한다. 회사 데이터셋과의 일치가 높아진 이유는 실제 개선일 수도, 데이터셋이 이전 AI 제안과 비슷해졌기 때문일 수도 있다. 독립적인 평가가 있는 고정 표본을 유지하고 새로운 사례를 별도로 조사한다. 두 시험 결과를 사례 수와 발견된 오류를 포함해 따로 제시한다.

검수 보고서에는 발견한 복귀 경로, 예시를 수용하는 규칙과 수정이 흐름을 통과했다는 증거를 기록한다. 선택한 프로세스의 표본을 대상으로 검토할 수 있는 범위를 Aeneia Audit과 상의할 수 있다. 리듬의 개선은 구체적이다. 어시스턴트는 이전 사례를 계속 활용하지만 확인되지 않은 자신의 오래된 라벨을 고객의 새로운 확인처럼 제시하지 않는다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear