본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI 데이터 드리프트: 들어오는 질문의 변화를 어떻게 살필까

기간, 채널과 문의 유형을 비교해 입력 변화와 데이터 누락, 평가 기준, 답변 품질을 구분합니다.

본문 언어: 한국어

정원사가 온실의 붉은 차양 아래에서 뿌리로 만든 시제품의 물 흐름을 조절한다.
목차

예전에는 고객이 치수 하나를 물었습니다. 이제는 부스 전체에 대한 설명과 사진 세 장을 보내며 모든 장비가 엘리베이터에 들어가는지 묻습니다. 팀에 따르면 Rzeka의 어시스턴트 설정은 그대로인데, 담당자가 답변을 고치는 일은 더 잦아졌습니다.

Rzeka는 행사 장비를 공급하는 가상의 회사입니다. 기존 문의 양식에 더해 행사 주최자를 위한 포털을 열었습니다. 새 채널에는 이전과 다른 업무, 더 긴 설명과 첨부파일이 들어옵니다. 회사는 이 변화가 문제의 원인인지 확인하고자 합니다. 모델을 바로 교체하거나 예전 설정으로 되돌리기보다 먼저 입력 자료와 결과를 비교해야 합니다.

데이터 드리프트는 정해진 기준점과 비교했을 때 새로 들어오는 자료의 특성 분포가 달라지는 현상입니다. 실제 점검에서는 질문 길이, 언어, 채널, 업무 유형, 첨부파일 유무처럼 관찰할 특성을 정해야 합니다. "드리프트"라는 이름만으로 답변이 나빠졌는지, 나빠졌다면 왜 그런지는 알 수 없습니다. 변화는 서비스 확장에 따라 예상된 결과일 수도 있습니다.

오늘의 문의를 무엇과 비교하나요?

팀의 질문에 맞는 기준 기간을 정하세요. 현재 포털과 이전 문의 처리 방식을 비교할 수도 있고, 포털을 연 뒤 그 안에서 일어난 변화를 살펴볼 수도 있습니다. 둘은 서로 다른 비교입니다. 결과를 보기 전에 날짜, 채널, 포함할 문의의 기준을 기록하세요. 최근 장애와 대비하기 편하다는 이유만으로 "좋았던 한 주"를 고르지 마세요.

Google Cloud Model Monitoring 문서는 운영 데이터와 학습 데이터를 비교하는 것과 운영 데이터의 시간에 따른 변화를 살펴보는 것을 구분합니다. 설명된 모니터링은 정해진 특성과 설정에 적용됩니다. 어떤 어시스턴트든 첨부파일의 모든 변화가 뜻하는 바를 자동으로 알아낸다는 의미는 아닙니다. 회사의 점검에서는 먼저 사용할 수 있는 기준점을 확인하세요.

공급자가 기반 모델을 학습시킨 데이터를 모른다면, 회사가 보관한 질문을 그 학습 데이터인 것처럼 제시하지 마세요. 그것은 회사의 업무 과정에서 나온 자료이며 기간별 비교에 활용할 수 있습니다. Rzeka가 알고 싶은 것은 과거의 단순한 질문과 새 채널로 들어온 문의의 차이입니다. 기반 모델의 학습 이력에 접근하지 않아도 그 차이를 설명할 수 있습니다.

분석 단위를 정하세요. 긴 문의 한 건에 열몇 개의 메시지가 들어갈 수 있고, 메시지 하나에 질문이 여러 개 들어갈 수도 있습니다. 예전에는 문의 건수를 세고 지금은 추가 확인 메시지마다 따로 센다면 변화의 일부는 보고서 작성 방식에서 생깁니다. 메시지를 묶는 방법과 같은 내용을 다시 보낸 경우를 어떻게 다룰지도 기록하세요. 두 기간의 비율을 비교하기 전에 같은 단위를 사용해야 합니다.

자료가 빠짐없이 들어왔는지 확인하세요. 포털에서 내보낸 자료에 파일이 포함되어 있나요, 아니면 파일이 추가되었다는 정보만 있나요? 긴 설명이 끝까지 보존되었나요? 평균 길이의 변화는 입력란의 새 제한이나 저장 오류에서 비롯될 수 있습니다. 이상 징후와 누락 데이터 구분하기는 유입 변화와 관찰 자료의 빈틈을 구분하는 데 도움이 됩니다. 자세한 내용은 이상 징후와 누락 데이터의 구분을 다룬 글에서 (폴란드어) 확인할 수 있습니다.

비교 전에 정의도 맞추세요. "첨부파일이 있는 질문"은 서명에 로고가 들어간 모든 메시지를 뜻할 수도 있고, 파일을 읽어야만 하는 문의만 뜻할 수도 있습니다. 규칙을 합의해 두 기간에 똑같이 적용하세요. 그렇지 않으면 고객의 글쓰기 방식이 그대로여도 같은 메시지가 다르게 분류됩니다.

계절과 근무일도 고려하세요. 행사 직전 한 주에는 장비 수령에 관한 급한 질문이 들어오고, 그보다 앞선 한 달에는 장비 선택을 도와 달라는 요청이 들어올 수 있습니다. 비교에서 이 차이를 감출 필요는 없지만 명시해야 합니다. 포털을 평가하려는 목적이라면 이전 기간의 비슷한 준비 단계도 살펴보세요. 그렇지 않으면 새 채널의 영향과 일정에 따른 업무 변화가 섞입니다.

영향을 단정하기 전에 입력의 변화를 구체적으로 설명하세요

어시스턴트의 업무와 관련된 특성 몇 가지를 고르세요. Rzeka에는 질문 유형, 문의 한 건에 포함된 쟁점 수, 첨부파일 형식, 사진에서 정보를 추출해야 하는지 여부가 유용합니다. 처리에 영향을 준다면 길이와 언어도 추가하세요. 그래프에 넣을 수 있다는 이유만으로 가능한 모든 특성을 수집하지는 마세요.

각 그룹에서 비율뿐 아니라 문의 건수도 보여 주세요. 특이한 메시지가 한 건에서 세 건으로 늘면 백분율로는 극적인 변화처럼 보이지만 여전히 적은 자료입니다. 드문 사례는 내용과 처리 방식을 살펴보세요. 심각한 오류 한 건은 전체 데이터 분포를 눈에 띄게 바꾸지 않아도 대응할 가치가 있을 수 있습니다.

자동 비교는 특정 특성의 현재 값 분포와 기준 분포 사이의 차이를 알려 줄 수 있습니다. 하지만 경보 임계값은 별도의 근거가 필요합니다. 문서의 예시 숫자를 회사 데이터에 그대로 옮기거나, 알림이 사라지도록 임계값을 맞추지 마세요. 어떤 변화를 발견하려는지와 누가 확인할지를 기록하세요.

입력 변화와 품질 변화의 결과는 따로 제시해야 합니다. Azure Machine Learning 문서는 데이터 드리프트, 예측값의 변화, 데이터 품질과 모델 성능 평가 신호를 구분합니다. 모델 성능 평가에서는 결과를 실제 기준값과 비교하도록 설명합니다. 입력 분포가 달라졌다는 사실만으로 그 평가를 대신할 수는 없습니다.

Rzeka에서 긴 질문이 늘어난 것은 좋은 소식일 수도 있습니다. 주최자들이 여러 조각으로 나눈 설명 대신 완전한 설명을 보내기 시작했기 때문입니다. 어시스턴트가 이를 제대로 활용한다면 그래프가 이전과 다르다는 이유만으로 변화를 고칠 필요는 없습니다. 반대로 메시지 길이가 비슷하다고 해서 새 어려움이 없다는 뜻도 아닙니다. 짧은 호환성 질문에는 과거의 치수 질문과 다른 자료가 필요할 수 있습니다.

따라서 텍스트 길이뿐 아니라 업무의 의미도 살펴보세요. 표본에서 한 가지 특성을 묻는 질문, 여러 제품을 비교하는 질문, 전체 구성의 실현 가능성을 평가하는 질문을 구분할 수 있습니다. 이 분류에 AI가 도움을 준다면 선택한 사례에서 분류 결과를 확인하세요. 그렇지 않으면 입력을 설명하는 도구의 오류를 고객 요구의 변화로 오인할 수 있습니다.

Aeneia 콘셉트 사진

특성의 조합도 살펴보세요. 긴 설명의 수와 첨부파일의 수는 각각 비슷하게 유지되지만, 이제 처음으로 둘이 함께 나타날 수 있습니다. 어시스턴트에는 글로 적힌 요구사항을 올바른 사진과 연결하는 다른 업무가 됩니다. 관찰된 오류를 바탕으로 이런 조합 몇 가지를 고르세요. 특성 하나의 그래프가 안정적이라고 해서 자료에 대한 평가가 끝나는 것은 아닙니다.

전체 처리 설정을 확인하세요

실제로 무엇이 변하지 않았는지 확인하세요. 화면의 모델 이름은 솔루션의 한 부분일 뿐입니다. 확인할 수 있는 버전, 지시문, 지식 자료, 검색 방식, 도구와 파일을 준비하고 전처리하는 방법을 기록하세요. 새 채널에서는 주 모델 선택이 같아도 이미지 인식이나 설명을 잘라 내는 방식이 달라졌을 수 있습니다.

수정이 늘어난 이유를 모두 드리프트로 단정하지 마세요. Rzeka에서는 포털이 PDF의 첫 페이지만 보내기 시작했을 수도 있습니다. 이런 오류는 새롭고 더 어려운 문의가 제대로 전달되는 경우와 다른 방향의 수정이 필요합니다. 빠진 정보가 있는 재현 가능한 사례 하나를 만들고 단계별로 자료를 확인하세요. 먼저 모델이 실제로 무엇을 보았는지 알아내야 합니다.

자료의 변화와 평가 규칙의 변화도 구분하세요. 회사가 예전에는 추가 설명을 요청하는 답변을 허용했지만 지금은 실패로 판단할 수 있습니다. 두 기간에 사용한 기대 기준을 기록하세요. 기준을 더 엄격하게 정했다면 새 규칙에 따른 결과를 별도로 보여 주세요. 차이의 일부가 평가 방식에서 생겼는데도 전체를 도구의 성능 저하로 설명하지 마세요.

결과를 비교할 때 AI 답변 회귀 테스트처럼 과거 업무의 고정 표본을 유지하세요. 독립적으로 정한 기대 결과가 있는 새로운 문의 유형의 별도 세트도 추가합니다. 과거 표본은 이미 알려진 자료에서의 동작을 보여 주고, 새 세트는 현재 필요한 업무까지 평가 범위를 넓힙니다. 이 비교에는 둘 다 필요합니다. AI 답변 회귀 테스트에 관한 글도 (폴란드어) 참고하세요.

각 그룹의 성능은 비슷한데 그룹 비중만 달라졌을 수도 있습니다. 설명을 위한 가상의 계산을 보겠습니다. 단순 문의의 오류율은 10%, 복잡한 문의는 30%입니다. 단순 문의 80건과 복잡한 문의 20건이라면 100건에서 오류는 14건입니다. 비율이 30건 대 70건이면 각 그룹 안의 오류율이 그대로여도 오류는 24건이 됩니다.

이것은 도구를 측정한 결과가 아니라 가상의 예시입니다. 하나의 전체 결과만으로 모델이 특정 업무에서 더 나빠졌는지 판단할 수 없는 이유를 보여 줍니다. 그룹별 결과와 비중을 나누어 제시하세요. 사진이 있는 질문에 문제가 집중된다면 그 그룹과 오류 유형을 명시합니다. "품질이 몇 퍼센트 떨어졌다"는 보고서에는 수정 방식을 고르는 데 필요한 정보가 빠져 있습니다.

평가 지연도 확인하세요. 어려운 문의는 판정까지 더 오래 걸릴 수 있으므로, 최근 한 주에 들어온 문의 중 이미 평가된 사례에는 빨리 끝난 건이 주로 포함될 수 있습니다. 이 평가된 부분을 평가가 모두 끝난 이전 한 달의 문의와 비교하면 상황이 왜곡될 수 있습니다. 아직 결과가 없는 문의 건수와 평가를 보완할 시점을 밝히세요. 처리가 끝나지 않았다는 사실은 어시스턴트의 성공도 오류도 자동으로 뜻하지 않습니다.

보고서가 솔루션으로 보낸 모든 문의를 포함하는지, 답변이 생성된 문의만 포함하는지도 확인하세요. 새 파일이 모델 호출 전에 거부될 수 있습니다. 그 경우 모델 로그에 보이는 자료는 안정적으로 보여도 고객은 그보다 앞 단계에서 더 자주 막힐 수 있습니다. 같은 분석 단위에 연결하여 입력 건수, 거부 건수와 실제 답변 건수를 유지하세요.

발견한 차이에 맞게 대응하세요

데이터가 더 이상 도착하지 않는다면 전달 과정을 고치세요. 새 질문에 회사가 이전에 어시스턴트에 제공하지 않았던 정보가 필요하다면 자료의 범위와 답변 책임을 확인합니다. 업무가 도구의 승인된 사용 범위를 벗어나면 사람에게 넘기세요. 모델 재학습은 가능한 결정 중 하나이지 모든 드리프트 경보의 뜻은 아닙니다.

팀이 모델을 바꾸기로 했다면 비슷한 자료에서 별도 대안으로 평가하세요. 모델 이전 시 결과 비교는 이 개입을 그보다 앞서 일어난 입력 변화와 구분하는 데 도움이 됩니다. 새 모델이 과거의 단순한 질문 표본을 통과했다는 이유만으로 품질이 회복되었다고 발표하지 마세요. 점검을 시작하게 만든 새 업무도 확인해야 합니다. AI 모델 변경 시 결과 비교를 설명하는 글에서 (폴란드어) 관련 내용을 확인할 수 있습니다.

기준점을 업데이트할 때는 이전 상태를 보존하세요. 비교 기준을 매번 자동으로 옮기면 솔루션의 최초 범위를 다시 평가하지 않았는데도 오래 지속된 변화가 더 이상 경보를 일으키지 않을 수 있습니다. 누가 어떤 근거로 새 기준점을 승인하는지 정하세요. 그래프가 바뀌었다는 이유로 점검 기준이 조용히 다시 쓰여서는 안 됩니다.

AI가 만든 설명과 분류가 입력으로 다시 돌아오는지도 확인하세요. 결과의 피드백은 고객의 새 행동이 없어도 자료를 바꿀 수 있습니다. 원본 메시지와 자동화가 앞서 만든 요약을 구분하세요. 진단에는 둘의 연결이 도움이 되지만, 둘을 시장에서 들어온 서로 독립적인 질문 두 개로 취급해서는 안 됩니다. 관련 방법은 AI 출력이 입력으로 다시 들어오는 경우를 다룬 글에서 (폴란드어) 살펴볼 수 있습니다.

신호에 대응할 담당자와 검토를 마치는 데 필요한 자료를 정하세요. 경보를 보냈다는 사실만으로 검토가 이루어진 것은 아닙니다. 사례 하나를 골라 차이를 발견한 시점부터 자료 확인을 거쳐 수정할지 그대로 둘지 결정하는 과정까지 따라가 보세요. 특히 평가가 끝난 새 문의가 아직 부족하다면 미해결 범위도 기록합니다.

수정 후에는 지정한 그룹을 다시 확인하면서 과거 업무에 대한 점검도 유지하세요. 복잡한 프로젝트를 위해 자료를 보충하면 단일 제품에 관한 단순 질문의 답변이 달라질 수 있습니다. 기록에는 솔루션 버전, 새 예시의 범위와 담당자들의 판정을 첨부하세요. "계속 관찰한다"는 결정에는 다시 평가할 시점과 조건이 있어야 어려운 그룹을 계속 무시하는 방식이 되지 않습니다.

이런 점검은 선택한 업무 과정과 자료를 바탕으로 Aeneia Audit과 함께 준비할 수 있습니다. 우선순위는 AI 활용 사례 목록과 연결해 보세요. 색조에 관한 질문 변화와 주문 처리에 대한 잘못된 안내는 서로 다른 대응이 필요합니다. Rzeka의 점검 결과는 도구가 처리하는 새 업무, 수정이 필요한 부분과 추가로 모아야 할 데이터를 밝혀야 합니다. AI 활용 사례 기록과 우선순위에 관한 글을 (폴란드어) 함께 참고할 수 있습니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear