본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI 변경 후 답변 품질: 회귀 테스트를 진행하는 방법

모델, 지시문, 출처를 바꾼 뒤 AI 업무가 나빠지지 않았는지 확인하세요. 기준 결과와 사례를 보관하고 오류의 영향, 승인 조건, 복귀 방법을 정리합니다.

본문 언어: 한국어

정원사가 온실의 붉은 차양 아래에서 뿌리로 만든 시제품의 물 흐름을 조절한다.
목차

어제까지 문서를 잘 구분하던 업무 프로세스가 오늘은 업데이트 후 두 범주를 혼동하기 시작합니다. 회귀 테스트는 바로 이런 성능 저하를 찾는 데 쓰입니다. 새로운 동작을 팀이 이미 신뢰하며 사용하던 동작과 비교하는 것입니다. 사례, 기대 결과, 시험 조건을 보관하세요. 거부와 사람에게 넘기는 단계까지 전체 작업을 확인해야 합니다. 모델 번호가 새로워졌다는 이유만으로 답변의 품질을 신뢰할 수는 없습니다.

첫 파일럿은 특정 용도에 이 솔루션을 써도 되는지 묻습니다. 이후의 비교는 목적이 다릅니다. 승인된 업무 방식에서 무엇이 달라졌는지 확인하는 것입니다. 따라서 보관된 기준 결과와 반복해서 시험할 수 있는 사례가 필요합니다. 업데이트 후 답변 하나가 잘 나왔다고 나머지 상황에서도 시스템이 어떻게 대응할지 알 수 있는 것은 아닙니다.

정확히 무엇을 바꾸는지 기록하기

변경 항목, 이유, 담당자, 예상 효과를 담은 변경 기록을 만드세요. 모델, 지시문, 설정, 원본 자료, 권한의 변경을 구분합니다. 여러 항목을 동시에 업데이트한다면 나중에 원인을 특정하기 어려울 수 있다는 점도 기록하세요. 가능한 경우 변경을 하나씩 평가하고 각각의 결과를 보관합니다.

기준 기록에는 모델 또는 서비스 식별자, 지시문 버전, 출처, 시험 날짜를 넣습니다. 공급업체가 세부 버전을 공개하지 않는다면 확보할 수 있는 정보를 보관하고 그 한계를 명시하세요. 업데이트를 추적할 수 있는 조건은 AI 공급업체 평가 단계에서 정해 두는 것이 좋습니다. 그렇지 않으면 사용자 불만을 받고 나서야 변경 사실을 알게 될 수 있습니다. 자세한 내용은 구매 전 AI 공급업체 평가를 다룬 글에서 (폴란드어) 확인할 수 있습니다.

운영 중인 프로세스의 사례 모음 보관하기

일상적인 업무, 중요한 예외, 이전에 발견한 오류를 대표하는 자료를 고르세요. 쉬운 사례뿐 아니라 추가 질문, 거부, 정보 부족의 명시가 올바른 결과인 상황도 포함해야 합니다. 데이터의 출처와 허용된 사용 방식을 기록하세요. 품질 시험을 한다는 이유로 아무 문서나 다른 환경에 복사해도 되는 것은 아닙니다.

지시문을 다듬는 데 사용한 예시만으로 사례 모음을 구성하지 마세요. 평가에만 사용할 사례도 남겨 둡니다. 팀이 사례를 외울 정도로 익숙해지고 계속 그 사례에 맞춰 솔루션을 조정하면 점점 더 좁은 능력만 확인하게 됩니다. 새로운 상황이 생기면 사례 모음을 확장하되, 각 사례가 언제부터 비교에 포함됐는지 기록하세요.

문장이 같은지보다 결과의 요건 평가하기

많은 작업에는 올바른 답변이 여러 개 있을 수 있습니다. 반드시 들어가야 할 정보, 답변에서 허용할 수 있는 차이, 받아들일 수 없는 오류를 정하세요. 요약에서는 확인된 사항과 합의 내용, 조건, 명칭, 원문에 근거했는지가 중요할 수 있습니다. 문장 순서가 달라졌다고 반드시 품질이 떨어진 것은 아닙니다. 실제로 없었던 결정을 덧붙였다면 그 영향은 별도로 평가해야 합니다.

각 기준을 어떻게 확인할지도 정하세요. 필수 필드의 존재 여부처럼 자동으로 확인할 수 있는 항목도 있습니다. 다른 항목은 업무를 아는 사람이 문서와 답변을 대조해야 합니다. 형식 검사만으로 정해진 기준에 부합하는지 평가하는 일을 대신하지 마세요. 답변의 형식은 올바르지만 내용에는 잘못된 사항이 들어 있을 수 있습니다. AI 파일럿 평가 기준을 다룬 글에서는 (폴란드어) 처음 정한 작업의 평가 기준을 다시 살펴봅니다.

오류를 영향에 따라 구분하기

비교 전에 오류 범주를 정하세요. 프로세스에 치명적인 오류는 허용되지 않은 동작이나 허용 범위 밖으로의 자료 공개일 수 있습니다. 중요한 내용 오류는 승인 전에 수정해야 합니다. 사소한 문체 문제는 사용을 막지 않을 수도 있습니다. 범주의 이름과 경계는 실제 작업에 맞게 정하세요. 모든 회사에 들어맞는 하나의 보편적인 척도는 없습니다.

답변은 올바르지만 검토 시간이 훨씬 길어지는 사례를 어떻게 처리할지도 합의하세요. 프로세스 품질에는 결과를 받는 사람의 수고와 불확실성을 얼마나 명확히 표현하는지도 포함됩니다. 이런 변화가 AI 업무의 총비용 (폴란드어)에 미치는 영향을 기록하세요. 그래야 한 지표의 개선이 다른 중요한 조건의 악화를 가리지 않습니다.

같은 조건에서 비교하기

같은 버전의 자료를 사용하고 권한과 설정도 비교할 수 있는 조건으로 맞춰 기존 방식과 새 방식을 실행하세요. 사람이 수정하기 전의 결과와 사람이 수정한 결과를 구분합니다. 이전 결과를 사람이 다듬었다면 그 사실을 보관하세요. 이를 새 방식에서 사람이 수정하기 전의 답변과 비교하면 검토자의 추가 작업에서 생긴 차이를 두 방식의 차이처럼 볼 수 있습니다.

기술 오류와 시간 초과도 기록하세요. 텍스트가 생성되지 않았다는 이유로 실패한 시도를 실행 결과 요약에서 빼지 마세요. 공급업체가 기능을 바꿔 기존 방식을 다시 실행할 수 없다면 보관된 결과를 활용하고 한계를 설명합니다. 결정 기록에는 실제로 무엇을 비교했는지, 프로세스의 어느 부분을 다른 방법으로 평가해야 했는지가 드러나야 합니다.

답변의 변동성 고려하기

같은 자료라도 실행할 때마다 다른 결과가 나올 수 있습니다. 오류가 미치는 영향, 작업의 변동성, 가용 자원을 고려해 반복 횟수를 정하세요. 한 번 잘 나온 답변을 지속적인 신뢰성의 증거로 제시하지 마세요. 결과와 시험 조건을 함께 보관해야 승인 담당자가 단일 관찰과 반복되는 동작을 구분할 수 있습니다.

OpenAI의 공식 평가 가이드는 작업에 맞춘 시험, 변경 후 재평가, 지표와 사람의 판단을 함께 활용하는 방식을 권장합니다. 방법을 정할 때 참고할 수 있는 자료입니다. 승인 기준값, 시험 횟수, 허용할 오류 수준은 개별 프로세스에 맞춰 결정해야 합니다. 공급업체의 예시에 나온 값을 그대로 옮길 사항은 아닙니다.

Aeneia 콘셉트 사진

출처와 접근 범위 시험하기

모델 자체의 동작은 비슷해도 다른 자료를 가져오면서 품질이 달라질 수 있습니다. 최신 문서, 사용이 중단된 버전, 필요한 원본 자료가 없는 경우, 서로 충돌하는 자료를 시험하세요. 답변이 근거를 밝히고 부족한 내용을 지어내지 않는지 평가합니다. 출처에 날짜와 담당자가 있다면 시험 사례와 함께 보관하세요.

선택한 리소스에 접근할 수 없는 계정으로도 시험하세요. 기대한 대로 접근을 거부하는 것도 올바른 동작의 일부입니다. 특히 제품이 자체 색인이나 사본을 유지한다면 권한을 회수한 뒤 어떻게 되는지도 확인해야 합니다. AI 연동 권한 점검 안내 글 (폴란드어)에서는 이 범위를 자세히 다루고, 회사 지식의 구조화를 다룬 글에서는 (폴란드어) 자료를 정리하는 방법을 설명합니다.

사람과 도구의 평가 조율하기

다른 모델이 결과를 먼저 평가한다면 업무를 아는 사람들의 평가와 얼마나 일치하는지 확인하세요. 의견이 갈린 사례를 일부 보관하고 해결 방식을 정합니다. 자동 평가는 검토를 빠르게 할 수 있지만, 그 자체도 점검이 필요한 솔루션의 한 구성 요소입니다. 평가 대상 시스템의 답변이 같아도 평가 모델을 바꾸면 결과가 달라질 수 있습니다. 별도의 AI 심사 모델 점검 안내 글 (폴란드어)을 통해 평가 모델의 판정이 업데이트 결정의 근거가 되기 전에 필요한 확인 사항을 정리할 수 있습니다.

사람이 평가할 때는 오류 예시가 담긴 짧은 안내문을 준비하세요. 두 사람에게 사례 모음의 일부를 독립적으로 검토해 달라고 요청합니다. 같은 기준을 다르게 이해한다면 규칙을 명확히 하고 무엇을 언제 바꿨는지 기록하세요. 팀의 AI 답변 검증 교육을 다룬 글에서는 (폴란드어) 막연히 맞아 보인다는 느낌에서 구체적인 증거를 짚는 단계로 넘어가는 연습을 설명합니다.

가상 업무 예시: 요약 모델 변경

한 팀이 승인된 절차에 따라 회의 메모를 작성하고 있습니다. 모델을 바꾸자 답변은 짧고 읽기 쉬워졌지만, 일부 사례에서 작업 실행에 필요한 조건이 빠집니다. 비교 사례 모음에서 그 조건은 필수 요소입니다. 승인 담당자는 문체가 좋아졌더라도 누락을 내용 오류로 기록합니다.

프로세스 책임자는 변경을 보류하거나, 다른 유형의 자료에만 적용하거나, 솔루션을 다듬은 뒤 다시 평가할 수 있습니다. 이미 확인한 사례를 바탕으로 지시문을 수정했다면 새로운 자료도 확인합니다. 수정에 사용한 사례만으로 결과를 판단해서는 안 됩니다. 이 예시는 의사결정 방식을 설명하기 위한 가상 연습 사례이며, 실제 고객에게 오류나 성과를 귀속하지 않습니다.

적용과 복귀 조건 정하기

새 방식을 가동하기 전에 전환 조건, 승인자, 변경 후 관찰 방법을 기록하세요. 경우에 따라 제한된 작업군부터 시작할 수 있습니다. 이때는 범위, 시험 기간, 확대 기준을 정해야 합니다. 사례 모음과 한계를 밝히지 않은 채 “테스트 통과”라고만 적어서는 다른 팀에 프로세스를 넘기기에 충분한 근거가 되지 않습니다. 코딩 도우미가 시험의 일부를 준비하거나 실행한다면 명령어, 어설션(검증문), 실제 시험 결과 (폴란드어)를 확인하세요.

기존 방식으로 돌아가는 것이 기술적으로 가능한지 확인하세요. 불가능하다면 수작업이나 기능 제한 같은 대안을 준비합니다. 자동 동작을 멈출 수 있는 사람이 누구인지, 다시 확인해야 할 작업을 어떻게 식별하는지 기록하세요. 대기열과 진행 중인 작업까지 다루는 업무 자동화 점검 안내 글 (폴란드어)은 전체 흐름을 점검하는 데 도움이 됩니다.

재현할 수 있는 결과 보관하기

승인 자료에는 변경 기록, 사례 모음 버전, 기준, 사람이 수정하기 전의 답변, 평가, 이견, 결정을 포함해야 합니다. 자료의 내용에 맞게 접근을 제한하세요. 보관 기간과 갱신 담당자도 정합니다. 나중의 검토에는 보고서의 좋은 숫자 하나가 아니라 왜 그 방식을 승인했는지가 필요합니다.

보고서에는 개선된 사례, 악화된 사례, 판정이 나지 않은 사례를 보여 주세요. 총점이 중요한 오류나 일부 작업에서 달라진 영향을 가려서는 안 됩니다. 평가하지 않은 용도 목록도 덧붙이세요. 요약을 시험했다면 그 결과를 메시지 발송, 다른 문서 분석, 에이전트의 자율 동작까지 확인했다는 뜻으로 해석하지 마세요. 범위를 넓힐 때마다 적절한 근거가 필요합니다.

시험 사례 모음 자체는 언제 바꿔야 할까?

사용자, 문서 유형, 답변을 활용하는 방식이 바뀌면 사례 모음도 검토해야 합니다. 기존 표본이 버전 비교에는 여전히 유용하면서 현재 업무는 점점 덜 대표할 수 있습니다. 연속성을 추적할 수 있는 공통 부분은 남기고 현재 범위에 맞는 새 사례를 추가하세요. 보고서에서는 두 사례군의 결과를 구분해야 합니다.

출처가 오래됐거나 기준 답변에 오류가 있다면 사례를 삭제하거나 수정하세요. 그 결정의 이유와 날짜를 보관합니다. 다만 마음에 들지 않는 결과가 나왔다는 사실만으로 시험을 제외하지 마세요. 먼저 그 시험이 여전히 실제 요구사항에 부합하는지 확인합니다. 그렇지 않으면 솔루션을 개선하는 대신 질문을 바꿔 겉으로만 좋아진 결과를 만들기 쉽습니다. 새 사례 모음을 승인할 때는 프로세스 책임자에게 여전히 어떤 결정을 뒷받침할 수 있는지 확인해 달라고 요청하세요.

큰 업데이트라면 AI 모델 변경 전 비교도 활용하세요. 같은 사례를 유지하고 모델의 영향과 지시문 또는 출처 변경의 영향을 구분합니다. 모든 요소를 한꺼번에 교체하면 새 결과가 어디서 비롯됐는지 설명하기 어려워집니다. AI 모델 변경 시 결과 비교에 관한 글을 (폴란드어) 함께 참고할 수 있습니다.

이미 운영 중인 팀은 어디서 시작할까?

가장 먼저 예정된 변경과 현재 업무에서 추린 작고 타당한 사례 모음을 고르세요. 기준 결과, 평가 기준, 승인 책임을 기록합니다. 이전 데이터가 없다면 이 단계를 기준 결과를 만드는 과정이라고 명시하세요. 그러면 다음 비교에는 실제로 참조할 지점이 생깁니다. 의사결정을 정리하기 위해 거창한 시험 플랫폼이 마련될 때까지 기다릴 필요는 없습니다.

Audit 서비스 안내에서는 점검 범위를 고르는 방법을 소개합니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear