본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 이미 알고 있던 시험에 합격했다: 평가의 독립성 지키기

알려진 회귀 사례와 새로운 평가 자료를 구분하고 시험 예시의 사용 이력을 기록합니다.

본문 언어: 한국어

어두운 반사가 보이는 유리 구 곁에 앉은 여성.
목차

팀이 지시문을 고치고 시험을 실행하자 결과가 초록색으로 표시됐습니다. 이전 버전에서 어려웠던 예시에도 올바르게 답했습니다. 반가운 일이지만 무엇을 확인했는지는 구분해야 합니다. 알려진 사례를 고친 것일까요, 아니면 새로운 사례에서도 잘 작동하는지 확인한 것일까요? 둘은 다른 성과입니다. 초록색 표시만으로는 구분할 수 없습니다.

시험 자료는 평범한 방식으로 독립성을 잃을 수 있습니다. 누군가 일부를 지시문에 복사하고, 같은 자료로 시연을 준비하거나, 답이 틀릴 때마다 예외를 추가합니다. 시간이 지나면 시험은 팀 전체가 함께 연습한 문제가 됩니다. 침입은 필요 없습니다. '진짜_최종_시험'이라는 파일 하나로도 충분합니다.

알려진 오류는 회귀시험에 남겨도 됩니다

사무용 장비 관련 요청을 정리하는 가상의 보조 도구를 생각해 보겠습니다. 메시지에서 물품, 어려움의 설명, 요청자가 이미 수행한 조치를 추출해야 합니다. 인위적으로 만든 한 사례에서 모델이 원문에 없는 확인 작업을 덧붙입니다. 팀은 지시문을 고치고 문제가 다시 나타나는지 확인하려고 그 사례를 보관합니다. 합리적인 작업입니다.

알려진 예시는 이전에 고친 오류의 재발을 확인하는 회귀시험에 둘 수 있습니다. 개선에 사용되었다는 이유만으로 버릴 필요는 없습니다. 다만 팀이 이미 알고 변경 과정에서 활용했을 수 있는 자료에서의 동작을 보여 준다고 역할을 설명해야 합니다. 새 요청에 대한 성능을 평가하려면 지시문 개선에 사용하지 않은 자료도 준비하세요. 같은 과제와 비슷한 작업 조건을 다루되 구체적인 상황은 새로워야 합니다. 그렇지 않으면 효과적인 규칙과 연습한 예시에 대한 맞춤을 좋은 결과의 같은 원인으로 혼동할 수 있습니다.

Google의 데이터셋 분할 강좌는 훈련, 검증, 시험 집합을 구분하고, 같은 평가 자료를 반복해서 변경의 근거로 삼으면 자료가 소모될 수 있다고 설명합니다. 이는 머신러닝에 관한 자료입니다. 기업의 업무에서도 수정에 쓰는 자료와 최종 수용에 쓰는 자료를 분명히 나누는 것이 유용합니다.

예시를 프롬프트에 추가하면 과제의 맥락이나 답변을 이끄는 지시문이 바뀝니다. 그 자체로 모델 가중치는 바뀌지 않습니다. 예시를 이용한 파인튜닝은 별도의 학습 방식입니다. 모든 수정을 'AI 재학습'이라고 부르기보다 실제로 한 일을 기록하세요. AI 답변 회귀시험 (폴란드어)에서도 각 시험의 역할을 보존합니다. 알려진 오류는 수정 사항을 지키는 데 도움이 되고, 새 자료는 이후 사용에 관한 질문을 할 수 있게 합니다. 둘 다 필요할 수 있지만 결과와 해석은 따로 해야 합니다.

한 예시의 이동 경로 추적하기

오류를 발견한 순간부터 요청이 어디에 나타나는지 살펴봅니다. 메모, 모델 지시문, 지식베이스, 보고서, 도입 승인자를 위한 발표 자료에 들어갈 수 있습니다. 파일 이름만 바꿨다고 새 예시가 되지는 않습니다. 독립성을 확인하려면 솔루션과 이를 개선하는 사람들이 그 사례에서 무엇을 이용할 수 있었는지 알아야 합니다.

작업 사례에서는 첫 메시지로 오류를 발견한 뒤 회귀시험에 추가했다고 표시하세요. 기준 답변이 지시문에도 들어갔다면 그 사실도 기록합니다. 그러면 이 항목의 좋은 결과만으로 전체 절차를 수용할 수 없는 이유를 나중에 설명하기 쉽습니다.

동일한 텍스트만 찾지 마세요. 같은 일이 짧은 메시지, 대화 일부, 요약으로 나타날 수 있습니다. 공통된 세부 사항이 같은 판단으로 이어질 수 있습니다. 이런 세 버전을 서로 다른 집합에 배치하면 실제로는 알려진 사례와 매우 가까운 문제를 시험하면서 독립적인 것처럼 보일 수 있습니다.

2026년 1월 발표된 When Benchmarks Leak은 시험 예시나 그와 가까운 변형이 모델 훈련 데이터에 들어가는 문제를 설명합니다. 이는 기업이 자료를 지시문에 복사하는 경우와 다릅니다. 다만 두 경우 모두 시험 내용이 솔루션 준비에 이미 사용되었을 수 있다면 결과를 조심스럽게 해석해야 합니다.

비슷한 사례들의 묶음을 파악하세요. 하나의 요청이 여러 메시지로 나뉘었다면 공통 출처를 기록합니다. 템플릿이 같은 상황의 여러 버전을 만든다면 그 사실을 보존합니다. 행의 수만으로 도구에 제시한 서로 다른 문제의 수를 알 수는 없습니다. 사람이나 물건의 이름이 다르다는 사실도 새 사례라는 증거로 충분하지 않습니다.

답변에 영향을 주는 세부 조건을 바꿔 유용한 통제 변형을 만들 수 있습니다. 어떤 조건을 바꾸었고 무엇을 확인하려는지 설명하세요. 이를 일상 업무에서 온 완전히 독립적인 사례라고 자동으로 주장하지 마세요. 기반 모델의 준비 데이터에 접근할 수 없다면 그 한계도 밝힙니다. 사내 파일을 잘 정리해도 제공자가 공개 벤치마크를 전혀 접하지 않았다고 증명할 수는 없습니다. 통제할 수 있는 것은 설명한 사내 절차와 새 자료의 선택입니다. 이는 가치 있지만 이전 접촉이 전혀 없었다는 증명보다 범위가 좁습니다.

정보 출처와 정답 기준은 역할이 다릅니다

기업 지침을 근거로 답하는 솔루션에서는 해당 지침에 대한 접근이 과제의 일부일 수 있습니다. 답변 확인에 쓰인다는 이유로 올바른 문서를 제거할 필요는 없습니다. 평가가 무엇을 보여 줘야 하는지 정하세요. 허용된 출처의 활용인지, 그 출처 없이 해결하는 능력인지에 따라 작업 조건과 준비 자료가 달라집니다.

반면 시험 내용과 기대 결과는 분리하세요. 시스템이 질문과 함께 기준 답안을 받으면 시험은 독립적인 근거 결합이 아니라 정답 복사를 확인할 수 있습니다. 모델에 전달한 전체 묶음을 살펴보세요. 필드 이름이나 메모에 우연히 정답 레이블 또는 선택 지시가 들어갈 수도 있습니다.

RAG 절차 (폴란드어)에서는 어떤 출처 집합을 이용할 수 있었고 실제로 무엇을 검색했는지 기록합니다. 검색 단계와 답변 단계를 따로 확인할 수 있습니다. 그러면 누락된 문서를 읽은 자료를 활용하지 못한 문제로 설명하지 않고, 올바른 출처가 존재한다는 사실만으로 시험 누출이라고 부르지도 않게 됩니다.

팀에서 기준 답안 접근과 자료의 상태를 관리합니다. 지시문을 고치는 사람은 어떤 집합을 이용할 수 있고 어떤 집합이 수용 평가를 기다리는지 알아야 합니다. 회의 참석자의 기억에만 의존하지 마세요. 목적과 사용 이력에 관한 짧은 기록이 '비밀'이라고 덧붙인 또 다른 파일보다 유용할 수 있습니다.

Aeneia 콘셉트 사진

새 자료도 실제 업무를 닮아야 합니다

독립성이란 반복을 피하려고 완전히 다른 범주를 고르는 뜻이 아닙니다. 보조 도구가 사무용 장비 요청을 정리해야 한다면 시 분석 시험은 그 과제의 유용성을 잘 보여 주지 못합니다. 목표와 실제 조건은 유지하되 수정에 사용되지 않은 구체적인 상황을 바꾸세요.

정보의 완전성이 다른 자료를 준비합니다. 어떤 요청은 물품을 밝히지 않고, 어떤 요청은 여러 문제를 설명하며, 다른 요청은 이전 추정을 명확히 부정할 수 있습니다. 기준 답안은 팀의 습관이 아니라 원문의 내용에서 나와야 합니다. 그래야 솔루션이 중요한 의미를 보존하는지 평가할 수 있습니다.

모델 결과를 읽기 전에 기준 답안을 정하세요. 모델의 제안을 본 후에 정답을 추가하면 기대를 무의식적으로 맞출 수 있습니다. 출처가 모호하다면 그 모호함을 별도로 해결하거나 추가 평가가 필요한 사례로 표시합니다. 팀이 미리 기록하지도 않은 생각을 맞혔다고 도구에 점수를 주어서는 안 됩니다.

모델의 제안이 나중에 기준 답안으로 들어간다면 시험 파일의 유사성뿐 아니라 AI 자신의 제안에서 생기는 피드백 (폴란드어)도 평가하세요. 자료의 최신성도 유지합니다. 새 지침에 따라 답을 평가하는데 메시지는 이전 지침을 가리킬 수 있습니다. 버전 확인을 위한 의도적인 사례일 수 있지만 우연히 발생했다면 공정한 비교가 어려워집니다. 어떤 정보 상태가 결과를 결정하는지 기록에 남겨야 합니다.

AI 파일럿 (폴란드어)에서는 표본을 고른 방법을 기록하세요. 그렇지 않으면 보고서 수신자는 최종 숫자만 보게 됩니다. 새롭고 일반적인 요청인지, 준비한 예외인지, 수정 후 알려진 사례인지 알아야 합니다. 각 집단은 유용할 수 있지만 서로 다른 질문에 답합니다.

제공업체에 전체 방법을 숨길 필요는 없습니다. 평가 원칙과 기대 행동은 공개할 수 있습니다. 아직 사용하지 않은 구체적인 예시와 답안만 분리하세요. 그렇지 않으면 비밀 시험은 명확하게 합의한 작업을 수행할 수 있는지 확인하는 대신 조직상의 수수께끼가 됩니다.

Aeneia Audit과 예시의 출처와 사용 방식, 도구 평가에 필요한 질문, 시험에서 도출할 수 있는 결론의 한계를 논의할 수 있습니다. 실제 작업 범위와 제공 가능 여부는 합의해야 합니다.

결과를 보고 변경했다면 다시 시험해야 합니다

새 요청에서 오류가 발견되어 팀이 즉시 지시문을 고친다고 가정해 보세요. 적절한 대응일 수 있습니다. 그러나 그 구체적인 사례는 이제 솔루션 개선 작업의 일부가 되었습니다. 이력, 변경 전 결과와 수정 확인 결과를 보관합니다. 새 자료에서의 다음 평가에는 이전에 사용하지 않은 또 다른 사례가 필요합니다.

따로 보관한 집합도 이후 버전의 작업에 사용될 수 있습니다. 지식은 사람 사이에 전달되고 대화에 따라 요구사항도 바뀝니다. 명시적인 상태와 갱신 계획이 더 유용합니다. 그러면 어떤 자료가 여전히 수용 시험이고 어떤 자료가 개선에 쓰이는지 수신자가 알 수 있습니다.

기준 답안을 바꿀 때는 이유를 기록하세요. 레이블의 명백한 실수를 바로잡는 것과 좋은 답변을 본 뒤 요구사항을 확장하는 것은 다릅니다. 후자의 경우 이전 결과가 비교 가능하지 않을 수 있습니다. 변경 이력이 있으면 시도할 때마다 목표를 옮기는 대신 원래 질문으로 돌아갈 수 있습니다.

반복 실행과 데이터의 새로움은 별도로 다룹니다. 답변의 반복 가능성 (폴란드어)은 정해진 과제에서의 변동을 확인합니다. 동작이 매우 안정적이어도 자료가 독립적으로 유지되었다고 증명하지는 못합니다. 반대로 새 사례가 있다고 해서 사용상 중요할 때 솔루션의 변동을 관찰하지 않아도 되는 것은 아닙니다.

모델이 때로는 답변을 거부해야 한다면 기준에도 이를 포함합니다. 근거가 없을 때의 올바른 거절 (폴란드어)은 불완전한 입력과 실행 오류를 구분해야 합니다. 언제나 완전한 답을 요구하면 빈 내용을 지어낸 결과에 점수를 줄 수 있습니다. 기준이 잘못된 독립 시험은 여전히 잘못된 시험입니다.

보고서는 확신의 근거를 보여 줘야 합니다

결과를 솔루션 버전, 집합의 역할, 사용 날짜와 연결합니다. 수신자는 처음 확인한 것과 수정 후 다시 시험한 것을 구분할 수 있어야 합니다. 모든 작업 메모가 첫 페이지에 필요하지는 않지만, 결정 근거를 확인하고 싶을 때 자료에 도달할 경로는 필요합니다.

도구의 두 버전을 서로 다른 시험으로 비교했다면 점수 차이를 순수한 품질 변화로 제시하지 마세요. 새 자료가 더 어려웠거나 다른 상황을 다뤘을 수 있습니다. 두 결과와 각각의 범위를 설명할 수 있습니다. 직접 비교하려면 그 차이가 미치는 영향을 이해할 수 있는 조건이 필요합니다.

결론을 실험 가설 카드 (폴란드어)와 연결하세요. 새로운 요청을 처리하는지가 질문이었다면 새 사례에 관한 근거를 보여 줍니다. 알려진 몇몇 답을 성공적으로 고친 것은 유용한 결과지만 이 질문을 자동으로 끝내지는 못합니다.

Aeneia Audit과 대화할 때 한 예시의 이력을 준비해 보세요. 어디서 왔고, 누가 보았으며, 이를 근거로 무엇을 바꾸었고, 언제 결과를 올바르다고 판단했는지입니다. 이 흔적은 시험이 여전히 솔루션을 확인하는지, 팀이 어느새 자기 시험의 숙지 정도를 확인하고 있는지 알아보는 데 도움이 됩니다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear