본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 "테스트를 통과했습니다"라고 말할 때, 오류를 찾을 수 있는 테스트였을까?

AI의 테스트 보고에서 명령과 어서션, 결과를 확인하고 격리된 복사본의 통제된 결함으로 시험을 살펴봅니다.

본문 언어: 한국어

짙은 리본과 금빛 봉인으로 묶인 종이 더미가 펜 옆에 놓여 있다.
목차

"테스트 12개, 모두 통과." 한 시간 동안 수정 방법을 논의한 뒤라면 코딩 보조 도구의 보고가 안심을 줄 수 있다. 작업을 닫기 전에 한 가지를 더 물어보자. 수정이 잘못됐다면 이 가운데 어떤 테스트가 실패했을까?

테스트 사례의 이름과 확인한 응답, 실행 결과를 보면 특정 동작에 대한 증거인지, 단지 명령을 실행했다는 정보인지 구분할 수 있다. AI와 일하다 보면 이 둘이 짧은 "완료" 한마디로 합쳐지기 쉽다. 나중에 보면 그 말이 뜻하는 범위는 아주 넓을 수 있다.

보고는 실제로 실행한 것부터 시작한다

정확한 명령과 실행 위치, 도구가 반환한 결과를 요청하자. 스크립트 이름만으로는 부족하다. 어떤 프로젝트에서 test 명령은 필요한 테스트 묶음을 실행하지만, 다른 프로젝트에서는 서식만 확인하거나 도움말을 출력할 수 있다. 작업을 인수하는 사람은 이름을 지은 사람의 의도를 추측하지 않고도 범위를 확인할 수 있어야 한다.

수집, 실행, 건너뛰기, 실패한 테스트 수를 확인하자. 프로세스가 끝났다는 사실만으로는 수정과 관련된 사례가 포함됐는지 알 수 없다. 보고에 12개가 있다면 새 동작을 확인한 사례가 무엇인지 짚을 수 있어야 한다. 완전히 다른 디렉터리를 실행해도 전체 숫자는 같을 수 있다.

pytest 종료 코드 문서는 테스트를 수집하고 모두 성공한 경우를 코드 0, 수집된 테스트가 없는 경우를 코드 5로 구분한다. 이는 해당 도구의 구분이다. pytest를 감싼 스크립트가 초록색 결과를 보여줬다고 해서 pytest 자체가 무엇을 반환하고 어떤 테스트를 찾았는지 확인할 필요가 없어지는 것은 아니다.

실제 실행과 실행 계획도 구분하자. 보조 도구는 실행하지 않은 올바른 명령을 적거나, 아직 추가하자고 제안만 한 파일의 테스트를 설명할 수 있다. 둘 다 유용할 수 있지만 어느 쪽도 결과를 확인해 주지는 않는다. 환경 때문에 실행이 막혔다면 최종 답변에도 그 한계를 남겨야 한다.

로그가 길다면 최종 결과와 범위를 읽는 데 필요한 전체 기록을 보존하자. 잘린 도구 출력에는 처음의 성공 사례만 있고 나중의 실패는 빠져 있을 수 있다. 보조 도구는 성공이라고 요약하기 전에 프로세스의 끝을 읽어야 한다. 명령이 아직 실행 중이라는 사실도 성공 결과가 아니다. 결론을 기다리는 상태다.

어느 버전에서 작업했는지도 확인하자. 마지막 변경 전에 실행한 테스트가 변경된 파일을 자동으로 승인하지는 않는다. 저장된 코드 버전, 테스트 버전, 실행 로그를 하나의 식별 가능한 묶음으로 연결해야 한다. 로컬 변경이 있다면 평가한 파일의 정확한 사본을 보존할 수 있다. 이전에 저장한 버전의 표시는 현재 로컬 변경까지 포함하지 않을 수 있다.

테스트가 다른 프로그램이나 서비스를 실행한다면 무엇을 결과로 볼지도 확인하자. "요청을 보냈다"는 메시지는 작업의 시작일 수 있다. 자체 테스트 환경을 평가할 때도 실행과 실제로 관찰한 효과를 연결해야 한다. AI 자동화 테스트 환경 (폴란드어)에 관한 글은 그런 시험을 준비하는 조건을 다룬다. 코드 테스트 역시 행동을 실행하는 것과 그 결과를 확인하는 것은 별개다.

어서션은 올바른 결과를 알아봐야 한다

어서션은 관찰한 결과가 기대와 일치하는지 확인하는 검사다. 가상의 신청 시스템에서 공방은 참가자를 여섯 명까지 받는다. 보조 도구의 과제는 여섯 명의 신청은 허용하고 일곱 명은 거절하는 것이다. 테스트는 공방에서 합의한 규칙에 따라 두 상황을 구별해야 한다.

응답을 확인하지 않고 함수를 호출하면 실행 중단은 발견할 수 있어도 잘못된 판단까지 발견하는 것은 아니다. 프로그램이 인원과 관계없이 언제나 허용을 반환할 수도 있다. 실행 오류가 없다는 것만 기대한 테스트라면 그래도 무사히 끝난다. 성공이 무엇인지 적어 두자. 함수를 호출하는 것만이 아니라 여섯 명은 받아들이고 일곱 명은 거절해야 한다.

기대 결과를 검사 대상 프로그램의 같은 부분이 정해서는 안 된다. 테스트가 구현에 정답을 물은 뒤 그 답을 같은 답과 비교한다면 구현이 자기 자신과 일치한다는 사실만 확인할 수 있다. "여섯 명 허용, 일곱 명 거절"이라는 규칙은 요구사항에서 나와야 하며 테스트 사례에 드러나야 한다.

보조 도구가 테스트도 수정했다면 기대값의 차이를 살펴보자. "일곱 명 거절"을 "일곱 명 허용"으로 바꾸면 잘못된 코드도 모든 테스트를 통과할 수 있다. 요구사항이 바뀌어서 정당한 수정일 수도 있다. 그때는 그 결정을 명시하고 별도로 승인해야 한다. 프로그램과 기준을 동시에 바꾼 뒤 초록색 결과가 나왔다고 해서 무엇이 고쳐졌는지 저절로 알 수는 없다.

보고된 결함을 고칠 때는 해당 증상을 재현하는 사례를 요청하자. 수정 전 버전에서 실행할 수 있다면 그 버전에서는 요구사항과의 불일치를 보여주고, 수정 후에는 통과해야 한다. 모든 외형 수정에 거대한 테스트 이력을 만들어야 한다는 뜻은 아니다. 다만 추가한 테스트가 정말 해결하려던 문제를 다루는지 확인하는 데 도움이 된다.

데이터가 올바른 버전과 잘못된 버전을 구별할 수 있는지도 살펴보자. 두 명으로 시험하면 "최대 여섯 명"이 "여섯 명 미만"으로 바뀐 것을 발견하지 못한다. 두 버전 모두 두 명을 허용하기 때문이다. 경계인 여섯 명으로 시험하면 무작위 숫자 100개를 실행하지 않고도 그 차이를 확인할 수 있다.

물론 모든 요구사항이 숫자 규칙은 아니다. 거절 후 메시지를 고쳤다면 이유를 보여 주고 입력한 데이터를 유지하는지 확인하는 테스트가 적절할 수 있다. 저장을 고쳤다면 나중에 실제로 데이터를 다시 읽을 수 있는지 확인해야 할 수도 있다. 어디서나 같은 형태의 테스트를 요구하기보다 인수할 동작에 맞는 증거를 고르자.

외부 서비스가 관련된 테스트는 모의 객체처럼 실제 연결을 통제된 대체물로 바꾸어 실행할 수 있다. 프로그램의 특정 반응을 확인할 수 있지만 실제 서비스가 작동한다는 증거는 아니다. 대체물이 언제나 성공만 반환하면 응답이 없거나 거절되는 경우는 그 시험 범위에서 빠진다. 보고에는 어느 부분을 대체해 확인했는지 밝혀야 한다.

테스트 자체의 오류 처리도 살펴보자. 모든 오류를 잡은 뒤 아무 확인 없이 끝난다면 대상 함수가 응답을 전혀 반환하지 않았어도 성공을 보고할 수 있다. 예상된 신청 거절과 연결 실패, 테스트 준비 오류를 구분하자. 셋 다 정상 실행을 중단할 수 있지만 증명하는 것은 서로 다르다.

기대값이 너무 포괄적이어서 질문을 비껴가지 않는지도 평가하자. "응답이 있다"는 조건은 일곱 명에 대한 거절이 들어 있는지 알려주지 않는다. "목록이 반환됐다"는 조건도 올바른 참가자가 들어 있는지 확인하지 않는다. 보조 도구가 문법상 올바른 어서션을 만들었더라도 선언한 목적에 비해 너무 약한 속성만 검사할 수 있다.

Aeneia 콘셉트 사진

통제된 결함으로 테스트의 감지 능력을 살펴본다

Stryker의 변이 테스트 설명은 의도적으로 코드를 바꾸고 테스트를 다시 실행하는 원리를 소개한다. 예상한 테스트 실패는 해당 변경을 감지했다는 것을 보여 준다. 전체 변이 테스트 도구를 실행하지 않더라도 이런 생각 방식으로 특정 시험의 강도를 살필 수 있다.

코드 커버리지, 즉 테스트 중 어떤 부분이 실행됐는지에 관한 정보만으로는 그 결과가 올바른지 알 수 없다. Stryker 작성자들도 이 차이를 설명한다. 이 수정의 인수 과정에서는 확인하려는 규칙과 그 규칙을 깨뜨렸을 때 달라져야 할 결과를 짚어 보자.

공방 예제의 복사본에서 조건을 일부러 바꿔 여섯 명도 거절하게 만들 수 있다. 앞에서 고른 경계 테스트는 이제 이 동작에 대한 실패를 보고해야 한다. 여전히 통과한다면 올바른 테스트가 실행됐는지, 변경한 함수를 실제로 사용했는지 확인하자.

한 번에 한 요소만 바꾸고 기대하는 신호를 설명하자. 파일 전체를 망가뜨려 불러올 수 없게 만들면 주로 로딩 오류를 감지하는지 알게 된다. 이는 인원수에 관한 잘못된 판단을 알아보는 것과 다른 증거다. 결함은 결과가 검사 대상 규칙에 관한 질문에 답할 만큼 구체적이어야 한다.

이 시험은 격리된 복사본에서 수행하고 올바른 버전을 복원하자. 테스트를 평가하기 위해 사용 중인 시스템에 오류를 넣을 필요는 없다. AI 에이전트 샌드박스 (폴란드어)는 동작 범위가 제한된 환경이며 파일과 연결에 대한 접근도 확인해야 한다. 디렉터리 이름을 "test"라고 붙였다고 그런 경계가 저절로 생기지는 않는다.

코드를 복원한 뒤 같은 사례를 한 번 더 실행하자. 그러면 올바른 버전 통과, 통제된 오류 버전 실패, 복원된 버전 재통과라는 분명한 순서가 생긴다. 결과와 파일 차이를 함께 기록하자. 실제로는 방법만 설명했다면 이 순서를 실행했다고 보고해서는 안 된다.

의도적인 결함의 범위는 변경의 중요도에 맞추자. 인원 경계, 누락된 데이터, 거절을 성공으로 잘못 판단하는 경우처럼 중요한 규칙을 고른다. 목표는 인수 단계의 구체적인 질문에 답하는 것이지 추가 실행 횟수로 인상을 주는 것이 아니다.

Aeneia Audit

코딩 보조 도구의 작업을 확인할 증거를 함께 정해 봅시다. 보고 방식과 검증 사례, 확인 범위의 한계를 평가해 팀이 "테스트 통과"라는 말에서 무엇을 알 수 있는지 이해하도록 돕습니다. AI 보조 도구 작업의 인수 증거 정리하기

테스트가 바뀐 코드를 거치지 않고도 통과할 수 있다

의도적으로 넣은 결함이 결과를 바꾸지 않는다면 기대 답변부터 바꾸지 말자. 먼저 실행 경로를 확인하자. 테스트가 다른 파일 사본이나 이전에 만들어 둔 패키지, 함수를 대신하는 모의 객체를 불러왔을 수 있다. 이 경우 같은 테스트에 데이터를 더해도 애초에 도달하지 않는 코드를 검사할 수 없다.

어떤 파일과 함수를 사용했는지 밝혀 달라고 하자. 비슷한 디렉터리가 여러 개라면 함수 이름만으로는 부족할 수 있다. 테스트 전에 애플리케이션을 준비해야 한다면 수정 후 그 작업을 했는지 확인하자. 보고서에서 두 이름이 나란히 있다는 사실이 아니라 현재 파일과 실행된 버전이 증거로 연결되어야 한다.

제외된 범위도 중요하다. 보조 도구가 일부 파일에 접근하지 못했다면 검사는 보이는 부분만 다룰 수 있다. 제한이 실제로 효과적이었는지와 그 상황에서 테스트할 수 있었던 범위를 따로 평가하자. 이 문제는 제외된 파일과 코딩 보조 도구의 실제 접근 (폴란드어)에서 자세히 다룬다.

결과가 불안정하다면 이전 실패도 보존하자. 같은 사례가 때로는 통과하고 때로는 실패한다면 한 번의 성공으로 원인이 설명되지는 않는다. 현재 시각, 실행 순서, 앞선 테스트가 남긴 데이터에 의존하는지 살펴보자. 확인된 원인을 제거한 뒤에는 확인 시험을 합의하자. 초록색이 나올 때까지 반복하는 것만으로 불확실성이 없어지지는 않는다.

건너뛴 테스트를 실행해 통과한 항목으로 세지 말자. 필요한 서비스에 접근할 수 없는 경우처럼 건너뛴 이유가 정당할 수 있다. 그래도 해당 환경에서는 질문이 확인되지 않은 채 남는다. 최종 평가에는 빠진 증거와 그것을 얻을 방법을 적고, 모든 것을 하나의 초록색 숫자로 묶지 말자.

라이브러리가 없어 실행이 멈췄다면 먼저 의존성의 출처를 확인하자. AI가 제안한 패키지 확인 (폴란드어)은 어서션의 강도와는 다른 문제다. 빨간 메시지만 없애려고 아무 패키지나 추가해도 어느 쪽 질문에도 답할 수 없다.

최종 보고는 특정 변경의 인수를 도와야 한다

"모든 것이 작동한다" 대신 어떤 동작을 어느 버전에서 어떤 결과로 확인했는지 기록하자. 이 예제에서는 여섯 명 수락, 일곱 명 거절, 올바른 조건을 복원한 뒤 시험 통과를 보고할 수 있다. 통제된 결함을 실제로 넣지 않았다면 실제로 수행한 확인만 설명하자.

코드와 AI 에이전트 작업의 인수 (폴란드어)는 이런 증거를 이후 사용에 대한 책임과 연결해야 한다. 변경을 인수하는 사람은 모의 객체, 접근할 수 없는 서비스, 건너뛴 사례와 검토 범위 등 남은 한계를 알아야 한다. 현재 결과를 설명하는 데 필요하지 않다면 실패한 명령의 모든 이력까지 받을 필요는 없다.

Aeneia Audit에서는 AI 사용 방식과 인수 기준, 보고된 증거의 품질을 평가할 수 있다. 코드 자체에 대한 전문 검토에는 적절한 역량과 합의된 범위가 필요하다. 여기서 인수의 핵심은 보조 도구의 주장을 실제 실행한 구체적 시험과 그 의미에 연결할 수 있는지다.

이런 보고 뒤라면 "테스트 12개"는 여전히 유용한 요약이 될 수 있다. 다만 그 뒤에는 잘못된 변경에 이의를 제기할 수 있는 사례가 있어야 한다. 초록색은 "완료" 옆에서 보기 좋아서가 아니라 무언가를 확인했기 때문에 안심을 줘야 한다.

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear