본문으로 건너뛰기
인터페이스 언어: 한국어
감사 / Signal

AI가 요약한 A/B 테스트: 클릭이 늘었다는 사실만으로는 답이 되지 않습니다

AI가 작성한 A/B 보고서에서 사람과 방문, 퍼센트와 퍼센트포인트, 표본 배분과 결론의 한계를 확인하는 방법을 살펴봅니다.

본문 언어: 한국어

남색과 붉은색 방에서 여성이 탁자 위 유리 구체 옆에 앉아 있습니다.
목차

A안에서는 양식 50건, B안에서는 60건이 제출됐습니다. AI는 이렇게 썼습니다. "B의 효과가 20% 높아졌으므로 도입을 권장합니다." 발표 자료 제목에 들어갈 만한, 결정이 끝난 듯한 문장입니다. 빠진 정보가 하나 있습니다. A의 방문은 1,000회, B의 방문은 1,500회였습니다. 분모는 시상대에 오르지 못했습니다.

이 수치는 직접 만든 가상의 예입니다. 각 양식이 서로 다른 방문에서 제출됐다고 가정해 봅시다. A에서는 방문의 5%, B에서는 4%가 제출로 이어졌습니다. B의 제출 건수는 20% 많지만 방문당 비율은 1퍼센트포인트 낮습니다. 산술만 확인해도 제목의 내용이 달라집니다. 그래도 이 실험에서 방문이 올바른 분석 단위인지는 아직 모릅니다.

AI가 작성한 A/B 보고서를 검토할 때는 무엇을 바꾸고 누구에게 안을 배정했으며 무엇을 세고 언제 실험을 끝냈는지부터 되짚습니다. 보고서가 데이터와 일치하는지 확인하는 일과 실험을 통계적으로 판정하는 일은 구분해야 합니다. 통계 분석에는 적절한 설계와 전문성이 필요합니다. 아래 숫자는 실제 양식의 효과를 입증하지 않습니다.

테스트 전에 세운 질문을 찾으세요

한 회사가 "프로젝트 설명" 입력란을 두 방식으로 제시한다고 가정해 봅시다. A에서는 빈 입력란이, B에서는 짧은 안내 질문이 보입니다. 목표는 상담 준비에 필요한 정보를 담은 문의를 받는 것입니다. 제출 버튼 클릭 수만으로는 이 목표를 달성했는지 알 수 없습니다.

실험 전에 기록한 가설과 결과의 정의를 요청하세요. 팀이 유용한 문의 건수를 지표로 정했다면, 그래프가 오른다는 이유만으로 모델이 이를 양식 열람 수로 바꾸어서는 안 됩니다. 비즈니스 실험 가설 카드 (폴란드어)에서 데이터를 모으기 전에 질문과 평가 조건을 정하는 이유도 여기에 있습니다.

보고서가 계획한 화면 버전을 다루는지 확인하세요. 실험 중 필수 입력란이나 제출 동작을 바꿨다면 자료에는 비교가 둘 이상 들어 있습니다. 기간과 버전을 기록하세요. 설명 없이 모두 "B안"으로 합치면 첫 버전과 수정 버전의 차이가 가려질 수 있습니다.

무엇을 성공 이벤트로 삼았는지도 명시하세요. 버튼 클릭, 서버의 정상 접수, 유용한 문의로 판정하는 일은 이어지는 세 사건입니다. 각각의 집계 수는 다를 수 있습니다. 보고서를 읽는 사람은 "전환"이 어느 사건을 뜻하는지 알아야 합니다.

이벤트가 기록되는 시점도 확인하세요. 가상의 양식에서는 버튼을 눌렀을 때 유효성 검사 오류가 나서 다시 누를 수 있습니다. 클릭 두 번이 접수 두 건을 뜻하지는 않습니다. 반대로 접수에 성공해도 화면에 확인이 표시되지 않을 수 있습니다. 이런 사례 몇 개를 골라 기록과 실제 결과를 비교하세요. 대시보드의 이벤트 이름만으로는 올바른 시점에 기록된다는 사실을 증명할 수 없습니다.

문의의 품질을 판정하는 규칙도 합의하세요. 가상의 예에서는 프로젝트 유형과 대략적인 범위를 담은 문의를 유용하다고 정해 봅시다. 평가자는 두 안에 같은 조건을 적용해야 합니다. B에서 길지만 도움이 되지 않는 설명이 더 자주 나온다는 사실을 본 뒤에 정의를 바꾸지 마세요.

실험 종료 규칙과 실제 종료 시점도 찾으세요. 정해진 날짜까지, 합의한 데이터 범위에 도달할 때까지, 또는 선택한 방법의 조건을 충족할 때까지 진행하기로 했나요? 처음으로 유리한 결과가 나온 오전에 중단했다면 보고서에 그 변경을 밝혀야 합니다. 이전 계획을 그대로 실행한 것처럼 설명하지 마세요.

계획에는 나빠지지 않기를 바라는 결과도 있을 수 있습니다. 제출 오류 수, 문의 처리 시간, 추가 질문이 필요한 사례의 비율 등입니다. 합의한 정의에 따라 확인하세요. 양식이 더 많아져도 각 문의를 나중에 수작업으로 하나씩 따져 명확히 해야 한다면 업무가 더 잘 수행된다고 볼 수만은 없습니다.

분모에는 무엇이 들어가나요?

NIST 안내서는 두 비율을 비교할 때 사건 수와 각 표본의 크기를 함께 설명합니다. 이 기본 관계는 비율 비교 장(영어)에 나옵니다. 따라서 어떤 퍼센트를 검토하든 분자와 분모, 단위부터 찾으세요. 양식 건수만으로는 비율이 정해지지 않습니다.

이 예에서 50을 1,000으로 나누면 5%, 60을 1,500으로 나누면 4%입니다. 방문당 사건을 비교한 것입니다. 차이는 마이너스 1퍼센트포인트이고, 5%를 기준으로 하면 20% 감소입니다. 이를 "1% 감소"라고 표기하면 다른 변화를 뜻하게 됩니다.

이제 각 안을 방문한 서로 다른 사람이 각각 800명이지만 B에서는 재방문이 더 잦았다는 정보를 추가해 봅시다. 양식 50건과 60건을 각각 서로 다른 50명과 60명이 제출했다면 사람 기준 비율은 각각 6.25%와 7.5%입니다. 방문당 비율은 B가 낮았지만 사람당 비율은 B가 높습니다. 수학적으로 모순이 아닙니다. 단위와 질문이 바뀐 것입니다.

어떤 비교가 적절한지는 계획에 따라 정해야 합니다. 사람에게 안을 배정했다면 재방문을 어떻게 식별했고 같은 안이 유지됐는지 확인하세요. 한 사람이 A와 B를 모두 볼 수 있었다면 각 그룹의 고유 식별자만 세어서는 문제가 해결되지 않습니다. 보고서는 이 상황과 분석에 미치는 의미를 설명해야 합니다.

이벤트 수와 이벤트를 일으킨 사람 수를 구분하세요. 한 고객이 상담 후 내용을 고쳐 양식을 두 번 제출했을 수 있습니다. 데이터베이스의 두 기록이 과정의 올바른 기록일 수는 있지만 서로 다른 고객 두 명을 뜻하지는 않습니다. 중복 제거의 정의와 재제출 사례를 요청하세요.

누가 분모에 들어가는지도 기록하세요. "배정된 모든 사람", "양식을 본 사람", "작성하기 시작한 사람"은 서로 다른 집합입니다. 안에 따라 한 단계에서 다음 단계로 넘어가는 비율도 달라질 수 있습니다. 보고서에서 세 계산을 모두 같은 효과 비율이라고 불러서는 안 됩니다. 각 집합의 이름과 포함 조건을 함께 보여 주면 배정에서 결과까지의 경로를 추적할 수 있습니다.

Aeneia 콘셉트 사진

작업 후 설문에도 같은 원칙이 적용됩니다. 참가자 중 일부만 답하고, 편의성 평가를 과제의 성공적 완료와 혼동할 수 있습니다. 작업 후 어려움과 만족도 설문 (폴란드어)은 이 지표를 구분하는 데 도움이 됩니다. 만족도 점수가 더 좁은 응답자 집합에서 나왔다면 모든 방문자의 평가로 표현하지 마세요.

분자의 기간과 분모의 기간도 확인하세요. 실험 종료 전에 열린 양식이 종료 후에 제출될 수 있습니다. 나중에 제출된 건도 미리 정한 귀속 규칙에 맞고 두 안에 같은 기준으로 설정한 관찰 기간에 들어간다면, 사전에 정의한 방문 집합이나 사람 집단의 결과로 포함할 수 있습니다. 늦게 발생한 결과를 어떻게 배정할지 정하고 같은 규칙을 적용하세요. 각 안에 유리한 날짜를 따로 선택해서는 안 됩니다.

보고서를 재현할 수 있도록 데이터 집합의 버전과 준비 방법을 보존하세요. 모델은 재방문, 오류, 제외에 관한 정보 없이 이미 집계된 숫자만 받을 수 있습니다. 데이터로 계획한 지표를 계산할 수 없다면 올바른 답은 계산 근거가 부족하다는 것입니다. 매끄러운 추세 설명이 빠진 기록을 채워 주지는 않습니다.

데이터를 모델에 전달할 때 열 정의서도 함께 보존하세요. 내보낸 파일의 "users"가 전체 실험의 사람이 아니라 특정 날짜의 활성 식별자를 뜻할 수 있습니다. 일별 값을 더한다고 날짜 사이의 재방문이 반드시 제거되지는 않습니다. 측정 문서에서 의미를 확인할 수 없다면 데이터 담당자에게 물어보세요. 모델이 파일의 열 이름만 보고 정의를 고르게 두지 마세요.

고르지 않은 배분은 확인할 질문입니다

모든 실험에서 두 안의 사람 수가 같아야 하는 것은 아닙니다. 계획에서 다른 배분을 정했을 수 있습니다. 올바른 단위와 선택한 방법으로 예상 배분과 관측 배분을 비교해야 합니다. 앞의 방문 1,000회와 1,500회만으로 사람의 배정이 불균등했다고 자동으로 판단해서는 안 됩니다.

Microsoft Research 자료는 예상 표본 배분과 관측 배분의 차이인 Sample Ratio Mismatch를 데이터 품질 문제의 가능한 신호로 설명합니다. 저자들은 원인을 밝혀야 한다고 강조합니다. 이는 SRM 진단 자료(영어)의 제한된 내용이지, 이 가상 사례에 대한 진단이 아닙니다.

검토할 때 배정된 단위를 어디에서 셌는지 물어보세요. 양식이 표시되기 전인가요, 아니면 로딩에 성공한 뒤인가요? B가 가끔 열리지 않았다면 성공적으로 로딩된 경우만 담은 집합에서는 동작 평가에 꼭 필요한 사례가 빠질 수 있습니다. 규칙과 비교에 미치는 영향을 설명하지 않은 채 문제가 있는 기록을 지우지 마세요.

기기, 유입 경로, 날짜별 필터링도 같은 방식으로 다루세요. 모델은 데이터 일부에서 유리한 결과를 보여 줄 수 있습니다. 이는 계획된 전체 테스트의 결과와는 다른 결론입니다. 특정 그룹을 더 분석할 이유가 있다면 별도 질문으로 표시하고 분할 근거를 확인하세요. 이를 원래 가설에 사후적으로 끼워 넣지 마세요.

검토 과정에는 제외 내역이 남아야 합니다. "데이터를 정제했다"는 말 대신 어떤 기록을 왜 제외했는지 적으세요. 분석 책임자가 그 규칙이 실험 설계에 맞는지 판단할 수 있습니다. AI가 설명 작성을 도울 수는 있지만 정보의 출처는 실제 처리 과정이어야 합니다.

올바른 퍼센트에서 결과에 대한 문장까지

차이를 정확히 계산했더라도 어느 안이 "확실히 이겼다"는 뜻은 아닙니다. 보고서는 합의한 분석 방법을 밝히고 적절한 형태로 불확실성을 보여 주어야 합니다. 모델이 두 합계만 받고 확실한 결론을 덧붙였다면 근거를 요청하세요. 단정적인 어조는 명시된 방법과 분석 결과를 대신하지 못합니다.

작업용 보고서에는 세 문장을 구분해 남길 수 있습니다. 데이터에서 무엇을 관찰했는지, 선택한 분석에서 무엇이 나오는지, 팀이 어떤 결정을 제안하는지입니다. 그러면 분모를 바로잡기 위해 전체 이력을 숨길 필요가 없습니다. 계산과 해당 결론이 바뀌며, 제안은 목표에 비추어 다시 살펴야 합니다. 버전을 기록하면 수정된 자료를 바탕으로 결정했는지, 첫 번째 인상적인 슬라이드를 바탕으로 결정했는지 나중에 확인할 수 있습니다.

관찰과 원인에 대한 설명도 구분하세요. "B에서 양식을 제출한 사람은 7.5%였다"는 가상 데이터의 숫자를 설명합니다. "안내 질문이 신뢰를 높였다"는 작동 원인에 대한 해석입니다. 실험이 결과 변화에 관한 특정 결론을 뒷받침하더라도 사용자가 무슨 생각을 했는지 자동으로 설명해 주지는 않습니다.

화면을 이해했는지 확인하려면 별도 조사를 선택할 수 있습니다. 5초 테스트 (폴란드어)는 무작위로 행동을 비교하는 실험과 다른 질문에 답합니다. 하나의 결과가 다른 하나를 대신해서는 안 됩니다. 보고서가 방법을 섞었다면 어떤 자료가 각 문장을 뒷받침하는지 알 수 있도록 결론을 다시 쓰세요.

차이를 보여 주는 방식도 살펴보세요. AI의 그래프 해석 (폴란드어)에서는 축, 기간, 빠진 지점이 중요합니다. 축을 잘라 놓은 그래프는 작은 차이를 시각적으로 과장할 수 있고, 누적 합계 그래프는 일별 흐름의 변화를 숨길 수 있습니다. 본문의 퍼센트가 정확해도 옆의 오해를 부르는 그래프까지 바로잡히지는 않습니다.

보고서가 제안하는 결정도 확인하세요. B를 도입하는 것, 실험을 더 진행하는 것, 측정을 고치는 것은 서로 다른 결정입니다. 사람의 정의가 없거나 데이터 기간이 일치하지 않는다면 자료를 보완하는 것이 합리적인 검토 결과일 수 있습니다. 마지막 슬라이드에 트로피를 놓을 자리가 있다는 이유로 승자를 발표할 필요는 없습니다.

팀이 문의 건수만 최적화하기 시작한다면 문의의 품질과 처리 비용을 놓치고 있지 않은지 확인하세요. 업무 지표와 원치 않는 행동 (폴란드어)은 지표를 업무의 목표와 연결해야 하는 이유를 보여 줍니다. 실험은 양식에 관한 결정을 도와야지, 아무 기록이나 더 쉽게 모으는 수단이 되어서는 안 됩니다.

보고서의 AI 사용과 근거에 대한 검토는 Aeneia Audit과 협의할 수 있습니다. 상담을 위해 실험 계획, 지표 정의와 보고서에 사용한 데이터 집합을 준비하세요. 이 예에서는 분모를 되찾아 먼저 계산을 바로잡고, 다음으로 올바른 질문을 할 수 있었습니다. 방문의 효과를 평가하고 있나요, 아니면 한 사람이 문의를 제출하기까지의 경로를 평가하고 있나요?

Aeneia / Aeneia 편집부

편집부의 글입니다. 본문에 출처 링크가 있습니다.

Aeneia 소개

함께한 브랜드

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 주폴란드 중국대사관
  • Mixa
Aeneia / Initium

지식에서 결정으로

정리하고 싶은 과제를 알려 주세요. 어디서 시작할지 함께 정합니다.

Aeneia에 문의하기

파트너의 솔루션을 활용합니다

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear