AI가 만드는 교육 질문: 정답이 맞아도 다른 능력을 시험할 수 있습니다
학습 목표와 승인된 지침을 기준으로 AI가 만든 교육 질문과 정답 근거를 검토합니다.
본문 언어: 한국어

목차
가상의 생성 퀴즈 예시에서 정답은 “현재 카탈로그를 선택한다”입니다. 문제는 질문이 “현재 카탈로그를 보내기 전에 무엇을 선택해야 하나요?”였다는 점입니다. 참가자는 버전을 알아보거나 날짜를 확인하거나 자료실을 열 필요가 없었습니다. ‘현재’라는 단어의 반복만 찾으면 됐습니다. 질문 생성기에는 과제가 주어졌고 학습자에게는 반복 찾기 대회가 주어졌습니다.
가상의 회사 Karda에서 팀은 새로운 자료실 사용법을 배웁니다. AI가 짧은 연습 문제를 만드는 일을 돕습니다. 확인하려는 것은 직원이 수신자의 언어와 캠페인 날짜에 맞는 카탈로그를 선택할 수 있는지입니다. 이는 도구 사용을 배우는 일반적인 연습이며 직업 자격시험이나 채용 결정이 아닙니다. 질문은 목표, 근거, 답변 이유를 갖춘 교육 자료로 검토합니다.
정답은 질문을 쓰기 전부터 시작됩니다
먼저 참가자가 배워야 할 행동을 설명하세요. ‘카탈로그를 안다’는 너무 넓습니다. ‘캠페인 정보를 바탕으로 합의된 언어와 시작일에 유효한 자료 버전을 선택한다’면 구체적인 사례를 만들 수 있습니다. 연습 중 무엇을 사용할 수 있는지도 적으세요. 실제 업무에서 자료실과 지침을 열어 둔다면 이름을 외워서 재현하는 능력까지 시험할 필요는 없습니다.
Karda의 연습에서는 정보를 읽는 것과 규칙을 적용하는 것을 구분하세요. ‘날짜 필드의 이름은 무엇인가요?’는 날짜가 다른 카탈로그 중에서 선택하는 것과 다른 행동을 확인합니다. 둘 다 의미 있을 수 있지만 첫 결과를 두 번째 능력의 증거로 제시해서는 안 됩니다. AI 검증에 관한 팀 교육 (폴란드어)에서도 역할에 맞춘 연습을 다룹니다.
승인된 지침의 일부를 준비하고 버전을 명시하세요. 이 예시의 규칙은 수신자와 합의한 언어와 캠페인 시작일에 유효한 판을 선택하는 것입니다. 파일 업로드 날짜는 유효 시작일이 아닙니다. 이는 가상의 과정에 적용한 저자의 가정입니다. 실제 회사에서는 퀴즈를 쉽게 만들기 위해 그런 규칙을 지어내서는 안 됩니다.
이제 사례를 만듭니다. 캠페인은 6월 15일에 시작하고 수신자는 폴란드어를 확인했습니다. 자료실에는 같은 해의 카탈로그 세 개가 있습니다. 5월 1일부터 유효한 폴란드어판, 7월 1일부터 유효한 폴란드어판, 5월 1일부터 유효한 영어판입니다. 이 가상 사례에서 폴란드어 5월판은 6월 1일, 폴란드어 7월판은 6월 10일, 영어 5월판은 5월 1일에 업로드됐다고 가정합니다. 주어진 규칙에 따르면 폴란드어 5월판이 정답입니다. 7월판은 아직 유효하지 않고 영어판은 합의된 언어가 아닙니다.
질문에는 캠페인 날짜를 적고 막연히 ‘현재’ 버전을 요청하지 마세요. 날짜가 없으면 참가자는 연습 당일을 기준으로 이해할 수 있습니다. 이 예시의 기준은 수업일과 무관하게 6월 15일입니다. 하나를 선택할지 해당하는 것을 모두 고를지도 지침에 적습니다. 지시를 바꾸면 표시의 해석도 바뀌고 다른 정답이 필요할 수 있습니다.
5월 카탈로그를 고른 이유도 질문과 함께 보관하세요. 특히 플랫폼이 답변 순서를 바꾼다면 정답 ‘A’만으로 나중에 검토하기 어렵습니다. 답을 선택지 내용과 규칙의 해당 부분에 연결합니다. 사례의 조건도 남기세요. 캠페인 날짜를 없애면 질문을 결정할 수 없게 될 수 있습니다.
2024년 QGEval 연구는 생성 질문의 언어적 품질을 자료와의 일치, 답변 가능성, 주어진 답과의 적합성과 구분합니다. 특정 질문 집합과 모델을 다룬 연구입니다. 이 구분을 검토 설계에 활용하되 연구 결과를 Karda의 현재 도구에 그대로 옮기지 않습니다.
이 연습에는 두 번의 별도 검토가 필요합니다. 첫째는 질문이 이해되는지, 둘째는 제공된 지침에 근거해 적절한 카탈로그를 고르고 이유를 설명할 수 있는지 확인합니다. 유창한 문장은 첫 검토를 통과하고 두 번째에서 실패할 수 있습니다. 좋은 문법이 잘못된 정답을 상쇄하도록 결과를 평균 내지 마세요.
부족한 지식의 범위도 적으세요. 지침이 필요한 언어가 없을 때의 처리를 설명하지 않는다면 그 사례의 질문은 프로세스 책임자의 결정을 기다려야 합니다. 모델이 영어판을 보내도 된다고 스스로 정해서는 안 됩니다. 때로 올바른 검토 결과는 퀴즈의 한 단어를 고치는 것이 아니라 지침의 공백을 발견하는 것입니다.
답변은 실수를 드러내야지 정답을 알려 줘서는 안 됩니다
워털루 대학교 교육지원센터는 명확한 문제, 하나의 최선 답과 그럴듯한 오답 등을 권합니다. 객관식 질문을 설계하기 위한 지침입니다. Karda는 특정 규칙을 알아보는 연습에 활용하며 공식 자격 확인에 쓰지 않습니다.
오답이 너무 쉬우면 필요한 지식 없이 문제를 풀 수 있습니다. 정답 옆에 ‘빈 파일을 보내기’와 ‘자료실 전체 삭제’를 두면 날짜를 확인하지 않고도 제외할 수 있습니다. 더 좋은 선택지는 최신 파일 선택, 맞는 날짜에 틀린 언어 선택, 맞는 언어에 미래 유효일 선택처럼 실제 실수를 반영합니다.
함정을 만들라는 뜻은 아닙니다. 참가자는 배운 규칙으로 문제를 해결해야 합니다. 그것을 가르치는 목적이 아니라면 여러 부정이 들어간 문장은 피하세요. 질문을 해독하는 데 공이 많이 들면 카탈로그 사용이 아니라 글을 견디는 인내심을 시험할 수 있습니다. 여기서 요구한 능력은 아닙니다.
선택지를 하나씩 검토하고 조건에 맞거나 맞지 않는 이유를 기록하세요. 단순한 예시에서는 ‘최신 버전 선택’과 ‘유효한 버전 선택’이 같은 파일을 뜻할 수 있습니다. 두 규칙의 차이를 시험하려면 실제로 서로 다른 선택이 나오는 사례를 준비해야 합니다. 말이 다르다는 것만으로 두 행동이 상호 배타적이지는 않습니다.

형태가 정답을 드러내는지도 확인하세요. 정답만 길고 세심한 문장이고 나머지 셋은 짧은 농담이어서는 안 됩니다. 각 선택지를 질문과 따로 읽어 보세요. 문법적 연결, 파일 라벨, 정답에서만 반복된 단어를 살핍니다. 이런 단서는 연습을 작성자의 의도 맞히기로 바꿀 수 있습니다.
카탈로그 질문의 검토 카드에는 네 가지 짧은 항목을 둘 수 있습니다.
- 능력: 해당 캠페인의 언어와 유효일 식별.
- 근거: 특정 지침 버전과 자료실의 세 예시 기록.
- 정답: 두 조건에 대한 이유를 포함한 폴란드어 5월 카탈로그.
- 나머지 선택지: 지침에 없는 규칙을 추가하지 않고 각 선택지가 나타내는 실수.
질문 전체가 능력을 얼마나 다루는지도 살피세요. 5월 카탈로그 선택을 다섯 번 바꿔 말해도 매우 비슷한 사례입니다. 지침이 선택을 명확히 정한다면 7월판이 유효해진 뒤 시작하는 캠페인처럼 다른 상황을 추가하세요. 합의된 언어가 없는 경우도 별도로 다룹니다. 참가자는 확인된 규칙에 따라 정보를 보충해야 한다는 점을 알아야 합니다. 질문 묶음은 수신자 이름만이 아니라 결정의 차이를 보여 줘야 합니다.
이런 작업 기록은 특정 연습의 구성을 재현하게 합니다. 간단한 교육에 복잡한 채점 시스템을 만들 필요는 없습니다. 대신 다음 검토자가 질문이 올바른 대상을 다루는지, 설명이 회사의 규칙을 바꾸지 않았는지 확인할 수 있어야 합니다.
답변 후 안내까지 함께 검토하세요
시범 운영에서는 선택 이유를 짧게 물어보세요. 어떤 사람은 캠페인 날짜를 올바르게 읽어서 5월 카탈로그를 고르고, 다른 사람은 항상 첫 항목을 고르기 때문에 같은 답을 할 수 있습니다. 선택 결과는 같아도 이해에 관한 증거는 다릅니다. 이유는 의미를 확인하는 데 도움이 되지만 참가자의 모든 생각을 읽거나 실제 행동 관찰을 대신하지는 않습니다.
규칙을 자기 말로 설명해 달라고 요청 (폴란드어)한 다음 시험용 자료실에서 짧은 과제를 수행하게 할 수 있습니다. 두 방식은 서로 보완합니다. 규칙을 알지만 화면에서 날짜를 찾지 못한다면 도구 설계에 문제가 있을 수 있습니다. 첫 사용의 인지적 점검 (폴란드어)은 세션 전에 이런 가설을 준비하도록 돕습니다.
답변 후 표시되는 안내도 검토하세요. 모델은 5월 카탈로그를 정답으로 표시하면서 설명에는 ‘항상 가장 오래된 것을 고른다’고 쓸 수 있습니다. 점수는 맞아도 잘못된 지름길을 가르치는 셈입니다. 설명을 규칙과 사례 데이터에 비교하세요. 7월판을 제외하는 이유는 캠페인보다 유효일이 늦어서이지 파일이 더 새롭다는 사실 자체가 아닙니다.
답변 순서를 바꿀 때 플랫폼으로 내보내는 과정도 살피세요. 정답이 문자나 숫자로 저장된다면 선택지 이동 후 연결이 어떻게 유지되는지 확인합니다. 작성자 자료의 정답 표시가 참가자 화면에 남아서도 안 됩니다. 입력 문서뿐 아니라 실제 연습 화면과 결과 화면을 살펴보세요.
다른 언어 버전에서는 질문의 뜻, 선택지 설명과 정답 해설을 함께 확인하세요. 필드 이름은 참가자가 자기 자료실에서 보는 이름과 일치해야 합니다. 질문만 번역하고 예시에는 다른 용어를 남기면 원래 연습에 없던 어려움이 생길 수 있습니다. 언어 버전을 특정 질문 및 지침 출처와 연결해 두세요.
틀린 답 뒤 곧바로 다른 선택지를 고를 수 있다면 여러 번 시도한 결과는 첫 선택과 다릅니다. 학습용 연습에서 재시도는 유용할 수 있습니다. 다만 표시되는 결과의 의미를 기록하세요. 힌트 후 통과한 결과를 첫 시도에서 올바른 버전을 독립적으로 알아본 것이라고 설명해서는 안 됩니다.
다른 모델의 자동 검토는 공백을 찾는 데 도움을 줄 수 있지만 생성기와 의견이 같다는 사실은 정답을 확인하지 않습니다. AI를 평가자로 쓸 때 (폴란드어)는 평가 자체도 검토해야 합니다. 중요한 질문 몇 개는 출처와 직접 작성한 이유로 돌아가세요. 특히 모델이 맞다고 판단한 질문을 확인해야 오류가 숨은 채 남지 않습니다.
자료 개선에 도움이 된다면 참가자의 느낌도 별도로 수집하세요. 과제 후 난이도와 만족도 설문 (폴란드어)은 참가자의 응답을 다룹니다. ‘연습이 쉬웠다’는 말만으로 카탈로그 선택을 배웠는지 알 수 없습니다. 양식이 답을 알려 줬다는 뜻일 수도 있습니다. 평가는 진행 과정과 결합하고 능력 확인을 대체하지 마세요.
틀린 선택은 참가자에게 일반적 무능력을 부여하지 말고 사례 조건을 바탕으로 논의하세요. 날짜가 불명확하거나 필드 이름을 다르게 이해했다고 말할 수 있습니다. 자료를 고치는지, 규칙 설명으로 돌아가는지 기록하세요. 그런 다음 날짜와 이름이 다른 새 사례를 사용합니다. 정답을 알려 준 뒤 같은 질문을 반복하면 답을 기억한 결과도 드러납니다. 문자 순서만 바꿔서는 규칙 적용과 구분할 수 없습니다.
수정 후에는 이전 질문과 새 질문을 변경 이유와 함께 보관하세요. 표현만 바뀌었는지 정답의 근거도 바뀌었는지 확인합니다. 회사 지침을 업데이트할 때 연결된 질문과 설명도 찾으세요. 오래된 연습이 기술적으로는 작동하지만 현재 채택한 과정에 맞지 않는 규칙을 가르칠 수 있습니다.
이 검토의 범위는 Aeneia Audit과 논의할 수 있습니다. Karda의 당면 결과는 언어와 캠페인 날짜로 카탈로그 선택을 설명할 수 있는 검토된 연습입니다. 새로운 사례의 시험은 익숙한 예시 밖에서 규칙을 적용하는지 추가 정보를 제공합니다. 생성기가 좋아하는 단어를 찾아 높은 점수를 받는 것도 점수이지만 다른 대회의 결과입니다.









