AIが作る研修問題: 正解でも違う能力を試しているかもしれない
学ぶ能力と承認済み手順に照らし、AIが作る問題と正解の根拠を確認します。
記事の言語: 日本語

目次
架空の生成クイズの例で、正解は「現在有効なカタログを選ぶ」です。困ったことに質問は「現在有効なカタログを送る前に何を選びますか」でした。参加者は版を見分けることも、日付を確認することも、資料ライブラリーを開くことも必要ありません。「現在有効」という言葉の繰り返しを見つければ済みました。問題生成器には課題が、受講者には繰り返し探しの小さな競争が与えられたのです。
架空の会社Kardaでは、チームが新しい資料ライブラリーの使い方を学んでいます。短い練習問題を作るためにAIを使います。確かめたいのは、社員が受け手の言語とキャンペーンの日付に合うカタログを選べるかどうかです。これは道具の使い方を学ぶ通常の練習で、職業資格試験でも採用判断でもありません。問題は、目的、根拠、正解の理由を持つ研修資料として確認します。
正解は問題を書く前から始まる
まず参加者が学ぶべき行動を説明します。「カタログを知っている」では広すぎます。「キャンペーンの情報を基に、合意した言語と開始日に有効な資料の版を選ぶ」なら具体的な事例を作れます。練習中に何を使えるかも明記します。仕事ではライブラリーと手順書を開いているなら、名前を暗記して再現する力を試す必要はありません。
Kardaの練習では、情報を読むことと規則を適用することを区別します。「日付欄の名前は何ですか」は、日付の違うカタログから選ぶこととは別の行動を試します。どちらも役立ちますが、前者の結果を後者の能力の証拠としてはいけません。AIの検証に関するチーム研修 (ポーランド語)でも、役割に合った練習を扱います。
承認済みの手順書の該当部分を用意し、その版を明らかにします。この例の規則は、受け手と合意した言語と、キャンペーン開始日に有効な版を選ぶことです。ファイルのアップロード日は有効開始日ではありません。これは架空の業務についての筆者の仮定です。実際の会社では、クイズを作りやすくするためだけに規則を書き足してはいけません。
次に事例を作ります。キャンペーンは6月15日に始まり、受け手はポーランド語を確認しました。ライブラリーには同じ年のカタログが三つあります。5月1日から有効なポーランド語版、7月1日から有効なポーランド語版、5月1日から有効な英語版です。この架空の例では、ポーランド語の5月版を6月1日に、7月版を6月10日に、英語の5月版を5月1日にアップロードしたとします。提示した規則ではポーランド語の5月版が正解です。7月版はまだ有効でなく、英語は合意した言語ではありません。
質問にはキャンペーンの日付を示し、漠然と「現在有効な」版を求めないでください。日付がなければ、参加者は演習当日を基準に考えるかもしれません。この例の条件は研修日とは無関係に6月15日です。一つ選ぶのか、該当するものをすべて選ぶのかも指示に書きます。指示が変われば選択の解釈が変わり、別の正解が必要になることがあります。
5月版を選んだ理由も問題と一緒に残します。プラットフォームが選択肢の順番を変える場合など、正解が「A」だけでは後から確認できません。答えを選択肢の内容と規則の該当部分に結び付けます。事例の条件も残してください。キャンペーンの日付を消すと問題の答えを決められなくなるかもしれません。
2024年のQGEval研究は、生成された問題の言語的な品質と、資料との一致、回答可能性、与えられた答えとの適合を分けて扱います。特定の問題群とモデルを対象とした研究です。この区別を確認方法の設計に使い、結果を現在のKardaの道具にそのまま当てはめません。
この演習では二つの別の読み方が必要です。一つは質問が理解できるか。もう一つは、提供された手順書に基づいて正しいカタログを選び、理由を示せるかです。流暢な文でも前者に通り後者に失敗することがあります。良い文法で誤った正解を相殺するように結果を平均しないでください。
不足している知識の範囲も記録します。手順書に必要な言語がない場合の扱いがなければ、その事例の問題は業務の責任者の判断を待つべきです。モデルが英語版を送ってよいと勝手に決めてはいけません。クイズの一語を直すのではなく、手順書の欠落を見つけることが正しい確認結果になる場合もあります。
選択肢は誤りを表し、正解を教えない
ウォータールー大学の教育支援センターは、明確な問題、一つの最善の答え、もっともらしい誤答などを勧めています。選択式問題を設計するための指針です。Kardaでは特定の規則を見分ける練習に使い、資格の正式な証明には使いません。
誤答が簡単すぎると、必要な知識を使わずに解けます。正しいカタログの横に「空のファイルを送る」「ライブラリーをすべて削除する」を置けば、日付を調べずに除外できます。最新ファイルの選択、正しい日付で違う言語、正しい言語で将来の有効開始日など、実際の間違いを表す選択肢の方が有用です。
罠を作るという意味ではありません。参加者は学んだ規則を使って問題を解くべきです。それを教える目的でなければ、否定をいくつも重ねた文は避けます。質問の解読に苦労させると、カタログを使う力ではなく文章に耐える忍耐力を試すことになりかねません。ここで求めたのは別の能力です。
各選択肢を確認し、条件に合う理由または合わない理由を記録します。単純な例では「最新の版を選ぶ」と「有効な版を選ぶ」が同じファイルを指すこともあります。二つの規則の違いを試すなら、実際に異なる選択になる事例を用意します。言葉が違うだけで、二つの行動が互いに排他的になるわけではありません。

形式が正解を教えていないかも確認します。正解だけが長く丁寧な文章で、残り三つが短い冗談であってはいけません。質問を各選択肢と一緒に個別に読んでみます。文法のつながり、ファイルのラベル、正解だけに繰り返される語に注意します。こうした手掛かりで、練習が作者の意図当てに変わることがあります。
カタログ問題の確認カードには四つの短い欄を設けられます。
- 能力: 指定されたキャンペーンの言語と有効開始日を見分ける。
- 根拠: 特定の版の手順書とライブラリーの三つの例。
- 正解: 二つの条件の理由を添えたポーランド語の5月版。
- その他の選択肢: 手順書にない規則を足さず、それぞれが表す間違いを説明する。
問題全体が能力をどの程度扱っているかも確認します。5月版の選択を五通りに言い換えても、非常に似た事例です。手順書が選択を明確に定めるなら、7月版の発効後に始まるキャンペーンなど別の状況を加えます。合意した言語がない場合も別に扱います。参加者は確認済みの規則に従って情報を補う必要に気付くべきです。受け手の名前だけでなく、判断を区別する問題群にします。
この作業記録があれば、別の人が特定の練習の構成を再現できます。簡単な研修に複雑な採点システムは必要ありません。ただし次の確認者が、質問は正しい対象を扱っているか、説明が会社の規則を変えていないかを調べられる必要があります。
回答後のフィードバックも一緒に確認する
試行では選択理由を短く尋ねます。ある人はキャンペーンの日付を正しく読んで5月版を選び、別の人は常に最初を選ぶから同じ答えにするかもしれません。選択は同じでも理解の証拠は異なります。理由は意味の確認に役立ちますが、参加者の考えをすべて読み取るものでも、行動の観察の代わりでもありません。
規則を自分の言葉で説明 (ポーランド語)してもらい、続いて試験用ライブラリーで短い課題を行う方法もあります。二つは相補的な確認です。規則を知っていても画面で日付を見つけられなければ、道具の設計に問題があるかもしれません。初回利用の認知的ウォークスルー (ポーランド語)は、セッション前にその仮説を用意する助けになります。
回答後の表示も確認します。モデルが5月版を正解にしながら、説明で「常に最も古いものを選ぶ」と書くかもしれません。正しく点を付けても、誤った近道を教えています。説明を規則と事例データに照らします。7月版を除く理由は、キャンペーンより有効開始日が後だからであり、ファイルが新しいという事実だけではありません。
選択肢の順番を変えるときは、プラットフォームへの書き出しも確認します。正解を文字や番号で保存しているなら、並べ替え後に対応がどう保たれるか確かめます。作者用資料の正解表示が参加者の画面に残ってもいけません。入力文書だけでなく、実際の演習画面と結果画面を確認します。
別の言語版では、質問の意味、選択肢の説明、正解の解説を一緒に確認します。欄の名前は参加者が自分のライブラリーで見る名称に合うべきです。質問だけを翻訳し、例には別の用語を残すと、元の演習にはなかった難しさが加わります。言語版を特定の質問と手順書の出典に結び付けておきます。
間違えた直後に別の選択肢を選べるなら、複数回試した結果は最初の選択と同じではありません。学習用の練習では再試行が役立つこともあります。ただし表示する結果の意味を記録します。ヒント後に通過した結果を、初回に独力で正しい版を見分けたこととして説明してはいけません。
別のモデルによる自動確認は欠落を探す助けになりますが、生成器との一致は正解の確認にはなりません。AIを評価者として使う (ポーランド語)場合、評価そのものを点検する必要があります。重要な問題のいくつかは出典と自分の理由に戻って確認します。特にモデルが正しいとした問題を調べてください。そこで誤りが見逃されたままかもしれません。
資料の改善に役立つなら参加者の感想も別に集めます。課題後の難しさと満足度のアンケート (ポーランド語)は本人の申告を扱います。「練習は簡単だった」だけでは、カタログの選び方を学んだか分かりません。フォームが答えを示していた可能性もあります。評価を経過と結び付け、能力の確認に代えてはいけません。
誤った選択は、参加者に一般的な能力不足を決め付けず、事例の条件に沿って話し合います。日付の曖昧さを指摘したり、欄の名前を別の意味に理解したと説明したりするかもしれません。資料を直すのか、規則の説明に戻るのかを記録します。その後、日付と名前の違う新しい事例を使います。正解を示した後に同じ問題を繰り返せば、答えの記憶も示されます。文字の順番だけを変えても、規則の適用とは区別できません。
修正後は古い問題と新しい問題を変更理由とともに残します。表現だけでなく正解の根拠も変わったか確認します。会社の手順書を更新するときは、それに依存する問題と説明を探します。古い演習は技術的に動いていても、現在採用している業務に合わない規則を教えているかもしれません。
この確認の範囲はAeneia Auditと相談できます。Kardaの当面の成果は、言語とキャンペーンの日付でカタログの選択理由を説明できる、確認済みの演習です。新しい事例での試行は、慣れた例以外で規則を適用できるかについて追加情報を与えます。生成器が好む単語を見つけた高得点も得点ですが、別の競争の結果です。









