本文へスキップ
表示言語: 日本語
監査 / Signal

AIによるA/Bテストの要約: クリックが増えても問いへの答えにはならない

AIが作成したA/Bテストの報告を、人と訪問、パーセントとパーセントポイント、標本の配分、結論の限界から確認します。

記事の言語: 日本語

紺色と赤色の部屋で、女性がテーブル上のガラスの球のそばに座っています。
目次

案Aではフォームが50件、案Bでは60件送信されました。AIは「Bの効果は20%上がったため、導入を推奨します」と書きました。スライドの見出しに収まり、決定済みのようにも見えます。ただし一つ情報が欠けています。Aへの訪問は1,000回、Bへの訪問は1,500回でした。分母は表彰台に上がれなかったのです。

これは独自に作った架空の例です。各フォームは別々の訪問中に送信されたと仮定しましょう。送信に至った訪問の割合はAが5%、Bが4%です。Bは送信件数が20%多いものの、訪問当たりの割合は1パーセントポイント低くなります。計算だけでも見出しの内容は変わります。それでも、この実験で訪問が適切な単位かどうかはまだ分かりません。

AIが作成したA/B報告を確認するときは、何を変え、誰に案を割り当て、何を数え、いつ試行を終えたかをたどることから始めます。報告とデータの一致を確かめることと、実験を正式に判定することは分けてください。統計分析には適切な設計と専門性が必要です。以下の数字は実在するフォームの効果を示す証拠ではありません。

テスト前の問いを探す

ある会社が「プロジェクトの説明」欄の二つの提示方法を比べるとします。Aでは空欄を、Bでは短い補助質問を表示します。目的は、相談の準備に必要な情報を含む問い合わせを受け取ることです。送信ボタンのクリック数だけでは、目的を達成したかは分かりません。

実験前に記録した仮説と結果の定義を求めてください。チームが有用な問い合わせ件数を選んだなら、そのグラフが伸びているというだけでモデルがフォームの表示回数に置き換えてはいけません。ビジネス実験の仮説カード (ポーランド語)で、データ収集前に問いと評価条件を定めるのはそのためです。

報告が計画した画面のバージョンを対象にしているか確認します。試行中に必須項目や送信動作を変更したなら、資料には二つ以上の比較が含まれます。期間とバージョンを記録してください。説明なしに「案B」としてまとめると、最初の版と修正版の違いが隠れることがあります。

何を成功イベントと数えたかも明記してください。ボタンのクリック、サーバーによるフォームの正常な受け付け、問い合わせを有用と判定することは、順に起こる三つの出来事です。件数はそれぞれ異なり得ます。読者が「コンバージョン」の意味を分かるようにします。

イベントを記録するタイミングも確認します。架空のフォームでは、ボタンを押した際に入力エラーが出て再試行するかもしれません。2回のクリックは2件の受け付けを意味しません。反対に受け付けが成功しても画面に確認が出ない場合もあります。このような事例をいくつか選び、記録と実際の結果を比較してください。管理画面のイベント名だけでは、適切な時点で記録されることを証明できません。

問い合わせの品質を分類するルールも合意します。架空の例では、プロジェクトの種類とおおよその範囲を含むものを有用としましょう。評価者は両案に同じ条件を適用します。Bでは長いが役に立たない説明が多いと気づいてから定義を変えてはいけません。

試行を終えるルールと、実際に止めた時点を探してください。指定日まで、合意したデータの範囲に達するまで、または採用した方法の条件を満たすまで続ける予定でしたか。初めて好ましい結果が出た午前中に終えたなら、報告でその変更を明かします。当初の計画を実行したかのように書いてはいけません。

計画には、悪化させたくない結果も含められます。送信エラーの件数、問い合わせの処理時間、追加確認が必要なケースの割合などです。合意した定義に従って確認してください。フォームが増えても、それぞれの問い合わせについて後から手作業で事情を明らかにする必要があるなら、業務の達成が良くなったとは限りません。

分数の下にあるもの

NISTの手引きは、二つの比率を比較する際、それぞれの標本の大きさとイベント数を併せて説明しています。この基本的な関係は比率の比較に関する章(英語)に示されています。どのパーセンテージを確認する際も、まず分子、分母、単位を探しましょう。フォームの件数だけでは割合は定まりません。

この例では、50を1,000で割ると5%、60を1,500で割ると4%です。訪問当たりのイベントを比較しています。差はマイナス1パーセントポイント、5%を基準にした相対的な減少は20%です。「1%減」と書くと別の変化を表すため、そう表示しないでください。

ここで、各案を訪れた異なる人はそれぞれ800人で、Bでは再訪が多かったという情報を加えます。50件と60件のフォームをそれぞれ異なる50人と60人が送ったなら、人を基準にした割合は6.25%と7.5%です。訪問当たりではBが低かったのに、人当たりではBが高くなります。数学的な矛盾はありません。単位と問いが変わったのです。

適切な比較は計画に基づいて選びます。人に案を割り当てたなら、再訪をどう識別し、同じ案が維持されたか確認してください。一人がAとBの両方を見られた場合、各グループで一意の識別子を数えるだけでは問題は解決しません。報告にはその状況と分析への影響を説明する必要があります。

イベント数と、イベントを起こした人数を区別してください。一人の顧客が相談後に文章を直し、フォームを2回送ったかもしれません。データベースの2件がその過程を正しく記録していても、異なる2人の顧客を意味するわけではありません。重複除去の定義と、再送信を含む例を求めましょう。

分母に誰が入るかも記録します。「割り当てられた全員」「フォームを見た人」「入力を始めた人」は異なる集合です。案によって段階間の移行が変わることもあります。報告では三つの計算を同じ効果の割合と呼ぶべきではありません。それぞれに集合の名前と対象者を含める条件を示せば、読者は割り当てから結果までの道筋をたどれます。

Aeneiaのコンセプト写真

作業後のアンケートにも同じ整理が必要です。回答するのは参加者の一部だけで、使いやすさの評価を課題を無事に完了したことと混同することがあります。作業後の難しさと満足度のアンケート (ポーランド語)は、これらの指標を分ける助けになります。狭い回答者集団から得た満足度を、全訪問者の評価として扱わないでください。

分子と分母の期間も確認します。試行終了前に開いたフォームが、その後に送られることもあります。後日の送信も、事前に定めた帰属ルールに従い、両案で同じ基準により設定した観察期間内であれば、あらかじめ定義した訪問または人のグループの結果として扱えます。遅れて生じた結果をどう割り当てるか決め、同じルールを適用してください。各案に都合のよい日を選んではいけません。

報告を再現できるよう、データセットのバージョンと準備方法を残します。モデルは再訪、エラー、除外についての情報がない、集計済みの数字だけを受け取るかもしれません。計画した指標をデータから計算できないなら、正しい答えは計算の根拠が足りないということです。滑らかな傾向の説明で欠けた記録を補うことはできません。

データをモデルに渡す際は列の定義書も残してください。出力された「users」という列が、試行全体の人数ではなく、ある日のアクティブな識別子を意味することもあります。日ごとの値を合計しても、日をまたぐ再訪が必ず除かれるわけではありません。測定の文書で意味を確定できなければ、データの担当者に確認します。ファイルの見出しだけでモデルに定義を選ばせないでください。

偏った配分は調べるべき問い

すべての実験で両案の人数が同じでなければならないわけではありません。計画で異なる配分を定めた可能性もあります。適切な単位と採用した方法で、期待した配分と観測した配分を比べてください。先ほどの1,000回と1,500回の訪問だけを、人の割り当てが偏っていた証拠と自動的に扱ってはいけません。

Microsoft Researchの資料は、期待した標本配分と観測された配分のずれであるSample Ratio Mismatchを、データ品質上の問題の可能性を示す兆候と説明しています。著者らは原因を明らかにする必要性を指摘しています。これはSRMの診断に関する資料(英語)の限定された説明であり、この架空の例の診断ではありません。

確認の際、割り当てられた単位をどこで数えたか尋ねてください。フォームの表示前ですか、それとも読み込みに成功した後ですか。Bが時々開かなかったなら、正常に読み込まれたケースだけを含むデータには、動作の評価に必要な事例が欠けているかもしれません。ルールと比較への影響を説明しないまま、問題のある記録を取り除かないでください。

端末、流入元、日ごとのフィルタリングも同様に扱います。モデルはデータの一部で好ましい結果を示すことがあります。それは計画されたテスト全体の結果とは別の結論です。特定のグループを追加分析する意味があるなら、別の問いとして明示し、分割の根拠を確認してください。元の仮説に事後的に書き加えてはいけません。

確認の過程には除外の記録を残します。「データをクリーニングした」だけでなく、どの記録をなぜ省いたか書いてください。分析担当者が、そのルールが試行の設計に合うか判断できます。AIは説明の作成を手伝えますが、情報の出所は実際のデータ処理でなければなりません。

正しい割合から結果についての文章へ

差を正しく計算しても、案が「確実に勝った」とは限りません。報告は合意した分析方法に言及し、適切な形で不確実性を示す必要があります。モデルが二つの合計だけを受け取り、確実な結論を付け加えたなら、根拠を求めてください。断定的な口調は、明示された方法と分析結果の代わりにはなりません。

作業用の報告では三つの文を分けて残せます。データで何を観察したか、採用した分析から何が言えるか、チームがどの決定を提案するかです。そうすれば分母の修正のために履歴全体を隠す必要はありません。計算と対応する結論が変わり、提案は目的に照らして改めて検討します。バージョンを記録すれば、修正後の資料と最初の印象的なスライドのどちらに基づいて決定したか、後から確認できます。

観察と原因の説明を区別してください。「Bでフォームを送信した人は7.5%だった」は架空のデータにある数字の説明です。「補助質問が信頼を高めた」は仕組みについての解釈です。実験が結果の変化について一定の結論を支えても、利用者が何を考えたかまで自動的には分かりません。

画面の理解を確かめるには別の調査を選べます。5秒テスト (ポーランド語)が答える問いは、行動を無作為に比較する実験とは異なります。一方の結果をもう一方の代わりにしてはいけません。報告が方法を混同しているなら、どの資料がどの文を支えるか読者に分かるよう結論を書き直します。

差の見せ方も確認してください。AIによるグラフの読み取り (ポーランド語)では、軸、期間、欠けた点が重要です。途中から始まる軸は小さな差を視覚的に誇張し、累積のグラフは日ごとの推移の変化を隠すことがあります。本文の割合が正しくても、隣の誤解を招く図が修正されるわけではありません。

報告が提案する決定も確かめます。Bを導入すること、試行を続けること、測定を修復することは異なる決定です。人の定義がない場合やデータの期間がずれている場合、資料を補うことが妥当な確認結果になり得ます。最後のスライドにトロフィーの置き場所があるからといって、勝者を発表する必要はありません。

チームが問い合わせ件数だけを最適化し始めたら、品質や処理費用を見落としていないか確認してください。業務指標と望ましくない行動 (ポーランド語)では、指標を業務の目的に結び付ける必要性を説明しています。実験はフォームについての決定を支えるべきで、どんな記録でも集めやすくするためのものではありません。

報告でのAI利用と根拠の確認はAeneia Auditに相談できます。実験計画、指標の定義、報告の元になったデータセットを準備してください。この例では分母を取り戻したことで、まず計算を正し、次に適切な問いを立てられました。評価しているのは訪問の効果ですか。それとも、一人が問い合わせを送信するまでの道筋ですか。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear