AIによる問い合わせ需要の予測: その時点で分かっていた情報で試す
判断時点で利用できた情報、簡単な比較基準、適切な予測期間の誤差を使って対応需要の予測を評価します。
記事の言語: 日本語

目次
翌週を最もよく当てた予測は、その週が終わった金曜日に作られました。確定した件数、修正済みの問い合わせ分類、キャンペーンの結果を受け取り、ほぼすべてを完璧に説明できました。ただし、チームの勤務表は、それらの情報がまだない前の木曜日に用意しなければなりませんでした。
この架空の例は、過去を再現することと予測を検証することの違いを示しています。過去の一週間も、予測を出した時点で利用できた情報だけをモデルが使うなら評価に役立ちます。後から得た情報は、対応を計画する人が当時直面した問いとは別の問いに答えるものです。
予測の検収は発行時点から始めます。その時点でチームが何を知り、どの期間の件数を予測し、どんな判断をする必要があったかを決めましょう。それから評価資料、簡単な比較基準、誤差の説明方法を選びます。
木曜日には木曜日の情報がある
作業場が毎週木曜日の朝、翌週の問い合わせ対応を計画するとします。モデルは各営業日の新規案件数を予測します。これは一日の終わりに翌日を予測することや、翌月全体の合計を予測することとは異なります。どれだけ先を予測するかという予測期間は、課題の一部です。
締め切り時刻をタイムゾーンと共に記録します。木曜日の午前8時にどんなデータがあるでしょうか。前日の集計が確定している場合もあれば、一部のチャネルの取り込みを待っている場合もあります。今日の報告書にある週間値が、当時見えていた値と同じとは限りません。テストには予測時点で利用できた状態が必要です。再現できない場合は、その限界を正直に説明します。
追加情報についても、それぞれいつから分かるかを示します。翌週のキャンペーン計画は事前に入手できても、その実際のクリック数はまだ分かりません。
将来の計画が未承認なら、シナリオを分けます。キャンペーンを実施する場合としない場合の予測は、異なる前提に基づく二つの問いへの答えです。相反する確実な予言ではなく、シナリオとして示しましょう。勤務表に使う前に誰が選択を確認するかも記録します。期間終了後には実際にどちらの条件だったかも確かめます。そうしなければ、実現しなかった条件の予測と結果を比較してしまいます。予定された将来情報と後から分かる結果は、項目名が似ていても別です。予定営業時間と、将来の問い合わせに実際にかかった対応時間も分けます。週の日付が同じでも、両方が事前に分かるわけではありません。
後から修正されるデータにも注意してください。当初は商品への質問だった案件が、会話後に苦情へ分類し直されるかもしれません。今日の記録には最終ラベルが見えます。それを当初から分かっていたかのように過去の予測へ入れると、モデルは後から得た判断を使います。案件の作成日だけでは、すべての項目がいつ利用可能だったかは分かりません。
データの整形でも同様の問題が起こります。欠損を埋める方法や値を変換する方法を全期間から決めた場合、将来の評価部分まで使っていないか確認します。検収する人がすべての式を知る必要はありません。ただし、どの判断を予測日より前にどんなデータで行ったかは説明されるべきです。
これはAIのテストデータ漏えい (ポーランド語)の一例です。ここでは情報がいつ利用可能になったかも境界になります。行が時系列に並んでいても、過去の行に後から情報が追加されていない保証にはなりません。
同じ条件で複数の発行時点を試す
都合のよい一週間だけでなく、連続する複数の過去の発行日を選びます。それぞれについて許可された入力を再現し、同じ種類の予測を作り、後から分かった結果と比較します。未来を見る基準点を過去の中で順に動かすローリング検証です。
scikit-learnのTimeSeriesSplitの文書は、過去の観測で学習し、その後の観測で評価する分割を説明しています。gapパラメーターではテスト部分の前の一定数の観測を除外できます。文書はテスト部分間の指標を比較できるよう、観測が等間隔であることを条件として示しています。分割だけで、すべてのデータ項目がその時点で利用可能だったかまでは管理できません。
この計画では、間隔を実際の状況に合わせます。木曜日に水曜日のデータがまだそろっていないなら、テストでそろっていたことにしないでください。一方、報告書を慎重に見せるためだけに任意の間隔を加えてもいけません。チームが本当に時間内に受け取れるものと入力準備にかかる時間を確認します。
会社が実際に使う予測期間を保ちます。翌日の予測がよくても、翌週全体の予測品質を証明したことにはなりません。判断に必要なら、発行時点からの距離ごとに結果を確認します。勤務表を作る人は、すべての日の平均一つではなく、どこから結果が十分に役立たなくなるのかを見る必要があります。
通常期、関心が高まった期間、対応を休止した翌日、流入チャネルの変更など、異なる条件も選びます。一度の成功を一年全体の代表と見なしてはいけません。重要な出来事が過去データにない場合は、その欠落を記録します。静かな一か月で試したモデルが、それだけで年末の繁忙期にも通用する証明を得るわけではありません。
結果を見るたびに設定を調整し、そのすべての週を独立した最終評価に数えてはいけません。解決策の調整に使う部分と、固定した版を後から試す部分を分けます。モデル、データ準備の規則、誤差の測り方をいつ変更したかも残します。そうしなければ、一つの表が異なる解決策を同じ名前でまとめてしまいます。処理自体が実行ごとに変わり得る場合は、同じ保存済み入力を使ったAIツールの複数回の結果 (ポーランド語)も比べます。これは日ごとにデータが変わることとは別の不安定さです。

発行日ごとに小さな証拠のまとまりを保存します。入力の識別子、解決策の版、準備時刻、予測そのものです。評価に使う観測結果と誤差の計算方法は後から追加します。過去の入力を近似的にしか再現できないなら、確認できなかった項目や修正を説明してください。その試験を日常業務の忠実な再現とは呼びません。その後の実際の予測では、判断に使った状態をその場で保存し、今日のデータベースから過去を作り直さずに評価できるようにします。
不完全な期間では、実際に何が観測されたかを先に決めます。欠落とゼロの違いは、AIの警報が出来事なのか計測の欠落なのか (ポーランド語)を扱う記事で説明しています。予測では同じ欠落が、入力と、後で結果を比較する基準の両方を損なうことがあります。
比較基準に立派な名前は要らない
モデルを、それなしでもチームが使える簡単な規則と比べます。業務によっては適切な前の期間の値を繰り返す方法です。比較前に規則を選んで説明しましょう。AIを勝たせるためだけに比較基準へ質の悪いデータや短い準備時間を与えてはいけません。
Forecasting: Principles and Practiceは、最後の観測値を繰り返す単純法と、対応する季節の直近の観測値を使う季節単純法を紹介しています。どちらも他の方法を評価する簡単な基準です。
この作業場では、データの周期に合うなら、予測を出した時点で結果が利用できる、終了済みの直近の同じ曜日を使う規則を試せます。木曜午前8時に予測を出す場合、その木曜日の未確定の結果や、それより後の金曜日の結果は使えません。結果が遅れて届くか欠けている場合は、事前に決めた手順に従うか、その予測を比較から除外します。過去の試行でも同じ利用可能時点の基準を適用します。複雑なモデルが合意した判断に役立たないなら、「AI」という名前だけでは追加の作業を正当化できません。逆に、単純な規則が一度よい結果を出しただけでも比較全体は決まりません。複数期間の誤差の分布を見ましょう。
誤差の方向も隠してはいけません。件数を少なく見積もれば処理待ちが残り、多く見積もれば別の運営コストが生じます。この業務でどちらの誤りがより重大か、どう示すかを決めます。基準はモデルが最もよく見える指標ではなく、対応計画から決めるべきです。
架空の数字で考えます。二日間、毎日50件の問い合わせが来ました。10件と90件の予測は合計100件で一致しますが、各日40件ずつ外れます。40件と60件の予測も合計は100件で、日ごとの誤差は各10件です。日々の人員配置を決めるなら、合計の一致だけでは解決策を選べません。
どちらの場合も、正と負の誤差が合計で相殺されることがあります。そのため合計の差と共に、符号を無視した誤差の大きさを示します。この例の一日当たりの平均絶対誤差は、それぞれ40件と10件です。二つ目のモデルの将来性能が検証されたという意味ではありません。同じ合計でも日別計画の質が違い得ることを示すだけです。実際のテストでは日ごとの結果を保存し、チームが必要な判断と結び付けられるようにします。
行動する単位で結果を示しましょう。週間合計は全体の稼働可能性の計画に、日別の分布はシフト設定に役立つかもしれません。依頼された業務に両方が必要なら、一方だけでモデルを評価してはいけません。検収では具体的な誤差をいくつか選び、チームの判断がどう変わるか示します。
不確実性を計画に使える形にする
解決策が区間を返す場合、何を表すのか確認します。予測の横にある二つの数字を、作成者が直感で決めた許容範囲と見なしてはいけません。どの将来値、期間、定められた水準に関する結果かを知る必要があります。
同じ予測の教科書は、予測区間を、定められた確率水準で将来の観測値が入ると期待される範囲として説明しています。予測の不確実性を示すものであり、次の値が必ずその中に入る保証ではありません。
試験では値が境界をどのくらいの頻度で、どれほど外れたかと、区間がどれくらい広かったかを確認します。想像できるほぼすべての件数を含む区間は、勤務表に役立たないかもしれません。結果を頻繁に外す狭い区間も、見かけだけの確信を与えるべきではありません。合意した予測期間と条件で評価し、過去の試験数の限界を明示します。
予測された案件数を、そのまま必要人数に変換してはいけません。案件によって必要な仕事は異なり、チームの能力と稼働時間にも制約があります。これは季節的な問い合わせの増加と対応能力 (ポーランド語)で扱う次の計画段階です。メッセージの件数が正確でも、誰が回答し、どれだけ時間がかかるかは自動的には決まりません。
入ってくる案件の種類が変われば、過去の結果は再評価が必要かもしれません。新しいフォーム、製品、連絡方法は、件数と作業負荷の関係を変えることがあります。データドリフトとAIへの質問の変化 (ポーランド語)ではこの現象を詳しく扱います。すべての誤差を漠然と「大変な週だった」と説明せず、予測の履歴にこうした変化を記録します。
予測そのものが遅れた場合の対応も決めます。勤務表がすでに承認されたなら、金曜日に作られた結果は木曜日の資料の代わりにはなりません。従来の規則を使うのか、特定の判断を延期するのか、合意した手動手順に切り替えるのかを記録しましょう。数値の品質と提供時刻は、同じ解決策の有用性を決める二つの条件です。
Aeneia Auditとの相談には、一つの発行時点、その時に利用できた情報の範囲、保存した予測と後から分かった結果を用意します。簡単な比較規則とチームの判断の説明も残します。過去の木曜日が金曜日の知識を持っていたかのように装わず、話し合いを始められます。よい報告書は、この時間旅行を止められるべきです。







