本文へスキップ
表示言語: 日本語
監査 / Signal

AIのメール返信: 文章が適切でも、別の会話に届くことがある

AIが作成したメールの下書きを、返信先の会話、送信アカウント、宛先、下書きの版まで含めて確認します。

記事の言語: 日本語

街を見渡す大きな窓のそばに、ノートと照明を置いた楕円形の木製テーブルがあります。
目次

件名がどちらも「設営日程」という二通のメールがあります。いずれも顧客が丁寧な文面で、金曜日の予定の確認を求めています。一通はグディニャの小さな展示会、もう一通はヴロツワフのブースに関するものです。アシスタントは適切な日付を選び、整った返信を作って「現地でお会いしましょう」と結びました。ところが、この会話の「現地」はもう一方の都市を指しています。

これは、文章だけを校正しても見つからない誤りの架空例です。メール返信の品質は、どのメッセージに結び付いているか、どのメールボックスから送るか、誰が受け取るかにも左右されます。文面に問題がなくても、操作全体は誤っているかもしれません。

Mostチームが、主催者からの質問に対する返信の下書きにAIを使いたいと考えたとします。送信は従業員が承認します。機能の受け入れ確認はテスト用のアカウントと資料で行い、実際の顧客にはメールを送りません。チームは下書きの内容に加え、会話との結び付きと宛先も確認します。以下の事例はその確認計画であり、自分たちの仕組みの結果はこれから集める必要があります。

件名は会話を探す手掛かりですが、会話を特定するものではありません

「日程のメールに返信して」という指示では、選択の余地が大きすぎます。Mostのサンプルでは、二つの会話は件名が同じで、日付も書き出しも似ています。アシスタントには、返信の根拠となるメッセージを明確に指定する必要があります。確認担当者はその識別子とスレッド、つまり同じ会話に属するメッセージのつながりを記録します。

このつながりを、本文から推測したプロジェクト名で代用してはいけません。社内システムの案件番号は人の確認には役立ちますが、連携機能は使用中のメールサービスで正しいメッセージも指定する必要があります。受け入れ確認では、業務上の案件と操作の技術的な対象の両方を比較します。一方の識別子が正しくても、もう一方の誤りは直りません。

指定したメッセージを利用できない場合、ツールはその旨を表示し、資料の再指定を求めるべきです。似た件名の別の会話を自分で選ぶと、作業が変わってしまいます。サンプルでは架空のメッセージ一通へのアクセスをなくし、別の案件にもっともらしい返信を準備せず、そこで処理が止まるか確認してください。

Gmail APIのスレッドに関する文書は、下書きやメッセージをスレッドに追加する条件として、threadIdの指定、適切なReferencesとIn-Reply-Toヘッダー、件名の一致を挙げています。件名が一致するだけでは、ほかの条件の代わりにはなりません。これはGmail APIの仕組みの説明であり、すべてのメールシステムに共通する手順ではありません。

そのため、Mostの報告書には元のメッセージと対象の会話を識別する情報を残します。従業員向けの日常的なプレビューには、プロジェクト名、最新メッセージの日付、送信者といった分かりやすい要約を使えます。迷ったときは会話の全体を開きます。グディニャの主催者への返信かどうかを判断するために、技術的な文字列を読まなければならない状態は避けます。

似た件名を使う試験では、あらかじめ決めた二つの異なる回答が必要になるようにします。両方の下書きが「確認しました」では、取り違えを見逃すかもしれません。一方の架空の会話では九時を確認し、もう一方では荷下ろし場所を知らせてもらうよう従業員が依頼する設定にします。これにより、一方の案件の資料が他方に混入したか分かります。

「返信」と「全員に返信」は別の作業です

一つ目のケースでは、Mostは案件を担当する人だけに返信します。二つ目では、指定されたコーディネーターも加えます。三つ目では、元のメッセージが「どう解決しましょうか」という問いとともに社内へ転送されています。引用部分に顧客のアドレスがあっても、このメールへの返信先は同僚かもしれません。

チームが意図する操作を明示して選べるようにします。「自分向けの返信案を準備する」「送信者への返信を作る」「参加者全員への返信を作る」は、結果を区別できなければなりません。「返信して」という言葉だけでは、Cc欄のアドレスを再びコピーに含めるか決まりません。本文に名前が出てきたというだけで、モデルが宛先を勝手に増やしてはいけません。

転送されたメールでは、引用部分も確認してください。従業員の社内メモが顧客のメッセージの横にあるというだけで、外部向けの下書きに入ってはいけません。架空の社内メモだと明記した部分と、主催者の質問を別にしたサンプルを用意します。新しく生成した文だけでなく、返信内容と付随する引用も評価します。

Microsoft GraphのcreateReplyAllの説明では、返信の下書きを作成し、別の操作で送信します。元のメッセージに別の返信用アドレスが指定されている場合のreplyToにも注意を促しています。自分たちの連携機能はこの仕組みを正しく使う必要があります。表示された送信者名だけでは宛先の確認に足りません。

サンプルには、表示名と実際のアドレスの違いも含めます。異なる組織を代表する二人が、ともに「コーディネーター」と表示されることがあります。プレビューでは、アドレスとToおよびCcの役割を確認できるようにします。ツールが非表示のコピー先であるBccも使うなら、機能を許可する前にその範囲を別途確認する必要があります。通常の会話参加者一覧からBccを推測してはいけません。

従業員は、準備された下書きに実際に保存された宛先を見られるようにします。アシスタントが返信の下に説明として加えた一覧は、別の宛先を示しているかもしれません。「主催者だけへの返信を準備しました」は説明です。操作に含まれるアドレスの集合を確認して、実際の送信意図を把握します。受け入れ確認では両者を比べてください。

Aeneiaのコンセプト写真

予定する業務にチーム共通のメールボックスと従業員個人のアカウントの両方があるなら、それぞれを使う試験も加えます。同じ文面と宛先でも、どのアカウントから返信を送るかは決まりません。プレビューに実際の送信者アカウントを表示し、試験の正解には期待するアカウントを記録します。操作を評価する前に、アカウントの変更に気付ける必要があります。

下書きにも版があります

従業員が文面と宛先を確認した後、下書きを承認する前に宛先が変わったとします。以前の承認が、何の表示もなく新しい操作まで対象にしてはいけません。承認は、文面、元のメッセージ、送信アカウント、すべての宛先を含む特定の版に結び付ける必要があります。

これは人がAIの操作を承認する手順 (ポーランド語)の一例です。プレビューには実際に行われる内容を示さなければなりません。整った文章の横に承認ボタンがあっても、見えない操作対象を従業員が管理できるわけではありません。

Mostでは、例えば次のように試験します。一つの会話に返信の下書きを作り、使用中のシステムから読み戻して、各項目を試験の正解と比較します。その後、重要な要素を一つ変更します。アプリが変更を認識し、現在の状態を再び評価できるよう提示するか確認してください。試験の宛先は顧客ではなく、チームが管理するアカウントのままにします。

下書きに添付ファイルがあるなら、案件番号を付けて準備済みのサンプルと比べます。二つの架空の見積書は、ファイル名が同じでも内容が異なるかもしれません。ツールが文書を添付するのか、リンクを共有するのか、文章だけを残すのかも決めます。別の渡し方を選ぶなら、「添付します」という文が適切かだけでなく、受信者が資料にアクセスできるか確認する必要があります。

文面の手動編集も別に確認します。従業員が不確かな日程の約束を削除しても、アシスタントが次に下書きを準備するとき、以前の文を戻すことがあります。プレビューでは、アシスタントの提案と人が修正した版を明確に区別します。この問題はAIと人が同時にレコードを変更する場合 (ポーランド語)にもつながります。どの状態を作業の基準とし、どの状態を残すかを決めなければなりません。

Aeneia Auditのサービスでは、案件の選択から下書きの準備、送信の責任まで、具体的なメール業務を出発点にできます。モデルが感じのよい文章を書くかだけでなく、確認可能な操作について話し合うためです。

新しいメッセージで、適切だった返信が古くなることもあります

Mostは朝、金曜日に設営できるかという質問を受けました。下書きはできていますが、承認前に顧客が「予定が変わったので、確認は保留してください」と追加しました。以前の会話の状態に対する返信は、文章として正しくても、実行時には古くなっているかもしれません。

試験では、次の段階に進む前にツールがスレッドの状態を再確認するか調べます。連携機能がこうした変化を検出できないなら、業務上の制限と手動確認の義務を決めます。古い下書きを、最新メッセージへの返信であるかのように従業員へ表示してはいけません。「準備完了」の表示は、提案の根拠となった指定資料に対応する必要があります。

次の試験では、新しいメッセージによってCcの宛先だけが変わります。これにより、文面の確認と操作全体の確認を分けて考えられます。提案文はまだ適切かもしれませんが、それまでのアドレスの集合はもう適切ではありません。チームは、どのメッセージに返信し、誰をその返信に含めるかを意識して決める必要があります。会話の最後の文章だけを選んでも、両方は決まりません。

新着メールのイベントが自動化処理に遅れて届くこともあります。その場合、メールボックスには会話の続きが既に届いているのに、自動化処理は古いきっかけで作業を始めるかもしれません。遅れて届くイベントの確認 (ポーランド語)は、古い処理開始のきっかけと案件の現在の状態を分けて考える助けになります。メールでは、この違いが返信全体の妥当性を左右することがあります。

案件を別の従業員に引き継ぐ場面も試す価値があります。新しい担当者が、下書きは確認待ちなのか、変更されたのか、それともメールは送信済みなのかを判断できる必要があります。文章を生成しただけで依頼を「対応済み」にすると、返信がまだないことを見落とすかもしれません。AIによるメッセージ分類 (ポーランド語)では、分類とその後の対応状況を別々に確認する必要があります。

受け入れ確認では操作の結果まで見る

送信を含む導入では、権限のある人が管理された環境で試験します。下書きを保存したことは送信の証拠ではなく、操作が受け付けられたという確認だけでは、意図したすべてのアカウントで正しいメッセージが見られたとはいえません。各段階でどの証拠が得られ、不確かな結果をどう扱うかを提供者と決めます。管理されたアカウントでの試験では、会話との結び付きも含め、送信側と受信側のメッセージを比較します。操作前に撮った下書きの画面だけでは十分ではありません。

画面に結果が長く表示されないというだけで、再送信してはいけません。まず前の操作がどうなったかを確認する必要があります。報告書には案件、下書き、実行の識別子と実際の送信者を残します。記録の詳しさは確認の必要性に合わせ、やり取り全体を別の報告書へコピーすることを標準の要件にはしません。

サンプルで意図しない宛先へ資料が向けられたことが分かったら、誤りが生じた仕組みを正確に記録し、解明されるまでその方法での作業を止めます。実際の事案では、合意済みのAIツールにおけるデータ事故への対応 (ポーランド語)も必要です。モデルへの指示を変えても、何が誰に実際に渡ったのかを確認する代わりにはなりません。

Mostの最終記録では、正しい会話を選んだか、適切な文面を準備したか、正しい宛先を定めたか、合意した段階を実行したかという四つの結果を分けます。そうすれば、自動送信をまだ許可しなくても、文章作成の補助だけを受け入れられます。それぞれの判断には別の範囲があります。下書きの末尾に丁寧な「よろしくお願いします」があるだけでは、どれも確認できません。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear