ブラウザーのAIエージェント: ボタンを押しただけでは仕事は終わらない
ブラウザーで動くAIエージェントを、正しいレコード、現在の画面、遅延、確認できた結果まで含めて評価します。
記事の言語: 日本語

目次
エージェントが一行を選び、「保存」を押して、作業が終わったと報告しました。ところがアプリで変更されたのは、名前がよく似た別の会社でした。録画では、ポインターがボタンに当たり、ウィンドウが閉じ、緑色のメッセージも表示されています。一連の操作は順調に見えても、成功したのは意図しないレコードへの変更です。
ブラウザーを操作するエージェントでは、意図、実行した操作、確認できた結果を分けて考える必要があります。ツールがクリックを正しく行っても、仕事全体は失敗することがあります。評価では、指示から正しい対象をたどり、操作先のアプリに見える状態まで確かめます。
架空のレコードを用意した管理下の環境で始めるとよいでしょう。実際の顧客データを変更せずに、似た名前、遅れて現れるウィンドウ、結果が不明な状況を試せます。操作が見事に見える動画も役立ちますが、事前に定めた仕事の確認方法の代わりにはなりません。
何を変更する仕事だったのか
エージェントが架空の会社レコードの一つの欄を埋めるとします。データベースには「Studio Północ」と「Studio Północ - 支店」があり、一覧では名前が途中までしか表示されません。指示では、IDと名前など、確認できる方法で正しい対象を指定する必要があります。そうしなければ、エージェントと評価者が別々の仕事を解いているかもしれません。
試す前に、最初の状態と期待する変更を記録します。欄、値、範囲を明記してください。一件のレコードなのか、選択したグループなのか、一覧全体なのかを決めます。仕事に含まれないものも定めます。適切な検収では、新しい値だけでなく、似たレコードに意図しない変更がないことも確認します。
結果の証拠も決めます。正しいレコードをもう一度開き、保存された欄を読み取る方法があります。別の作業では、申請の状態やダウンロードしたファイルの表示が必要かもしれません。証拠は仕事の内容に合っている必要があります。編集画面が閉じただけでは、アプリが変更を保存したか分かりません。
OpenAIのcomputer useに関する文書(英語)は、呼び出しのcompleted状態がモデルによる要求の生成完了を意味し、アプリ側にはまだその実行が必要だと説明しています。実行後に現在の画面を返します。この技術的な区別からも、ツールの状態名だけで利用者の仕事の検収を代替できないことが分かります。
責任あるAIエージェントのワークフロー (ポーランド語)では、各段階の役割と制限を決めます。誰が対象を指定し、誰が操作を行い、誰が結果を確認するのでしょうか。すべてを単に「エージェントがやった」と呼ぶと、どこで情報や確認が欠けたのか分かりにくくなります。
仕事を変えずに画面の配置を変える
まず見慣れた画面で単純なテストをします。次に同じ仕事のまま、一覧の並び順やウィンドウの幅を変えます。エージェントは引き続き正しいレコードを見つけるでしょうか。それとも以前の位置への動きを繰り返すでしょうか。何を見て判断し、変更直前に何を見たか記録してください。
Anthropicのクリックに関する問題の説明(英語)は、画面とスクリーンショットの尺度の違いや、曖昧で似た要素などを原因として挙げています。実際に起こり得る具体的な問題です。ただし、すべての誤操作をポインターのずれに還元してはいけません。対象や目的そのものを取り違えた場合もあります。
テストに似たボタンを二つ置くとしても、ツールを負かすためだけの難問にしないでください。アプリで実際に現れる配置を使います。たとえば下書きの「保存」と「保存して送信」、または隣り合う行の操作です。期待する選択は指示と現在の画面から導ける必要があります。
遅れて現れるウィンドウも用意します。案内、確認画面、アプリからのメッセージなどです。次の操作が本来の要素に届くのか、新しいレイヤーに当たるのか確認します。操作前の画像と操作後の状態を残してください。画面の誤読と、読み取った後に生じた変化を区別する助けになります。
スクロールや更新の後に一覧が変わる状況も加えます。レコードは前に見た位置から移動することがあります。特に前の段階に時間がかかったとき、エージェントが操作前に現在の状態を見直すか確かめます。古いスクリーンショットは以前の状況の記録であり、ずっと使えるボタンの地図ではありません。
ブラウザーのタブとアカウントも確認してください。似た二つの画面が別のプロジェクトや組織に属しているかもしれません。変更前に、利用者が確かめられる方法で文脈を把握する必要があります。両方のタブのタイトルが「顧客」なら、ページ名だけでは足りないことがあります。
AI自動化のテスト環境 (ポーランド語)では、その違いを意図的に用意します。架空のプロジェクトを二つ作り、それぞれに似たレコードを一件ずつ置きます。一方で正しい変更が行われたことだけでなく、もう一方が変更されていないことも検収します。新しい値だけでなく、仕事の境界まで証拠に含められます。
次の判断ができる状態を待つ
クリック後、アプリが変更を処理するまでに時間がかかることがあります。その間にエージェントが何をするか確認してください。応答が見えないとき、操作を繰り返すのか、先に進むのか、状態を読み取るのか。管理下のテストに遅延を加え、一連の流れを見ます。すべてのウィンドウがすぐに表示される最速の経路だけを評価してはいけません。
一部だけ成功する結果も用意します。テキスト欄は保存されても、添付ファイルが拒否されるかもしれません。仕事に両方が必要なら、エージェントは最初の成功だけをもとに一つの総合メッセージを選ばず、それぞれの状態を示すべきです。確認済みの部分を繰り返さず、利用者が不足分を安全に完了できるかも記録します。

フォームの入力確認も加えます。一つの欄は修正が必要で、他の入力値は残っている状況です。エージェントが正しいメッセージを認識し、対象の部分だけを直すか確かめます。フォーム全体を最初から入力し直すなら、最終値を承認された提案と比べます。一つの誤りを直す間に、他の部分が気づかれずに変わってはいけません。
保存エラーのメッセージも別に用意します。エージェントは結果が得られないことと完了を確認できたことを区別すべきです。人に何を示し、仕事にどの状態を付けるか記録します。「確認できませんでした」は誠実な結果になり得ます。しかし状態が不明なまま、報告では「何も変わりませんでした」に変わってはいけません。
外部に影響する操作では、必要な承認の境界と環境が技術的にできることを事前に決めます。エージェントがファイルやネットワークも使うなら、環境の名前から推測するのではなく、サンドボックスの実際の範囲 (ポーランド語)を確認します。テストで実際にメッセージを送ったり権限を変えたりする必要はありません。提案を記録する代替操作を使い、実行準備とプレビューを確かめられます。評価は振る舞いを明らかにするものであり、実際の副作用を生むものではありません。
人によるAIの操作の承認 (ポーランド語)では、承認前に対象、変更内容、範囲を示します。一件のレコードへの同意が、知らないうちに結果一覧のページ全体へ広がってはいけません。拒否した場合も試します。エージェントは該当する操作を止めるでしょうか。アプリが別の経路でそれを実行しないでしょうか。
ファイルをダウンロードする仕事なら、「ダウンロード」を押したことだけでなくファイルを確かめます。管理下のテストで、名前、資料の種類、内容を期待したものと比べてください。アプリが文書を後から生成する状態も別に用意します。エージェントは待機中だと認識し、空のファイルや以前のファイルを新しい結果として示さないようにします。
保存前のプレビューが必要なら、人が実際に何を見られるかを評価します。対象の完全な名前と変更する欄が示されていますか。それとも承認ボタンだけでしょうか。適切な文脈のない承認では、手順の履歴に形式上の承認段階があっても誤りを見逃すことがあります。
エージェントがページや文書の内容を受け取っても、その内容だけで依頼の範囲を広げてはいけません。この境界の検討には、管理された資料を使う別のシナリオが必要です。今回の検収では、少なくとも指示の出所を識別できるよう残し、すでに定められた操作の範囲を守ります。画面上のすべてのメッセージを、依頼者による新たな同意として扱わないでください。
Aeneia Auditでの検討に向けて、一つの仕事、管理下のアプリ画面、最終結果の定義を用意してください。モデル自身の申告だけに頼らず、プロセスの振る舞いを確かめられます。
中断から戻ることも別の仕事
クリックの後、エージェントが確認を受け取る前にテストを中断します。再開時には、再試行する前に現在の状態を読み取るか確かめてください。前の操作が実は成功していた場合、繰り返すと二度目の結果を生むことがあります。結果が不明なら、反射的に仕事全体を最初からやり直すのではなく、状態を確かめる手段が必要です。
対象の識別子と作業を中断した段階を記録します。ポインターの動きを長く説明しても、この情報の代わりにはなりません。引き継ぐ人には、何が確認済みで、何が提案だけで、何を読み取れなかったかが分かる必要があります。戻ったとき画面が変わっていても作業を続けやすくなります。
項目が多い場合は、それぞれの応答を正しい入力に結び付けます。詳しくはAI一括処理の結果とレコードの照合 (ポーランド語)を参照してください。「一括処理完了」だけでは、どのレコードの変更が確認され、どれが拒否され、どれがまだ確認待ちかは分かりません。
新しいコードやツールを採用する仕事も含むなら、AIが提案した依存関係の確認 (ポーランド語)で説明する別の判断を保ちます。エージェントが画面を手際よく操作できても、環境の範囲を広げる根拠があるとは限りません。技術的にクリックできることだけでは、その操作が依頼に含まれるか決まりません。
各テストで、対象の選択、操作の試行、結果の確認を別々に記録します。選択の時点で誤りが出るなら、認識方法や指示を直す必要があります。正しいレコードを選んでも保存を確認できなかった場合は、別の対応が必要です。仕事全体の一つの結果は報告に役立ちますが、どの段階に問題があったかの診断には代わりません。
確認する人の負担も比べます。操作のたびに似たレコードをすべて自分で開かなければならないなら、解決策は多くの仕事を検収側に移したことになります。その負担と確認範囲を一緒に記録してください。続けて使うかどうかの判断では、動画に映るポインターの動きの時間だけでなく、プロセス全体を考慮できます。
結果の引き継ぎには、人が読める短い記録を用意します。対象、変更内容、確認結果、未解決の項目です。テストを見ていない人に次の一手を尋ねます。操作を再試行すべきか、状態を読むだけでよいか分からなければ、要約を直す必要があります。それまでのクリックをすべて再現できても、これはプロセスの使いやすさに関する別の問題です。
最終判断では、利用を許す範囲を実際に評価した仕事と条件に限ります。一種類のフォームだけを評価したなら、その範囲と、アプリが変わった後に再検討する時点を記録します。チームは定めた方法をいつ使え、いつ新しいテストが必要かを知ることができます。
修正後は、問題を明らかにしたケースと、その周辺のいくつかの条件を再テストします。正しい行の認識を直したなら、別の並び順や似た名前でも確かめます。テストで何を確認できたか記録してください。一度成功した録画を、アプリのあらゆる変更に対応できるという約束に変えてはいけません。
適切な検収は、確かめられる文章で終わります。このレコードにこの値が保存され、確認対象の他のレコードは状態を保ち、証拠はここにあるという文章です。そのときエージェントは、役立つ説明とともに「完了」と言えます。画面の緑色のメッセージはやはりうれしいものですが、今度は正しい対象についての知らせです。







