本文へスキップ
表示言語: 日本語
監査 / Signal

AIが「テストは通りました」と言うとき、そのテストは不具合を見つけられるか

AIのテスト報告について、コマンド、アサーション、結果を確かめ、隔離したコピーで管理された不具合を試します。

記事の言語: 日本語

濃い色のリボンと金色の封でまとめた紙の束がペンの横に置かれている。
目次

「12件のテストがすべて通りました」。修正について1時間話し合った後なら、コーディングアシスタントの報告に安心するかもしれない。タスクを閉じる前に、もう一つ尋ねてみよう。修正が間違っていたら、そのうちどのテストが通らなくなるだろうか。

ケース名、確認する応答、実行結果を見れば、特定の動作についての証拠なのか、何らかのコマンドを実行したという情報なのかを区別できる。AIとの作業では、この二つが短い「完了」にまとめられやすい。後になってみると、「完了」が含む範囲はずいぶん広い。

報告は実際に実行した内容から始まる

正確なコマンド、実行した場所、ツールの結果を求めよう。スクリプトの名前だけでは足りない。あるプロジェクトのtestコマンドは対象のテスト一式を実行し、別のプロジェクトでは書式の確認や案内メッセージの表示しかしないかもしれない。作業を受け取る人は、名前を付けた人の意図を推測せずに範囲を確認できる必要がある。

収集、実行、スキップ、失敗したテストの数を確認しよう。プロセスが終わっただけでは、修正に関するケースが含まれていたか分からない。報告に12件あるなら、新しい動作を確かめたのがどれか示せるはずだ。まったく別のディレクトリーを実行しても、合計数は同じことがある。

pytestの終了コードに関するドキュメントでは、収集したテストがすべて成功した場合をコード0、テストが収集されなかった場合をコード5としている。これはそのツール固有の区別だ。ラッパースクリプトの結果が緑色でも、pytest自体の戻り値と見つかったテストの情報は別に必要である。

実行と実行予定も分けよう。アシスタントが、正しいがまだ実行していないコマンドを書いたり、ファイルの追加を提案しているだけのテストを説明したりすることはある。どちらも役立ちうるが、結果を確認したことにはならない。環境によって実行を妨げられたなら、最終回答にもその限界を残す。

長いログでは、最終結果と範囲を読み取るために必要な完全な記録を保とう。途中で切れたツール出力には、最初の成功だけが含まれ、後の失敗が欠けているかもしれない。アシスタントは成功と要約する前に、プロセスの終わりを読まなければならない。コマンドがまだ動いていることも成功結果ではない。結論を待っている状態だ。

どの版で作業したかも確認しよう。最後の変更より前のテストは、変更後のファイルを自動的に承認しない。保存されたコードの版、テストの版、実行ログを、一組として識別できるようにする。ローカル変更がある場合は、評価したファイルの正確なコピーを残せる。以前に保存した版の表示には、現在のローカル変更が含まれないこともある。

テストが別のプログラムやサービスを起動するなら、何を結果とするか確認しよう。「リクエストを送信した」というメッセージは、処理の始まりにすぎないかもしれない。自社のテスト環境を評価するときは、実行と観察した効果を結び付ける。AI自動化のテスト環境 (ポーランド語)の記事は、その試験を準備する条件を扱う。コードのテストも同じで、操作の実行と結果の確認は別の要素だ。

アサーションは正しい結果を見分けなければならない

アサーションとは、観察した結果が期待と一致するか確かめる検査である。仮の申込システムで、ワークショップの定員が6人だとする。アシスタントへの課題は、6人の申込を受け付け、7人なら断ることだ。テストは、そのワークショップで合意した規則に従って二つの状況を区別しなければならない。

関数を呼び出すだけで応答を確認しなければ、クラッシュは見つかっても、間違った判断は見つからないかもしれない。プログラムが人数に関係なく了承を返す可能性もある。実行エラーがないことだけを期待するテストなら、それでも静かに終わる。成功の意味を書き出そう。単に関数を呼ぶことではなく、6人を受け付け、7人を断ることだ。

期待値を、検査するプログラムと同じ部分に決めさせてはいけない。テストが実装に正解を尋ね、その答えを同じ答えと比べれば、実装が自分自身と一致することしか確認できない場合がある。「6人は許可、7人は拒否」という規則は要件に基づき、テストケースに見える形で記されるべきだ。

アシスタントがテストも変更したなら、期待値の差分を見よう。「7人を断る」を「7人を受け付ける」に変えれば、間違ったコードでもすべてのテストを通りうる。要件変更により正当な場合もあるが、その場合は判断を明示し、別途承認する必要がある。プログラムと基準を同時に変えた後の緑色の結果だけでは、何が修正されたか分からない。

報告された不具合の修正では、その症状を再現するケースを求めよう。修正前の版で実行できるなら、そこで要件との不一致を示し、修正後に通過するのが望ましい。見た目だけの小さな変更すべてについて、膨大なテスト履歴を作る義務があるという意味ではない。追加したテストが、本来直すはずだった問題を扱っているか確かめる助けになる。

使用するデータが正しい版と間違った版を区別できるか確認しよう。2人で試しても、「最大6人」が「6人未満」に変わったことは見つからない。どちらも2人を許すからだ。境界ぴったりのケースなら、100個の乱数を実行しなくても、その違いを確かめられる。

ただし、すべての要件が数値の規則とは限らない。拒否後のメッセージを直すなら、理由の表示と入力済みデータの保持を確認するテストが適切かもしれない。保存の修正なら、後から実際にデータを読み取れるか確認する必要があるかもしれない。どこでも同じ形式を求めるのではなく、受け入れる動作に合わせて証拠を選ぼう。

外部サービスを使うテストでは、実際の接続を制御可能な代替物であるモックに置き換えることがある。プログラムの特定の反応は確認できるが、実際のサービスが動く証拠にはならない。モックが常に成功を返すなら、応答がない場合や拒否された場合はその試験の範囲外だ。報告には、どの部分を代替して確かめたか明記する。

テスト自体のエラー処理も見よう。すべてのエラーを捕捉し、何も確認せずに終わるなら、対象の関数が応答をまったく返さなくても成功と報告されるかもしれない。想定された申込拒否と接続障害、テスト準備のエラーを区別する。どれも通常の実行経路を中断しうるが、示すことは違う。

期待値が大ざっぱすぎて、質問を外していないかも評価しよう。「応答がある」だけでは、7人への拒否が含まれるか分からない。「リストが返った」だけでは、正しい参加者が含まれると確認できない。アシスタントは文法的に正しいアサーションを書いても、掲げた目的には弱すぎる性質しか調べていないことがある。

Aeneiaのコンセプト写真

管理された不具合でテストの感度を確かめる

Strykerのミューテーションテストの説明では、コードを意図的に変更し、テストを再実行する原理が紹介されている。予想どおりテストが失敗すれば、その変更を検出したことが分かる。ミューテーションツール全体を実行しない場合も、この考え方は個別の試験の強さを確かめる助けになる。

コードカバレッジ、つまりテスト中にどの部分が実行されたかという情報だけでは、その結果が正しいかは分からない。Strykerの開発者もこの違いに触れている。修正の受け入れでは、確認する規則を示し、それを壊したときに変わるはずの結果を確かめよう。

ワークショップの例をコピーし、6人も拒否するよう条件を意図的に変更できる。先に選んだ境界テストは、この動作について失敗を報告するはずだ。それでも通るなら、正しいテストを実行したか、変更した関数を本当に使っていたか確認する。

一度に変える要素は一つにし、期待する信号を説明しよう。ファイル全体を壊して読み込めなくすると、主に読み込みエラーを検出できるかが分かる。それは定員についての間違った判断を見分ける証拠とは違う。不具合は、結果が対象の規則についての問いに答える程度に具体的でなければならない。

この試験は隔離したコピーで行い、正しい版に戻そう。テストを評価するために、使用中のシステムへ不具合を入れる必要はない。AIエージェントのサンドボックス (ポーランド語)は動作範囲を制限した環境であり、ファイルや接続へのアクセスも確認する必要がある。ディレクトリーに「test」と名付けるだけでは、その境界は生まれない。

コードを戻したら、同じケースをもう一度実行する。正しい版は通過、管理された誤りのある版は失敗、戻した版は再び通過という、分かりやすい順序が得られる。結果とファイルの差分を一緒に記録しよう。実際には方法を説明しただけなら、この順序を実行したと報告してはいけない。

意図的に加える不具合の範囲は、変更の重要性に合わせよう。定員の境界、データの欠落、拒否を誤って成功と扱うことなど、意味のある規則を選ぶ。目的は受け入れ時の具体的な問いに答えることであり、追加実行の数を誇ることではない。

Aeneia Audit

コーディングアシスタントの作業を何で裏付けるか、一緒に決めましょう。報告方法、確認ケース、検査範囲の限界を評価し、「テストが通った」という主張から何が分かるかをチームが把握できるようにします。AIアシスタントの作業を受け入れるための証拠を整理する

変更したコードを通らずにテストが成功することもある

意図的な不具合を入れても結果が変わらないときは、すぐに期待する答えを変えてはいけない。まず実行経路を確認しよう。テストが別のファイルのコピー、以前に作られたパッケージ、関数を置き換えるモックを読み込んだ可能性がある。その場合、同じテストにデータを追加しても、そもそも到達していないコードは検査できない。

使用されたファイルと関数を示してもらおう。似たディレクトリーが複数あれば、関数名だけでは足りないかもしれない。テスト前にアプリケーションの準備が必要なら、修正後に実行したか確かめる。報告書の中で名前が並んでいるだけでなく、現在のファイルと実行された版が証拠で結び付いている必要がある。

除外も重要だ。アシスタントが一部のファイルへアクセスできなければ、見えている部分しか調べられないことがある。制限が実際に有効だったかと、その条件でどの範囲をテストできたかは別々に評価しよう。この問題は除外されたファイルとコーディングアシスタントの実際のアクセス (ポーランド語)で詳しく扱う。

結果が不安定なら、以前の失敗も残そう。同じケースが通ったり通らなかったりする場合、一度の成功では原因は説明できない。現在時刻、実行順序、前のテストが残したデータに依存していないか確かめる。判明した原因を取り除いた後、確認の試験を合意しよう。緑になるまで繰り返すだけでは、不確実性は取り除けない。

スキップされたテストを、実行して成功した項目に数えてはいけない。必要なサービスにアクセスできないなど、スキップの理由が妥当なこともある。それでも、その環境では問いが未確認のまま残る。最終評価には不足する証拠とその取得方法を記し、すべてを一つの緑の数字にまとめない。

ライブラリーがなく実行が止まったなら、まず依存関係の出所を調べよう。AIが提案したパッケージの確認 (ポーランド語)は、アサーションの強さとは別の問題を扱う。赤いメッセージを消すためだけに適当なパッケージを追加しても、どちらの問いにも答えられない。

最終報告は特定の変更の受け入れに役立つべきだ

「すべて動く」ではなく、どの動作をどの版で確認し、結果がどうだったか記録しよう。この例なら、6人の受け付け、7人の拒否、正しい条件に戻した後の試験通過を報告に示せる。管理された不具合を実際には入れていないなら、実施した確認だけを説明する。

コードとAIエージェントの作業の受け入れ (ポーランド語)では、このような証拠を、その後の利用に対する責任と結び付ける必要がある。変更を受け入れる人は、モック、利用できないサービス、スキップしたケース、レビュー範囲といった残る限界を知る必要がある。現在の結果を説明するのに役立たなければ、失敗したコマンドすべての履歴を受け取る必要はない。

Aeneia Auditでは、AIの利用方法、受け入れ基準、報告された証拠の質を評価できる。コード自体の専門的なレビューには、適切な専門知識と合意された範囲が必要だ。ここでの受け入れは、アシスタントの主張を実際に実行した具体的な試験とその意味に結び付けられるかを扱う。

このような報告があれば、「12件のテスト」は便利な要約として残せる。ただし、その背後には、誤った変更に異議を唱えられるケースがあるべきだ。緑色は「完了」の隣で見栄えがよいからではなく、何かを確かめたからこそ安心を与えるべきである。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear