AIが物体を示したのに、座標を変換すると枠がずれた
AIが返した物体の座標について、軸の順序、縮尺、切り抜き、回転を確認します。計算例でモデルへの入力からプレビューまで枠を追います。
記事の言語: 日本語

目次
写真には箱がいくつか並んでいる。モデルは正しい青い箱を指しているのに、プレビューの枠は隣の箱を囲んでいる。報告書の名前は合い、四つの値も有効な数値だ。それでも担当者は違う箱を見ている。AIへの指示を直す前に、その座標がたどった経路を追ってみよう。
物体を認識することと、その位置を表示することは別の結果だ。その間にアプリが写真を縮小したり、一部を切り抜いたり、画像を回転させたり、余白を加えたりする場合がある。一つの画面で正しい位置が、別の画面でも正しいとは限らない。
紙の見本を入れた箱に印を付ける架空の作業場を考える。装置やロボットを操作する話ではない。写真を閲覧するツールで物体を指定する作業だ。以下の変換例は人工的なデータで計算を確かめたもので、モデルが写真を分析した結果ではない。
同じ四つの数字でも意味は変わる
バウンディングボックスは、指定した物体を囲む長方形だ。描くには、どこを起点に距離を数えるか、位置をどう表すか、基準画像の大きさはいくつかを知る必要がある。四つの値を並べるだけでは分からない。
長方形に何を含めるかも決める。作業場では見えている箱を対象とし、その影や隣の容器からはみ出した紙は含めない。この作業では、開いたふたの見える部分も箱に含める。これは作業場が提案するルールであり、すべてのモデルの性質ではない。一人が本体だけを、一人がふたも含めて指定すると、二つの異なる基準となる印ができる。回答の評価前にその違いを決めなければ、換算する前から枠を巡る議論が始まってしまう。
Geminiの物体検出の例では、枠はymin、xmin、ymax、xmaxの順で、座標は画像を基準として0から1000の範囲に正規化される。したがって最初の値は縦軸に対応する。これは説明された方法の取り決めであり、すべてのAIの回答に共通する形式ではない。
これに対し、Amazon RekognitionのBoundingBoxリファレンス(英語)は、左上の位置と幅、高さを画像の寸法に対する比率で説明している。原点は左上にある。長方形の大きさを表す値は、反対側の角の座標ではない。顔の一部だけが見えている場合など、座標が画像の範囲外に出ることもあると説明している。
アプリが二つの記述を取り違えると、エラーを示さずに枠を描けてしまう。そのため、正しいJSONだけではデータの意味を確認できない (ポーランド語)。受け入れ確認では四つの数字の有無だけでなく、フィールド名、軸の順序、単位も確かめる必要がある。
特定の連携について、入出力を簡潔に記録する。どのファイルをモデルに渡し、寸法はいくつだったか、返された値をどう解釈し、どの画像で使うかを書く。「標準的な座標」という名前だけで済ませない。一つのツールにとっての標準が、次のツールにもなじみのある形式とは限らない。
値の範囲の確認はこの記述に基づいて行う。角の順序が逆転している場合や許されない大きさの場合は、結果の使用を止めて理由を示す。画像の外にはみ出すことが許される枠なら、生の結果と実際に画面に見える部分を分ける。表示する線を画面内に切り詰めたからといって、後の段階に渡すデータを黙って置き換えてはならない。切り詰めるルールは見た目の問題ではなく、受け入れ確認の一部だ。
計算の前に、物体の指定が正しいかどうかと座標の変換を分ける。入力画像では正しい箱を囲んでいても、プレビューでは枠がずれることがある。一方、モデルが間違った物体を選んだ入力から、枠を正確に移すこともある。前者は位置の受け渡し、後者は認識の問題だ。両方を同時に直すと、何が実際に効いたかを確かめにくい。
一つの長方形を三つの画像で追う
幅2400、高さ1600ピクセルの写真を考える。アプリは左から600ピクセル、上から200ピクセルの位置を始点に一部を切り抜く。切り抜きは1200 x 800ピクセルで、これを600 x 400に縮小した画像がモデルに渡される。
返された枠が、先ほどのymin、xmin、ymax、xmaxの順に250、200、750、800だったとする。これは計算のために作った値で、モデルの品質を測定したものではない。以下の点の組はすでにx、yの順、つまり左からの距離、次に上からの距離で表す。変換は次のようになる。
- 600 x 400ピクセルの入力では左端が120、右端が480、上端が100、下端が300ピクセルにある。値を1000で割った後、横軸の値に幅を、縦軸の値に高さを掛ける。
- 1200 x 800の切り抜きに戻るには、この例では距離を二倍にする。切り抜きの原点から測ると、枠は240、200から960、600まで広がる。
- 写真全体に戻るには、切り抜きの開始位置を加える。横に600、縦に200を足すと、元画像を基準とする角は840、400と1560、800になる。
この計算はAIとは独立して確かめられる。上の人工データについて、続くプレビューと回転も含めて短いスクリプトで計算を確かめた。画像は作成せず、モデルも呼び出していない。このような試験で、幾何変換と認識の正確さを切り分けられる。
結果に元画像の寸法を掛けるだけでは、切り抜きを考慮できない。モデルが写真全体を見たかのように枠が変換される。これは指示文の次の案を評価する前に明らかにしたい間違いだ。入力の詳細を増やしても、失われた開始位置は取り戻せない。
canvasのdrawImageドキュメント(英語)は、画像から切り取る元の長方形と、描画先の長方形を区別している。プレビューに見える大きさや位置が元の座標と一致するとは限らない理由を示す例だ。二つの段階のパラメータは別の意味を持つ。

計算をプレビューまで進めよう。元画像全体を四分の一に縮小して600 x 400ピクセルにすると、枠は210、100から390、200までになる。この画像を左に100ピクセル、上に50ピクセルの余白がある大きなキャンバスに置くと、キャンバス上の枠の角は310、150と490、250になる。この場合も計算で確かめた。余白を忘れると、正しく縮尺を変えた枠もずれる。
ウィンドウの幅が変わるとプレビューの大きさや余白も変わり得る。その場合は現在の表示方法に合わせて換算しなければならない。提案する受け入れ試験では、回答を受け取った後に表示サイズを変更する。最初の画面で一度だけ正しい長方形を示しても十分ではない。
回転も基準となる座標系を変える。この計算では元画像全体を時計回りに90度回すと、1600 x 2400ピクセルの画像になる。角を換算すると同じ枠は800、840から1200、1560まで広がる。画像の幅と高さを入れ替えるだけで、古い位置をそのまま残してはいけない。
この例で計算するのは個々のピクセル番号ではなく、辺の連続的な位置だ。すべての角を変換してから、新しい長方形を作る端の位置を選ぶ。画像を切り抜く際の丸め方は実装担当者が別に記録する必要がある。その後に縮尺を変える前に早く丸めすぎると、最終的な境界に影響する場合がある。丸め前の値だけでなく、実際に保存されたファイルを確かめる。
Rekognitionの画像の向きに関するドキュメント(英語)は、説明された顔分析操作の範囲で、枠がExifの向きに合わせてすでに補正されている場合も示している。その場合、同じ補正をもう一度行ってはならない。実際の連携では、結果がどの画像を基準にしているかを定める必要がある。
記録された向きと、ピクセルが実際に回転された状態は区別する。写真を扱うすべての段階で同じ操作が行われたと決めつけない。受け入れ確認には、各段階の画像とその寸法が必要だ。スクリーンショットがどのファイルを示すのか決めずに話し合うと、異なる二つの状態に同意したことになりかねない。
実際に使う場所でも枠が正しく働くか
作業場ではプレビューを箱の選択に使い、次の段階でその箱の写真を切り抜くことがある。両方の結果を確認する。切り抜き機能が別のサイズの画像に対応する数値を受け取っていても、画面上の枠は正しく見える場合がある。枠だけの受け入れ確認では、結果ファイルの正しさは確認できない。
切り抜きを保存するときは元の写真を再び選び、どこから内容を取り出したかを示す。担当者が枠を修正した場合は、その人が承認した版をモデルの生の回答と分けて保存する。そうすれば後の分析が手動修正を警告なしに上書きすることを防げる。報告書でも、AIが正しく指定した結果と、人が直して正しくした結果を区別できるようにする。
選択範囲がAIによる商品写真の編集 (ポーランド語)の範囲を定めるなら、正しい位置は受け入れ確認の始まりにすぎない。領域内で何を変更してよく、何を維持するかを別に決める。枠があることは商品を再設計してよいという許可ではない。
印がクリック可能な領域になるなら、クリック自体も確かめる。一覧と区画を備えたインタラクティブな施設案内図 (ポーランド語)では、区画の指定が正しい情報につながる必要がある。写真でも同じ責任が生じる。表示サイズを変えた後も、見える枠と操作可能な領域は同じ対象に対応しなければならない。
モデルに渡す前の画像の準備 (ポーランド語)では、元に戻るために必要なデータを残す。最終的な数値と箱の名前だけを保存しても足りない。切り抜きを変えた後、ファイルとの対応がない古い座標は、同じ青い物体に関するからといって現在の座標にはならない。
遅れて届く回答も考慮する。前の写真の分析が終わったとき、担当者はすでに次の写真を開いているかもしれない。回答を現在表示中の画像に重ねるのではなく、特定の入力とその版に結び付ける。受け入れ試験では二つの結果が届く順序を逆にする。それぞれの枠は自分の写真に対応したままでなければならない。アニメーションを速くしても、この結び付きの代わりにはならない。
Aeneia AuditによるAI利用のレビューでは、この過程を画像、結果、受け入れ判断に分けて検討できる。相談のために、元画像、実際に分析へ渡した資料、生の回答、最終プレビューまたは切り抜きを用意する。どの段階で位置の意味が変わったかを確かめる助けになる。
商品の画像検索 (ポーランド語)が答えるのは、正しいモデルやバリエーションを見つけたかという別の質問だ。枠が正しくても、カタログ内で箱の正体が証明されたわけではない。指定した物体から商品ページに進むなら、その遷移も確認する必要がある。
許容できる位置の差は、その後の使い方に応じて定める。プレビューでは箱の周囲にわずかな余白を許せても、切り抜きではふたが欠けてはいけない。どちらの場合も、隣の物体を囲むことは、端が少しずれることとは別の誤りだ。同じ画像上で最終結果を合意した基準の印と比較する。どの大きさを基準にするか示さず、ピクセル単位の許容差を計算してはならない。
最後に一つの物体を指定してもらい、実際に使う結果までの全経路をたどる。名前、長方形、最終ファイルは、正しい版の画像上で同じ物体を表していなければならない。枠がまだ隣を囲んでいるなら、隣の名前を直すのではなく、座標系が最初に食い違った場所へ戻る。






