本文へスキップ
表示言語: 日本語
監査 / Signal

写真の箱は十二個。AIによる物体の数え上げの限界

AIの数え上げを評価する際は単位を定義し、各物体がどのように示されたかを比較し、画像から確かめられないことを示します。

記事の言語: 日本語

風景を望む大きな円形の構造物の前で、テーブルのそばにいる二人。
目次

結果は十二です。基準となる答えも十二です。しかしテストを正しいと受け入れる前に、何を数えたか確認しましょう。モデルは箱を一つ見落とし、別の箱を二回指したかもしれません。合計が合っていても、その認識は正しくなりません。二つの誤りが同じ答えのところで出会っただけです。

写真もAIも使わずに示せます。自分たちの簡単な計算では、p01からp12まで十二個の架空の識別子を使います。報告された一覧にはp01からp11と、もう一度p01が入っています。項目は十二個ですが、異なる対象の識別は十一個だけで、p12が欠けています。これは論理的な例であり、モデルの結果でも写真の数え上げ品質の証拠でもありません。

したがって物体の数え上げを受け入れるには、数だけでなく、一単位の意味と結果を確認できる根拠が必要です。写真の内容を尋ねる単純な業務上の質問も同じです。倉庫の写真に見える包装の数があっても、その背後にある物の全体の状態までは明らかにならないかもしれません。

この作業で一つの物体とは何か

紙の装飾セットを撮影し、材料の説明を作る架空の工房を考えます。机にはセット入りの箱が並び、その横には複数の部品が入った開封済みの包装があります。「商品はいくつありますか」という問いだけでは、包装、販売するセット、個々の部品のどれを数えるか決まりません。商品を知る人と、画像を分析するモデルが異なる単位で答えることがあります。

対象と画角の範囲を明示します。「机の上に見える閉じた箱を数える」と「発送するセットはいくつ準備されたか」は意味が異なります。後者には写真に含まれない情報が必要かもしれません。空の包装と完成したセットは、外から似て見えることがあります。画像を数える際に、中身の状態を勝手に補ってはいけません。

一部だけ見える物体にも合意したルールが必要です。端にふたの一部が見えた場合、箱として数えますか。答えは作業の目的や識別できるかどうかに依存するかもしれません。モデルの答えを見てから決めないでください。そうすると、期待する合計によって、同じ対象の示し方を異なる評価にしてしまいます。

CVPR 2021のLearning To Count Everythingの著者による文書は、枠で示した物体の例を使う数え上げを示しています。これは特定の入力を使う方法であり、写真のどんな物でも数えられるという普遍的な約束ではありません。どの種類の独立した物体を数えるかを定める必要性を示す例です。

通常の業務では、明確な定義と受け入れ確認用の集合にある注釈付きの例が、その役割を果たせます。基準には、数に含めた物体を一つずつ示すべきです。端の断片について二人の判断が一致しないなら、未解決として記録します。無作為に選んだ数は、「専門家の答え」と呼んだからといって強い根拠にはなりません。

商品の種類を認識することと、個々の実物を認識することを混同しないでください。写真からの商品検索 (ポーランド語)は包装のモデルを示せるかもしれません。リンク先はポーランド語です。数え上げにはさらに、実際に見える別々の個体がいくつあるかを確認する必要があります。「箱」というクラスのラベル一つが一個を意味するわけではなく、同じ箱に複数のラベルがあっても複数個にはなりません。

反射と包装に印刷された写真も別のケースです。ポスター上の箱の絵は、机の上のもう一つの箱ではありません。鏡の反射は、追加の物ではなく同じ個体を映しているかもしれません。実際の資料にこうした状況があるなら、受け入れ確認用の集合にも含めるべきです。似た形が見えるたびに数へ加えると決めつけず、作業に応じた期待判断を用意します。

実際の数が分かっている物で、小さな対照写真のシリーズを作れます。最初に物を別々に並べ、次に一部を隠し、その後、似た包装の写真を背景に加えます。それぞれの変更を記録してください。目的は代表的な一枚を示すことではなく、条件を比較することです。この記事では、そのような写真シリーズは撮影していません。受け入れ確認のためのテスト案です。その基準では、机に置いたことが分かっている実物の数と、その写真で存在を確認できる物の数を区別すべきです。

数字から、比較できる個々の対象の特定へ

OpenAIは画像分析モデルの限界として、物体の数が概数になる場合があると記しています。これは能力の範囲に関する注意であり、この業務工程の測定結果ではありません。会社が正確な数を必要とするなら、代表的な資料でその条件を別途受け入れ確認する必要があります。

同じテストの画像、質問、結果を保管します。ツールが物体に印を付けられるなら、どの物体を示したか分かる形で結果を求め、基準と比較します。識別子の例では、この確認によって初めて欠けたp12と繰り返されたp01が分かります。答えの根拠が誤っていても、合計の差はゼロです。

すべての製品が個々の対象を示す結果を返すわけではありません。数だけを受け取る場合は基準と比較できますが、どの箱で誤ったかを特定できません。その後のモデルの説明から、検出した物体の一覧を作り上げないでください。報告書にはこの観察上の限界を残すべきです。位置の確認が作業の一部なら、位置を提供する方法を検討できます。その選択にも受け入れ確認が必要です。画面に枠を追加しても、それが合計を生んだ工程と一致する証拠にはなりません。

Hugging Faceは物体検出を、指定されたクラスを枠とラベルで認識する作業と説明し、APIの応答には数値スコアも含まれます。これは合計だけを述べた文章とは異なる種類の結果です。枠は確認の助けになりますが、それぞれを自動的に別の物体と認めず、正確さも評価する必要があります。

複数の枠が同じ個体を指していないか、一つの枠が隣り合う二つを覆っていないか、一部だけ見える物体を見落としていないか確認します。示された結果を残すしきい値を変えると数が変わることがあります。設定が分かるなら報告書に記録し、処理が不明ならその限界を明示します。一方の一覧だけに追加のフィルターがかかった場合、同じ条件で作られた合計として比較しないでください。

Aeneiaのコンセプト写真

選んだクラスの物体がない画像も含めます。ゼロという結果は、適切に行われた分析が対象範囲内でその物体を見つけなかったことを意味すべきです。ファイル読み取りエラー、空の応答、必要なクラスへの非対応に同じ値を与えてはいけません。この例では、空の机の写真と、物でいっぱいの机の画像を読み込めなかった場合は異なります。結果を後の説明作業に使う前に、チームがこの違いを認識する必要があります。

はっきり見える物体が一つだけ違う、似た二枚の画像も用意します。残りの物は似た配置にします。合意した定義に従えば、期待結果は一つ違うはずです。この組は、積み重ねの一般的な形や、よく繰り返される固定数に基づいた答えを見つける助けになります。二枚の画像とそれぞれの注釈を保管します。実際の作業の質問に期待する差が含まれないなら、モデルへの質問にその差を追加しないでください。

枠を重ねて描くには、座標を結果画像へ正しく移すこと (ポーランド語)が必要です。リンク先はポーランド語です。数値の一覧は縮小画像に対して正しくても、元画像には誤って描かれることがあります。その場合、受け入れ担当者はどの物体を指したか確認できません。枠の合計が整って見えても、視覚的な証拠は別の場所を指しています。

入力画像には、数えるために必要な範囲を残すべきです。モデルに渡す前の画像準備 (ポーランド語)には、必要な細部を失う可能性のあるサイズ変更や切り抜きが含まれます。リンク先はポーランド語です。机の一部が分析資料の外にあるなら、結果が撮影した場面全体を自動的に説明するわけではありません。違いを示さずに、より広い画像の基準と比較してはいけません。

複数の写真では、画像上の出現回数の合計を求めるのか、重複しない実物の数を求めるのかを決めます。同じ荷物を二方向から撮れば、見える箱について二つの正しい読み取りが得られることがあります。それらを足しても、工房にある物の数は確認できません。同じ個体の繰り返しを認識するには、実際に読み取れる合意済みの印など、別の根拠が必要です。

そのためにラベルを使うなら、数え上げとバーコードの解読や商品の認識 (ポーランド語)を区別します。リンク先はポーランド語です。複数の物に共通する型番は、各個体の識別子ではありません。二つの箱に同じ文字が見えるだけでは、一つの物を二回撮ったのか、似た二つの物を撮ったのか決まりません。

Aeneia Auditでは、工程が画像からどの情報を導き、次の判断を何に基づけるかを確認できます。資料は、基準が明確に示された限定的な写真の集合と、結果の想定利用範囲です。これにより、概算の提案が必要なのか、現在の方法ではまだ確認できていない正確さの条件が必要なのかを評価できます。

Aeneia Audit

数える単位、見える範囲、個々の物体がどのように示されたかを確認する方法を一緒に決めましょう。実際の仕事で使うものに似た写真と、物体に自分たちで付けた印を用意すれば、結果を実際の基準と比較できます。

写真の物体数の受け入れ確認を相談する

見える配置は隠れた数を証明しない

物が隠れていると、正確な数を判断する根拠が足りないことがあります。箱が規則的に並んでいても、見えない列が埋まっている証拠にはなりません。明示した仮定に基づいて推定することはできますが、そのように名前を付ける必要があります。「少なくとも何個見える」や「全体の数は判断できない」という答えは、合意した作業と画像が実際に明らかにすることに合っているべきです。

下限にも根拠が必要です。見える三つの断片が一つの包装に属する可能性があるなら、追加情報なしに少なくとも三個と数えてはいけません。まず別々の物かどうかを判断します。推定範囲を示すなら、両端の根拠を示します。十から二十という範囲は、幅が広いだけで慎重な結果になるわけではありません。画像に必要な情報がなければ、断定的な数値一つと同じくらい根拠がない可能性があります。

根拠がないときにAIが適切に回答を断ること (ポーランド語)もここで役立ちます。リンク先はポーランド語です。見えていない部分をパターンから補い、確実な数に変えてはいけません。一方、明瞭で曖昧さのない画像で回答を断ることも工程の誤りになりえます。受け入れ確認には、数えられるケースと、限定的な結果が必要なケースの両方を含めるべきです。

合計の誤りと、別々の物体の認識における誤りを分けて示します。画角の範囲や手動評価が必要なケースの情報も保持します。開いた棚の写真の結果と、多くの物が隠れた密な積み重ねの結果を同じ意味に扱ってはいけません。一つの総合精度だけでは、まさにその違いを隠すことがあります。

各テスト群の件数も記録します。簡単な一物体の写真が大量にあると、少数の難しい画像の結果が埋もれることがあります。実際のチームの仕事に合うのが後者であっても同じです。評価が正確な合計、許容誤差、個々の対象の示し方の一致のどれを対象とするかも示します。p01からp12までの計算は、これらの基準が交換可能ではない理由を示しています。工程が写真の予備的な整理だけに使われるなら、その範囲を意識して受け入れられます。後から実物の全数が確認されたと説明すべきではありません。

撮影方法を変えた後はテストを繰り返します。新しい背景、角度、距離は、製品が使う資料を変える可能性があります。箱を別々に並べる変更も同時に行ったなら、改善を新しいプロンプトだけの成果にしないでください。物を見やすく配置すれば作業が容易になることがあります。モデルの能力だけに帰さず、その変更を報告書に記載します。

この例では、正しい数が逆方向の二つの誤りを隠す可能性のある難しい画像を一つ、受け入れ確認に含める価値があります。どの物体が示されたかを比較して初めて、結果の根拠を判断できます。一覧の十二項目が、写真中の別々の十二個の箱と結び付くかを確認する必要があります。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear