本文へスキップ
表示言語: 日本語
監査 / Signal

AIサービスの購入前に:ベンダー評価で確かめたい根拠

AIベンダーを、データ、アクセス権、契約条件、実作業での試行、障害時の対応、利用終了と移行の観点から評価する方法。購入判断に必要な根拠を整理します。

記事の言語: 日本語

紺と赤の作業室で、二人の専門家が真鍮の天秤のそばで石の試料を比べている。
目次

デモは見事です。きちんと準備された課題を、ツールが手際よくこなします。ただ、購入するには、自社のデータでの動作、エラーへの対応、利用条件、契約を終える方法まで確かめる必要があります。提供事業者(ベンダー)の評価は、具体的な用途と試行の範囲を決めるために行います。見栄えのよい画面は話のきっかけにはなります。発注の判断まで任せるわけにはいきません。

選択肢には、範囲を定めた購入、限定的な試行、根拠の補足依頼、導入しないという判断があります。一見精密に見える点数で順位を付ける必要はありません。ベンダーから必須条件の確認が得られないなら、画面の見た目で高得点を付けても、その問題は解決しません。以下の進め方で、製品への関心を、理由のある判断につなげます。

まず、業務の責任者の立場で購入の目的を整理する

対象の作業、現在の進め方、成果物を受け取る人、誤りがあった場合の影響を書き出します。扱う資料の種類、必要な連携、成果物を下書きとして扱うのかも加えてください。ベンダーへの質問が、実際の仕事に結び付きます。「御社のAIは安全ですか」という大きな問いには、同じくらい大きな答えが返ってきがちです。

必須条件と、あると便利な機能を分けます。アクセス範囲を制限できることは購入条件でも、使いやすいエディタは単なる長所かもしれません。この区別をデモの後で始めないようにします。案がいくつもあるなら、自社の用途台帳から評価対象の作業を選び、購入する機能に責任者と明確な目的を持たせます。AI用途台帳の作り方 (ポーランド語)は、その台帳を準備する際の参考になります。

ベンダーが何を販売しているのかを確かめる

契約の相手方、プラン名、サービスの提供方法、構成要素を特定します。販売元の画面に、他社のモデル、検索機能、追加サービスを組み合わせた製品もあります。提示された文書が、どの部分を対象としているかを尋ねてください。有名な基盤モデルの条件が、そのまま購入する製品全体の条件になるとは限りません。ローカルで動くという提案なら、実際にオフラインで使える部分と、残る依存先 (ポーランド語)を確かめます。

提案されたプランに対応する、日付の入った資料を求めます。利用できる機能と今後の予定、契約条項と営業担当者の説明を区別してください。個別設定の提案があるなら、どのように確認し、誰が維持するかを決めます。評価票には、資料へのリンク、文書の版、その条件の解釈を確認した人を残しておくと役立ちます。

一つの作業でデータの道筋をたどる

ファイルのアップロード、処理、回答の作成、履歴の保存、成果物のエクスポートという資料の流れを、ベンダーに例として示します。どこでコピーが生まれ、誰が使えるのかを尋ねてください。モデルの改善への利用、機能の動作に必要な保存、セキュリティログは別々に確認します。それぞれ異なる問いなので、答えも分ける必要があります。

たとえば、OpenAI APIのデータ管理に関する文書(英語)は、学習への利用、ログの保持、アプリケーションの状態を区別しています。この文書を、別の製品や仲介事業者のサービスにそのまま当てはめてはいけません。自社での保存先を整理し、対象サービスに適用される削除条件を確認します。AIデータフローの整理方法 (ポーランド語)と保持・削除計画の立て方 (ポーランド語)は、この作業を進める際の参考になります。

資料やシステムを接続する前にアクセス制御を確認する

管理者の役割、ユーザーを招待する方法、アカウントの利用を止める方法、連携にアクセス権を与える方法を、実際に見せてもらいます。ツールのアクセス先を、作業に必要な対象だけに限定できるかを確認してください。「メール連携」という名前だけでは、一つのフォルダを読むのか、アカウント全体を読むのか、組織で利用できるデータまで読むのかは分かりません。

試行には、評価での利用を認められた環境と資料を使います。読み取りを認めた対象をツールが読めるか、合意した範囲外の対象へのアクセスが拒否されるかを、別々に確かめます。操作の記録であるイベントログに何が残るか、連携をどう解除するかも記録してください。ユーザーの同意、アプリの権限、実際にできる操作の違いは、AI連携の権限を確認する記事 (ポーランド語)で扱っています。同意画面を見ただけで、この評価を終えてはいけません。

根拠を個々の要件に対応させる

要件ごとに、「文書で確認済み」「試行で確認済み」「説明はあるが裏付けなし」「要件を満たさない」という状態を記録します。すべての回答を一つの平均点にするより、判断に使えます。追加で何が分かれば判断が変わるのかも見えてきます。閲覧を制限された資料は、合意した方法で確認し、どこまで見られたかを明記します。

認証書、検証報告書、セキュリティ対策の説明は、対象の事業者、期間、製品、範囲を確認します。すべての追加機能や設定まで対象になると考えてはいけません。文書に不明な点が残るなら、確認すべき質問として記録します。資料、その責任者、アクセス制限をまとめる索引は、AI監査の準備資料 (ポーランド語)で紹介しています。

自社の品質基準で試す

結果を見る前に、代表的な作業と期待する動作を決めます。情報不足、矛盾するデータ、アクセス拒否、元の資料に戻って確かめる必要がある場面も含めてください。ベンダーに設定を手伝ってもらうことはできますが、評価ではチームの普段の作業方法を扱います。販売側が用意したデモと、自分たちで作業を行った結果は、異なる種類の根拠です。成果物を次のアプリに渡すなら、形式は正しいのに内容の意味が誤っているJSON (ポーランド語)も試し、形式を受け入れたことだけでデータの評価を済ませないようにします。

回答の生成時間だけでなく、確認と修正にかかった時間も残します。試行が有料か、どの設定が残るか、いつアクセスが終わるかを確認してください。成果物の受け入れをどう計画するかは、AIパイロットの評価基準 (ポーランド語)で扱っています。選んだ作業に役立つと確認できても、追加の評価をせずに、ほかの業務にも使えると広げてはいけません。

Aeneiaのコンセプト写真

モデル、機能、条件の変更について尋ねる

製品は変わります。重要な変更を知らせてもらえるか、どの設定を固定して使えるか、新しい版を試せるかを確認します。使っているモデルやサービスの版を特定できないなら、結果を再現するうえでの制約として記録してください。それでも会社は判断できますが、その判断が何に基づくかを理解しておく必要があります。

更新後に同じ作業を再評価できるよう、自社用の確認ケースを用意します。誰が通知を読み、試行を実施し、継続利用を承認するかを決めてください。AIの回答を変更後に比較する回帰テスト (ポーランド語)では、その進め方を説明しています。昔のパイロット結果だけが、何年も判断の根拠として残るのを防ぐための確認です。

障害の具体例でサポート体制を確かめる

アクセスできなくなった場合、動作がおかしい場合、データに関する事故が疑われる場合に、どう連絡するかを尋ねます。連絡手段、対応時間帯、担当者への引き継ぎや上位対応の手順、顧客が受け取れる情報の範囲を確認してください。サービスの稼働やサポート対応に関する取り決めが提案に含まれるなら、定義と適用除外を読みます。営業担当者の返事を待つことは、合意済みのサポート手順とはいえません。

仮の例として、製品が文書を取得できなくなったのに、古い資料を使って回答を作り続ける場面を考えます。問題を見つけ、利用を制限し、成果物を受け取る人に伝える方法が必要です。ベンダーには、どのような通知や兆候を受け取れるかを説明してもらいます。一方、顧客側のチームは、誰が手作業への切り替えとサービスの利用再開を決めるかを把握しておく必要があります。

必要な範囲の費用と、利用を終える方法を見積もる

ユーザーの利用権、利用量、追加機能、サポートを含む課金の仕組みを求めます。最低契約条件、更新方法、契約期間中に範囲を変える際の扱いを確認してください。説明できる前提に基づいて、自社の業務にかかる費用を計算します。利用規模がまだ分からないなら、複数のシナリオを示し、より正確な見積もりに必要なデータを明らかにします。

同時に、資料、指示、成果物のエクスポートと、連携の解除を試します。履歴の扱いと、サービス終了の確認を受け取る人も確かめます。利用をやめる費用も購入判断の一部です。AIを使う業務の総費用 (ポーランド語)では、ライセンス料金以外も含めて考えます。AIベンダーからの移行計画ガイド (ポーランド語)は、自社の資料と業務を移す試行の準備に役立ちます。

提案の比較表をどう使うか

検討するすべての製品に、同じ質問と同じ作業を使います。要件、回答、根拠、制約、判断への影響を列に分けて記録します。一方の提案には導入作業が含まれ、もう一方には製品を使う権利しか含まれないなら、その違いを別に示してください。範囲を抜きに価格だけを比べると、確認していないのに同じようなサービスだと見えてしまいます。

答えがないときは、三つの場合を区別します。ベンダーに機能がないのか、根拠を提示していないのか、それとも委託先からの説明を待っているのか。次に行うことは、それぞれ異なります。追加回答の期限と、受け取った内容を確かめる担当者を決めます。必須条件についての不足なら、購入判断は未決のままです。表を完成させるためだけに、不明な値をゼロや都合のよい前提で埋めてはいけません。

評価には、業務、データ、設定、購入に伴う費用負担に責任を持つ人が関わります。全員が毎回デモに出る必要はありませんが、判断の前に、自分の担当する要件を確認する必要があります。使いやすさのために必要なアクセス範囲が、資料の管理責任者の認める範囲を超える場合、どう調整するかを合意します。その食い違いは、購入できる範囲を考えるための情報です。平均点の中に隠すべき不都合ではありません。

判断の練習例:文書を検索するアシスタント

ある会社が、社内の手順書を基に回答を作るサービスを検討しているとします。文書のアクセス権を守り、情報源の資料を示せることが条件です。デモの回答は正しく見えます。しかし自社での試行では、特定のフォルダへの権限を持たないアカウント、古い手順書、文書に答えがない質問も使い、それぞれの動作を別々に評価します。

要約はうまくできても、資料のどの版を使ったかを示せないなら、業務の責任者は試行を、要件がそれほど厳しくない作業に限定するか、説明が得られるまで購入を保留できます。これは考え方を示す例であり、実際の導入事例ではありません。条件、観察、判断を結び付けることに意味があります。その記録があれば、機能や提案内容が変わった後も、製品を選んだ理由に立ち返れます。

判断と、その条件を記録する

判断の記録には、用途、製品、データの範囲、根拠、不足事項、受け入れる制約を含めます。購入の責任者と、その後の評価の責任者を決めてください。条件付きで認めるなら、実際の資料を使う前に何を終える必要があるかを明記します。「指摘事項付きで承認」だけでは、どの指摘を解決するまで開始できないかが分からず、解釈の余地が残りすぎます。

  • 必須条件には確認の根拠があるか、不足が明記されている。
  • 試行は、実際の作業と成果物を受け取る人を踏まえて行っている。
  • データと連携の範囲が、認められた用途に合っている。
  • 費用には、チームの作業と利用終了時の対応も含まれている。
  • 変更や障害を評価する手順が決まっている。

購入後は、確認した内容を自社のAI利用ルールに反映し、従業員が承認されたサービスの利用範囲を理解できるようにします。ルールをまとめる際は、AI利用方針の作成ガイド (ポーランド語)が参考になります。契約上の約束をする前に評価を整理したい場合は、Aeneia Auditのサービス案内をご覧ください。

知識を検索する製品なら、自社の資料で情報源と回答の品質を確かめる試行を求めます。確認する項目は、情報源と回答の品質を点検するガイド (ポーランド語)で整理できます。提案を整理するため、B2Bサービスの提供事業者を選ぶ依頼概要を用意します。記載内容を決める際は、提供事業者選定の依頼概要ガイド (ポーランド語)が参考になります。どちらも、自社で適切に準備した資料を使い、説明された機能を確かめられることが大切です。

Aeneia / Aeneia編集部

編集部による記事です。本文中に出典へのリンクがあります。

Aeneiaについて

ご一緒したブランド

  • L’Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • 在ポーランド中国大使館
  • Mixa
Aeneia / Initium

知識から決断へ

整理したい課題をお聞かせください。どこから始めるかを一緒に決めます。

Aeneiaに問い合わせる

パートナーのソリューションを活用しています

  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear