デモでは速いAIが、同時利用で遅くなるとき:負荷をかけた応答時間の確認方法
負荷がかかったAIの応答を、待ち行列、最初の内容、回答全体に分けて確認します。管理された試験で時間の分布、エラー、完了状態を比較します。
記事の言語: 日本語

目次
デモでは、ほとんど待たずに回答が始まります。ところが数人が同時にツールを開くと、最初の段落がなかなか出てきません。表示が始まってからは速く進んでも、一覧全体はまだ完成していません。「AIは2秒で答える」という言い方には、あまりに多くのことがひとまとめにされています。
負荷がかかった状態では、送信前の待ち時間、最初の内容が届くまでの時間、結果全体を受け取るまでの時間を分けて見る必要があります。平均がよくても、最も遅い処理でどれほど待つかは分からないため、測定値の分布も必要です。試験は具体的な作業と合意済みの環境を対象にし、稼働中の会社のシステムへ予告なく負荷をかけるようなことはしません。
備品カードを要約する架空のアシスタントを例にします。従業員が文書を送り、事前に決めた5項目の情報を一覧で受け取ります。一人で使う場合と、数人が同時に同じような依頼を送る場合を確認したいとします。ここで示すのは、サービス提供者の測定結果ではありません。実施担当者が、使用を許可された環境で行える試験の範囲を整理します。
どの時点から時間を測りますか
一つの依頼がたどる経路を記録します。従業員が資料を選び、アプリが依頼を受け付け、場合によっては送信できるまで待ってから、外部サービスへリクエストを渡します。その後に初めて、最初の内容と、結果の残りが戻ってきます。外部APIを呼び出した瞬間から測ると、アプリ側の待ち行列で過ごした時間は含まれません。
GenAI-Perfの指標のドキュメントでは、リクエストの送信から最初の応答までの時間と、最終応答までの時間が区別されています。分布や、単位時間当たりの処理量を示すスループットも掲載されています。NVIDIAはこのツールを段階的に廃止する方針を示し、新たな用途にはAIPerfを案内しています。ここで利用するのは測定の定義であり、インストールを勧めているわけではありません。
今回の確認では、四つの時点に名前を付けます。アプリが依頼を受け付けた時点、サービスへ送信した時点、最初の有用な内容を受け取った時点、回答全体を受け取った時点です。測定する人が何を記録するか分かるよう、それぞれを定義します。内容のない技術的な最初の応答が、利用者が読み始められる時点とは限りません。
画面側の測定では、内容が表示される時点を加えてもよいでしょう。サーバー側で最初の断片を受信することと、それを画面に表示することは、別の観察です。従業員の体験を評価するのであれば、その範囲も決めます。一方の報告書のサービス応答時間と、もう一方のアプリ全体の所要時間を比較して、その差をモデルだけのせいにしてはいけません。
Azure OpenAIの性能と遅延に関するMicrosoftの説明では、所要時間はモデル、入力の長さ、出力の長さ、負荷に左右されるとされています。時間の観察にはトークン数を対応させることが勧められています。トークンはモデルが扱うテキストの単位であり、必ずしも一つの単語に対応するわけではありません。
そのため、依頼ごとに、測定に適した単位での入力・出力の大きさ、確認できる設定、処理結果の状態を残します。この例では、5項目の一覧の範囲を同程度にする必要があります。指示を変えた結果、アシスタントが一覧の代わりに何ページもの文章を書くようになった場合、時間が長くなっただけでは、同じ仕事の処理能力が変わったかどうかは分かりません。
完了の境界については、AIのストリーミング回答の受け入れ確認 (ポーランド語)で詳しく扱っています。最初の文章は速く現れても、途中で切れて未完成のままになることがあります。最初の一文が出た時刻だけで、その試行を「結果完成」の欄へ入れてはいけません。時間と状態は、同じ処理段階を指している必要があります。
比較できる条件を保ちながら負荷を増やすには
対象範囲を説明できる、機密性のない文書を選びます。実務に対応した異なる事例を含めつつ、負荷条件を比較する際は同じ資料を使います。一人のときは短い一文を送り、人数を増やしたときは長いファイルを送るのでは、二つの変化を同時に調べることになります。
同時に実行する依頼の数と、新しい依頼が到着する速さを区別します。前者の試験では、動作中のリクエストを一定数に保ち、一つ終わると次を始めます。後者では、先の依頼が終わったかどうかにかかわらず、決めた間隔で新しい依頼を送ります。それぞれ、異なる働き方を表しています。
このアシスタントなら、例えば同時に1件、3件、6件と段階を設けられます。これらは例としての仮の値であり、特定のアカウントに推奨する処理容量ではありません。環境の責任者が、許容する範囲、費用、実施時間、中止条件を合意します。試験によってデータを変更したり、通常業務を妨げたりしてはいけません。
同じサービスや上限を使う、ほかの処理からの通信も記録します。アシスタントの画面には数人しか見えていなくても、夜間のインポートが共通の処理容量を使っているかもしれません。切り離せない場合は、既知の試験条件として扱います。この情報がなければ、後で結果を比較しにくくなります。
ウォームアップと初回起動の条件は、別に記録します。一部の依頼では、すでに準備されたリソースや、繰り返し使う資料を利用しているかもしれません。グラフの見栄えが悪くなるからといって初回の遅い試行を削除したり、同じ入力を繰り返した測定を日常業務全体の姿として示したりしてはいけません。意図して何を繰り返したのかを残します。
試験用の依頼を送るツール自体が、想定した間隔を保てているかも確認します。リクエストを作るのが間に合わなければ、サーバーへ届く負荷は計画より小さくなります。報告書には、設定値だけでなく、実際に送信した時刻を示すべきです。これは完成した結果表だけを見ていると見落としやすい、試験の実施状況の確認です。

大量の依頼では、自分たちの回答と入力レコードの対応を保ちます。別の一括処理の結果とレコードについての記事 (ポーランド語)でも、この問題を扱っています。遅れて完了した回答も、正しい入力と試行に結び付いている必要があります。回答を取り違えたまま速く測れても、有用な確認にはなりません。時間を調べている間も、品質の条件は有効です。
負荷の大きい測定の後には、小さい負荷へ戻す試行も残します。最初の一人分は速かったのに、後の一人分が未処理の依頼を待ち続けるなら、その状態を報告します。説明なしに、負荷の少なかった最初の測定と混ぜてはいけません。試験の順序と、先の依頼を完了させる時間も測定条件の一部です。そうしなければ、同時実行数が同じに見える二つの測定が、工程全体では異なる状況を表してしまいます。
差の原因を調べたい場合は、文書の長さ、使うツールの数、負荷を一度に増やしてはいけません。後から、それらを実務に近い形で組み合わせた別のシナリオを試すことはできます。初めは一つずつ変えるほうが、どこに待ち行列が生じ、何が結果の受け取りを制限しているのかを理解しやすくなります。
最も遅い依頼を見失わずに時間を読むには
個々の測定値と集計結果を残します。中央値は、値を順に並べたときの中央を示します。適切に定義した高いパーセンタイルは、遅い側の様子を示します。試行数と計算方法も記載します。数件の観察から細かなパーセンタイルを出しても、大規模なサービスの安定した振る舞いが分かるわけではありません。
平均の限界は、簡単な架空の計算で示せます。7件がそれぞれ2秒、1件が18秒かかったとすると、平均は4秒です。実際に4秒で結果を受け取った人は一人もおらず、一人はほかの人の9倍待っています。その測定を残せば、平均で例外をならしてしまわず、原因を問うことができます。
異なる段階を一つの分布に混ぜてはいけません。アプリ側の待ち行列、最初の内容までの時間、回答全体までの時間を分けて示します。生成が始まってからの動作は同程度でも、送信前の待ち時間が増えているかもしれません。その場合の改善の方向は、次々と届く断片そのものが遅くなった場合とは異なります。
結果がエラーであれば、状態と、エラーと分かるまでの時間を残します。すぐ返る拒否や上限エラーを、効率よく完了した仕事に数えてはいけません。成功時の測定から失敗を除外するなら、そのことと失敗件数を明示します。そうしなければ、過負荷になった仕組みが、多くの質問へ即座に応答をやめることで、かえって速く見える場合があります。
NVIDIAのgoodputに関するドキュメントでは、指定した指標の条件を満たして完了した、1秒当たりのリクエスト数と説明されています。これは全体のスループットとは別の結果です。ドキュメントの例にあるしきい値は説明用であり、企業は自分たちにとって役に立つ条件を決める必要があります。
今回の作業であれば、合意した時間内に一覧全体を受け取ることを条件にできます。それでも、5項目の内容が正しいかは別に確認します。時間の条件だけでは、内容の品質は決まりません。そのため、報告書には、期限内の完了、遅れた完了、確認後に不合格となった結果を示せます。
リクエスト数などの制限を示すAPI応答429が返った場合は、APIの共通利用枠と待ち行列の動作 (ポーランド語)の確認へ進みます。ここでの点検では、その応答と、その後の待ち時間を記録し、結果をよく見せるために自動で再試行を増やすことはしません。性能試験と制限への対処設計は関連しますが、互いの費用を隠すような扱いは避けます。
回答の有用性が変わったなら、トークンの生成速度だけを比較してはいけません。短いが不完全な文章は、速く作れるかもしれません。業務の責任者が知りたいのは、適切な結果が得られるまでの時間です。AIを使う仕事の時間測定 (ポーランド語)では、その後に確認と修正の時間も加わります。それらは、サービス単体の測定には含まれていません。
試験結果をどう使いますか
選んだ依頼の到着ペースで待ち行列が伸びるなら、その条件と範囲を説明します。AI全体の容量を一つの数字で宣言してはいけません。結果が当てはまるのは、実際に確認した資料、設定、条件です。回答の長さ、モデル、共通の通信量が変わると、観察結果も変わる可能性があります。比較を再現するためのデータを残します。
運用上の次の判断を準備します。同時実行数を抑える、緊急性の低い一括処理の時間をずらす、回答範囲を変える、特定の作業を別の経路へ回す、といった選択肢です。それぞれ個別の確認が必要です。一度の過負荷から、モデルの交換しか解決策がないと判断したり、再試行を増やせば自然に待ち行列が解消すると考えたりしてはいけません。
新しい依頼が来なくなった後の動作も確認します。未処理の依頼はどのくらい残るのでしょうか。新しく来た短い作業が、長い作業の後ろで待つのでしょうか。利用者は、自分の依頼がまだ受け付けられていると分かるのでしょうか。対応を計画する際には、AI障害後の業務継続 (ポーランド語)が役立ちます。待ち時間が長すぎる場合も、判断したうえで人が作業を引き取る必要が生じることがあります。
待っている間に利用者が取りやめる依頼も、確認に加えます。画面が消えるだけなのか、後続の処理も実際に止まるのかを確認します。裏側で待機する処理は、引き続きリソースを使い、ほかの測定にも影響する可能性があります。依頼数の集計には、その状態を残します。報告書から項目を消すだけでは、工程から消えたことにはなりません。試験終了後はこれらの依頼も確認し、次の実行が説明のない滞留から始まらないようにします。
Aeneia Auditへの相談には、一つの作業の説明、典型的な資料、同じサービスを使うほかの処理の情報をご用意ください。それがあれば、何を測るべきかを具体的にできます。何人でも処理できるという約束から始める必要はありません。
報告書の最後には、条件ごとの結果、失敗件数、測定の制約、選んだ次の作業を記載します。デモの2秒は、一回の試行の観察としては正しいかもしれません。同時に使う人数が増えたときの待ち時間と完了状態は、別に確認します。







