APIの制限は自分の作業だけの問題ではない - 429の後にキューはどうなるか
429応答後、原因を一律に扱わずAPIの共同利用とキューの動作を計画します。
記事の言語: 日本語

目次
九時にアシスタントが答えなくなる。社員はそれぞれ一つしか質問していないので、誰も混乱の原因だとは感じない。しかし裏ではカタログのインポートが動き、別のチームは文書を比較している。すべての作業が同じ制限を使っているかもしれない。制限は誰かの善意のために別の帳簿を持ってはくれない。
429応答を受けたら、制限の原因と範囲を確認する必要がある。速度を落として待つ場合もあれば、割り当ての枯渇についてサービス管理者の判断が必要な場合もある。キューはこれらを区別し、受け付けた作業を覚え、利用できる能力を仕事の種類に分けるべきだ。自動再試行ボタンだけでは解決しない。
一つのAPI、つまりサービスのプログラム用インターフェースを使い、社員の短い質問、カタログ説明の作成、長い文書の定期的な確認を行う架空のチームを考える。人工的なジョブで共有制限の扱いを検討する。どのアカウントの制限値も示さず、本番サービスで試験もしない。
今使っているのは誰の制限か
対象のプロバイダーのプロジェクト、組織、制限グループを使うすべてのプロセスを整理する。アシスタントの利用者が知らないかもしれない手動ツールやスケジュールも含める。開いているチャット画面の数だけでは全トラフィックを説明できない。プロセスの責任者と通常の開始時刻の一覧が役立つ。
OpenAIのレート制限の文書は、組織とプロジェクトのレベルの制限と、一定期間内のリクエストやトークンなど異なる単位を説明している。一部のモデルファミリーは制限を共有する。したがって利用者が別でもモデルの種類を変えても、別の割り当てになるとは限らない。
各制限について単位、範囲、現在の設定を読む場所を記録する。リクエスト数と処理するテキストの制限は異なる問いに答える。小さい案件が大量に短時間で来る場合と、長い文書が数件来る場合は別の境界に達するかもしれない。説明なしにすべての負荷を「AIへの質問」という一つの数へ換算しない。
許可された最大値と、自分たちの資料で実際に維持できる速度を区別する。負荷時のAIの時間の確認 (ポーランド語)は後者の評価に役立つ。ダッシュボードで制限値を読んでも、その範囲のすべてのリクエストが同じ速さで終わる証拠にはならない。
架空の会社ではカタログのインポートは待てるが、顧客との会話を担当する社員はその場で短い情報を必要とするとする。キューの責任者は使用目的の違いを知るべきだ。ただし依頼者の役職や声の大きさだけで優先順位を付けない。ルールは合意した仕事の目的に基づくべきだ。
制限が本当に共有されるかを確かめる。別のキーはトラフィックの帰属に役立つことがあるが、独立した容量を生むとは限らない。プロバイダーのルールを回避するためにキーを増やすことを提案しない。まず該当範囲を理解し、利用できる能力に合わせて仕事を準備する。
429は待てば解消するか
診断に必要な範囲でコード、説明、重要な応答情報を残す。ステータス番号だけでは足りない場合がある。運用者の画面では、一時的な速度制限と、割り当ての枯渇や管理者の対応が必要な条件を区別する。社員には機密のアカウント詳細をコピーせず、作業の行方を簡単に伝える。
Anthropicのレート制限の文書は、速度制限と、定められた月間支出の割り当てに達した後の429の両方を説明している。後者では再試行だけでアクセスは回復しない。文書は他の設定制限も区別しているため、ステータス番号全体に一つの理由を仮定せず、具体的な応答を読む。
一時的に延期されたタスクは識別子と分かっている待機理由を保つべきだ。人の対応が必要な制限には別の経路を選ぶ。自動試行を止め、責任者に通知し、処理方法を決める。実行できないタスクが一日中新しい緊急ジョブとして戻り続けないようにする。
プロバイダーがその原因について再試行を推奨し、応答に有効なRetry-Afterがある場合は、示された時間を最低待機時間として扱う。SDKのバージョンや設定がそこまで待てないなら、早く再試行せずタスクを延期する。待機後も実行に時間がかかったり別の制限に遭ったりするため、結果の正確な時刻は約束しない。ヘッダーだけで、人の対応が必要な原因が待つことで解消するとは言えない。
その指示がない場合にも合意済みの動作が必要だ。連携の責任者は、間隔を延ばし、試行を少しランダムに分散させ、待機全体を制限する対応方法を確認するべきだ。デモ中にエラーを消すためだけに秒数を選ばない。設定理由と停止方法を残す。
使用するクライアントライブラリの設定も調べる。一部の再試行はアプリケーションの下で既に実行されるかもしれない。引用したOpenAIの文書は、SDKの再試行を考慮し、試行回数と全体時間を制限する必要を説明する。二つのループが重なると、運用者に見えるカウンターより多くのリクエストを送ることがある。
自動化における重複と再試行の管理 (ポーランド語)は、同じ操作の識別を扱う。ここではグループ全体の速度も定める必要がある。一つの試行として合理的な動作でも、数十のタスクが同時に目覚め、それぞれ独立にアクセスを回復しようとすれば合理的でなくなることがある。

そのため受け入れ確認には、別々には合意速度内でも、合わせると同じ割り当てを争う二つのプロセスを含める。どこで送信を調整し、運用者が共有状態をどう知るかを確かめる。正しいローカルカウンターが二つあっても全体の評価には足りない場合がある。実際の制限を意図的に使い切らず、テスト環境で制御した応答を使って先に練習できる。この試験はキューの論理を確認するもので、プロバイダーのサービスの性能や制限値を確認するものではない。
キューは待っている人に何を約束するか
受け付けたタスクには認識できる状態が必要だ。「実行可能になるのを待機中」は「文書を処理中」と異なる。利用者は席を離れてよいか、結果をどこで確認するか、キャンセルすると何が起きるかを知る必要がある。画面が静かになったという理由だけで同じ依頼を再送し、キューを増やすべきではない。
依頼時のどのデータがタスクに結び付いて残るかを決める。待機中に文書が変わることがある。実行時には合意した版をまだ使うか、更新や新たな判断が必要かを確認する。長いキューが、以前に受け付けた仕事の範囲を黙って変えてはならない。
有用な期限も重要だ。朝の会話中に必要な回答は夜には役立たないかもしれない。すべての滞留ジョブを何としてでも実行するのではなく、期限切れや別の対応への移行条件を定める。終了理由を残し、カウンターが完成した結果として示さないようにする。
タスクが他のサービスで既に操作を実行していた場合、次のAI呼び出し前に停止してもそれらは元に戻らない。実行全体を再開する計画の前に、複数システムでのエージェントの部分実行 (ポーランド語)を確認する。リクエストキューはより広い案件の一部だ。
再起動後のアプリケーションの復旧も試す。受け付けたタスクは残っているか。待機期間と試行回数を保持するか。再開時にすべてが同時に始まらないか。これらは選んだソリューションの受け入れ確認のシナリオであり、キューツールの名前から生じる前提ではない。
判断が必要なケースは自動化の例外キュー (ポーランド語)に置く。実行可能になるまでの通常の制御された待機は、直ちに手作業のインシデントになる必要はない。ただし遅延や原因により責任者へ案件を移す条件は必要だ。
緊急度の低い仕事を永遠に待たせないには
架空の会社では短い質問がカタログのインポートより優先される。しかし新しい質問が一日中届けば、インポートは自分の分の能力を得られないかもしれない。チームは現在の質問に素早く答えながら、ますます古い説明を使う。それは順序ルールの結果であり、バッチ処理が怠けている証拠ではない。
Microsoftの優先キューのパターンは、低い優先順位が継続的に後回しになるリスクと、その処理を考慮する必要性を示す。古い項目の重要度を上げることなどを扱う。プロセスに合うか評価する必要のある方法の一つだ。
重要な案件を優先しつつ、その他にも実際の完了経路を与えるルールを決める。インポートに合意した能力の一部を割り当てたり、専用の時間枠を設けたりできる。普遍的な比率は示さない。期限、遅延の結果、実際のタスク流入に基づいて選ぶべきだ。
人工的なジョブ二組でルールを受け入れ確認する。短い質問の流入を続け、古いインポート項目も実行へ進むか観察する。各グループの最も古いタスクの待機時間、完了数、拒否数を示す。処理したリクエストの総数だけでは、ずっと止まったままのグループが隠れることがある。
作業の大きさだけで優先順位を付けない。長い文書が緊急の合意に関することも、短い質問が待てる実験であることもある。目的とプロセスのルールが必要だ。すべての利用者が自由に自分のタスクを緊急と表示できれば、優先順位はすぐに標準の飾りになる。
アクセス復旧後の仕事も比較する。そうした急増が制限を引き起こしたなら、滞留分全体を一度に無制御で始めない。環境の責任者と合意した範囲で段階的に戻す方法を確認する。滞留した案件は文脈を保つが、一部は既に古くなっているかもしれない。
介入が必要な制限の後の再開判断は責任者に割り当てる。運用者は特定の原因が取り除かれたのか、前回の試行から時間が過ぎただけなのかを知るべきだ。復帰の根拠と対象タスクのグループを記録する。ここですべての社員に請求の詳細を明かす必要はない。確認済みの利用可能状態と合意した継続経路があればよい。これにより、制御された再開と、今度は何か送れるか全員で手探りすることを区別できる。
制限の処理が機能しているとどう分かるか
試験には一時的な制限、管理者の判断が必要な条件、競合する二種類の仕事、中断後の復旧を含める。タスクのキャンセルと待機中の資料の変更も加える。各ケースについて再試行回数だけでなく、案件がどうなると期待するかを記録する。
結果をAIプロセスの総費用 (ポーランド語)と結び付ける。長いキューは手作業、回答の有用性の喪失、説明への対応を意味するかもしれない。成功した呼び出しの料金だけではこれらの費用は見えない。ただし適切なデータなしに架空の滞留を金銭的損失へ換算しない。
Aeneia Auditとの検討で、合意した範囲にこれらの課題が含まれる場合は、共有プロセスの図、秘密情報を含まない設定情報、制御された拒否ケースをいくつか用意できる。これらの資料は、どこで待機、人の判断、仕事の配分ルールの変更が必要かを把握する助けになり得る。制限は引き続きプロバイダーが定め、429への対応方法はチームで合意する。









