「スケーリングの問題」と呼ばれるものの大半は、トラフィックとは無関係です。私が開発したテキストスキャンアプリでは、約7週間にわたって一部のスキャンが「このスキャンを完了できませんでした」というエラーで失敗し続けました。原因はトラフィックではありません。モデルのアップグレードでスキャンが遅くなり、その遅さが、システム内で「モデルは高速である」と暗黙に仮定していたあらゆる箇所に影響したのです。
本稿では、この出来事と、その背景にある一般的な仕組みを解説します。本番環境の数値は、私のモニタリングとコミット履歴に基づいています。計算の仕組みを示すために架空の数値を使う場合は、その旨を明記します。
用語の整理
スケーラビリティとは、リソースを追加したときに、レイテンシーを悪化させることなく、スループット(1秒あたりに完了する処理量)が比例して増えるかどうかを指します。信頼性とは、システムの一部が障害を起こしていても、妥当な時間内に正しい応答を返し続けられるかどうかを指します。
外から見ると、この2つは区別がつきません。過負荷のシステムも、応答のないハングした依存先も、同じタイムアウト、同じエラーメッセージ、ダッシュボード上の同じ赤い線を生み出します。負荷とは無関係の障害に対しても「スケールしない」という言葉が使われがちなのは、このためです。
ほかにもいくつか用語を押さえておきます。
- レイテンシーは分布として読むのが適切です。p50は典型的なリクエスト、p99は100人に1人が体験する応答時間です。
- サチュレーション(飽和)とは、キューで待たされている処理のことです。どれだけ忙しいかを示す使用率とは異なります。
- 垂直スケーリングとは、より大きなマシンを使うことです。
- 水平スケーリングとは、マシンの台数を増やすことです。ボトルネックが、増やしている対象そのものである場合にのみ効果があります。
知っておく価値のある公式が2つあります。1つ目はリトルの法則で、処理中のリクエスト数は、到着率にレイテンシーを掛けた値に等しいというものです。2つ目は、ランダムに到着するリクエストを処理する単一サーバーの場合、平均応答時間はサービス時間を「1−使用率」で割った値になるというものです。使用率50%ではサービス時間の2倍、80%では5倍、90%では10倍になります。使用率70%では問題なさそうに見えるシステムが、90%で破綻しうるのは、この曲線のためです。
アプリの仕組み
ユーザーがページを撮影すると、スマートフォンが画像をリサイズしてエンコードし、Firebase関数がそれをモデルに送ります。ユーザーがスピナーを眺めている間に、テキストが返されます。
最初のバージョンでは、OCRにGoogle Cloud Visionを使い、タイトル生成と校正には別途OpenAIを呼び出していました。現在のバージョンはLLMベースのパイプラインです。ページを入力すると、言語、生テキスト、校正済みテキスト、タイトル、さらにオプションで要約と追加の洞察を含むJSONが返ってきます。依存先は2つから1つに減り、コードも大幅に減りました。gemini-2.0-flash-liteでは、1日あたりのp50は6.6〜7.4秒、p95は14〜17秒で、関数の60秒というデッドラインには十分収まっていました。
遅くなったモデル
その後、gemini-2.5-flash-liteに移行したところ、数値が変わりました。
| 全リクエスト(日次) | 2.0 Flash-Lite | 2.5 Flash-Lite |
| p50 | 6.6〜7.4秒 | 8〜9.5秒 |
| p95 | 14〜17秒 | 20〜29秒 |
| p99 | 該当なし | 7週間、毎日60秒 |
中央値の悪化はわずかでしたが、打撃を受けたのは分布の裾野(テール)でした。7週間にわたり、p99は毎日タイムアウトの60秒に張り付いていました。ある2週間のうちには、少なくとも200件のスキャンが59.99秒で504エラーに終わっています。
リトライがこれを増幅しました。リトライのロジックは、高速なモデルを前提としたものでした。失敗した呼び出しをさらに2回試行し、JSONが不正な形式で返ってきた場合は再生成します。つまり、1回のスキャンで最大6回のモデル呼び出しが発生します。1回7秒なら問題ありません。しかし遅延が発生している間は、最初の試行で1分近くかかることがあり、各リトライは、直前の試行が必要とした時間よりも短い持ち時間で始まっていました。
2つの修正
1つ目の修正では、互いに独立した試行を積み重ねるのをやめ、リクエストごとに時間予算を持たせました。関数のデッドラインを60秒から300秒に引き上げました。これは、最も遅かった成功スキャンのおよそ5倍にあたります。現在はすべてのモデル呼び出しに同じ絶対デッドラインを渡し、各試行には個別の上限を設け、リトライは残り時間が12秒以上ある場合にのみ開始します。
2つ目の修正では、ボトルネックそのものに対処しました。同じモデルを別のエンドポイントで動かす対照ベンチマークを実施したところ、同じように遅いことが分かりました。これでリージョンの問題は除外され、原因はモデルだと絞り込めました。gemini-3.1-flash-liteに移行すると、スキャン時間はおよそ半分になりました。ある税務書類のスキャンは13.6〜15.5秒から7.3〜12.9秒に短縮され、30回の呼び出しで失敗は1件もありませんでした。
ボトルネックがモデルの場合、何が違うのか
興味深い教訓は、タイムアウトに関するものではありませんでした。システム内で最も遅い部分が、借り物のモデルになったときに何が変わるのか、という点にありました。
レスポンススキーマは、レイテンシーの予算です。解像度を下げた画像を送ると、入力トークンは25%減りましたが、レイテンシーはまったく変わりませんでした。生成時間は、モデルがどれだけ読むかではなく、どれだけ書くかで決まるためです。JSONの各フィールドは、ユーザーがスピナーを眺めている間にモデルが生成するテキストにほかなりません。このアプリは、ユーザーが要約や洞察を求めていない場合には、より小さなスキーマを要求するようにすでになっています。いまでは、新しいフィールドを追加するたびに、レイテンシーに関する判断として扱っています。
モデルのバージョンは、有効期限付きの容量変更です。バージョンを切り替えるだけで、ほかのコードを一切変えなくても、p95が数秒動きました。しかも、タイミングを完全に制御できるわけではありません。ホスト型モデルはいずれ提供終了となります。私が移行して離れたばかりのバージョンも、3か月足らず後に提供終了が予定されていました。強制的な移行は、事実上すべてが負荷テストになります。次の候補に対して再実行できるベンチマークを用意しておく価値があります。
同時実行数は、障害の影響範囲を決めます。デフォルトでは、関数の各インスタンスが最大80件のリクエストを同時に処理します。今回の修正には、ささやかな防御策が1つ含まれています。タイマーとの競争にすでに負けたモデル呼び出しが、あとから失敗するケースへの対処です。この防御策がなければ、Node 22はその失敗を致命的なものとして扱い、プロセスが処理中のすべてのスキャンを道連れにして落ちてしまいます。高い同時実行数は、コストとコールドスタートを節約してくれます。その一方で、障害の単位がリクエストではなくインスタンスになってしまいます。
成功だけを集計した指標は、実態を良く見せてしまいます。遅延が発生していた期間、直近1,000件の成功リクエストのp99は26.9秒で、健全に見えました。しかし全リクエストで見ると、p99は60秒でした。成功だけを測ると、まさに注目すべき遅いリクエストが見えなくなります。そして、p99がタイムアウトと同じ値になっているなら、実際に測っているのはタイムアウトそのものです。
デッドラインは入れ子にしなければならない
サーバー側のデッドラインを引き上げると、知っておくべき副作用が生じます。これらの呼び出しに対する Android SDKのデフォルトタイムアウトは70秒、Flutterのデフォルトは60秒です。そのため、サーバー側の予算を290秒にすると、サーバーが処理を続けている間に、長いスキャンがスマートフォン側で失敗する可能性があります。誰にも見られない結果のために、料金を払い続けることになります。ユーザーがもう一度スキャンをタップすれば、1ページに対して2つの生成が走ります。しかも、この失敗はサーバーエラーとしては現れなくなり、クライアント側のクラッシュレポートにしか表れません。
対処法は、数値の整合を取ることです。クライアントのタイムアウトをサーバーのデッドラインより長くし、サーバーのデッドラインを各試行の上限の合計より長くします。クライアントのタイムアウトは明示的に設定できます。あるいは、クライアントのデッドラインをリクエストとともに送り、それを基準にすべての予算を組む方法もあります。GoogleのSRE本では、これをデッドライン伝播(deadline propagation)と呼んでいます。
教科書的な部分を簡単に
キューイング。リトルの法則は、遅さを同時実行数に変換します。架空の数値で考えてみます。毎秒10件のスキャンがあり、1件あたり8秒かかる場合、処理中のスキャンは80件で、ちょうど1インスタンスが埋まります。モデルが30秒に遅くなると、同じトラフィックでも処理中は300件となり、4インスタンスにまたがって、そのほとんどが待機状態になります。オートスケーリングはその待ち時間を吸収し、その分を課金します。
競合(コンテンション)。同じ行やロックを必要とするリクエストは、順番待ちになります。グローバルなUPDATE stats SET scans = scans + 1がロックを5ミリ秒保持するなら、サーバーを何台増やしても、処理できるのは毎秒200スキャンまでです(こちらも架空の数値です)。シャード化したカウンターを使えばキューを避けられます。イベントを追記しておき、あとで合算する方法も同様です。
リトライの増幅。リトライは、レイヤーをまたぐと掛け算になります。GoogleのSRE本には、3つのレイヤーがそれぞれ4回ずつ試行すると、1回のユーザー操作が最下層で64回の試行に膨れ上がり、しかもそのすべてが、依存先が苦しんでいるまさにそのときに押し寄せる、という例が紹介されています。これを抑えるには、次の方法があります。
- リトライは1つのレイヤーだけで行う
- 残り時間でリトライ回数に上限を設ける
- ジッターを加える
- リトライを予算内に収める(同書の例ではリクエストの10%)
コネクション数の上限は、サーバーレスでつまずきやすいポイントです。Postgresのデフォルトは100接続で、そのうち3つはスーパーユーザー用に予約されており、各インスタンスが独自のプールを開きます。私のアプリはPostgresを使っていませんが、仮に使っていて、インスタンスあたり20接続だったとします。先ほどのモデル低速化のシナリオでは6インスタンス、120接続に達し、97番目を超える接続はすべて失敗します。PgBouncerのようなコネクションプーラー、小さめのプール、そして接続数の上限に基づくインスタンス数の上限設定は、いずれもこれを防ぎます。
「スケールしない」選択が正しい場合
関数は1つ。スキャンの経路は、単一の関数のままにしておきます。プロセス内の呼び出しは数ナノ秒で済みます。別サービスへの呼び出しは、レイテンシーに加え、タイムアウト、接続断、相手サービスのダウンといった新たな障害の形をもたらします。スキャンをサービスに分割すれば、それらすべてが、すでにモデル呼び出し1回分のコストがかかっているリクエストに上乗せされることになります。
同期呼び出しも問題ありません。スキャンが通常、クライアントのタイムアウトより十分に短い時間で終わるならです。非同期にするには、ジョブストア、べき等性キー、結果をプッシュで返す仕組みが必要です。完了したジョブの通知が届かないといった、新たな障害モードも加わります。非同期化が意味を持ち始めるのは、長い複数ページのスキャンのように、クライアントのタイムアウトを超えうる処理です。キューはボトルネックを取り除くわけではありません。待ち時間を、自分で制御できる場所に移すだけです。
トランザクション、制約、結合が必要なら、リレーショナルデータベースは長い間、正しい選択であり続けます。シャーディングはシャード間の結合とトランザクションを手放すことになりますが、そこに至るまでには、まだ十分な余地があります。
- クエリプランの見直し
- コネクションプーリング
- リードレプリカ
- 時間によるパーティショニング
- より大きなインスタンス
次回やること
- 全リクエストを計測する。失敗もレイテンシーに含め、エンドポイントごとのパーセンタイルと、依存先ごとの所要時間を記録する。
- レイテンシーのグラフをデプロイ履歴と重ね合わせる。今回の遅延を特定のデプロイにたどり着けたのは、この方法のおかげです。
- ボトルネックを見つけ、対照実験と比較しながら一度に1つだけ変更する。そのうえで、ユーザーが体感する数値が実際に動いたかを確認する。
- 固定の到着率で負荷テストを行う。たとえばk6のconstant-arrival-rateを使います。ループ型の仮想ユーザーは、サーバーが遅くなると一緒に遅くなるため、問題が隠れてしまいます。この現象は、コーディネイテッド・オミッション(coordinated omission)と呼ばれます。そのうえで、モデルを長い遅延や429エラーを返すスタブに置き換え、タイムアウト、リトライ、クライアントがどう振る舞うかを観察する。
- モデルを変更するたびに、容量の変更と見なしてベンチマークを行う。
今回のインシデントの大半は、特別なものではありませんでした。高速なモデルを前提にサイジングされた一連の設定が、より遅いモデルに出会ったということです。有用な習慣は、そうした数値を書き出し、入れ子として整合しているかを確認し、失敗も含めた実際のレイテンシー分布に照らしてテストすることです。
翻訳元: https://hackread.com/why-most-apps-do-not-scale-how-to-fix-them/