第16章 — 本番環境でのコスト削減戦略

LLM Primer VI: AIシステムのスケーリング を章ごとに紹介していくウォークスルー最終回。前月の請求書の3分の1か半分に効いてくる、直交する打ち手のカタログです。

なぜこの章があるのか

前の2つの章はチームにお金がどこに行くかを伝え、API対専用の線のどちら側に座るかを決めるフレームワークを与えました。この章はそれらの決定が片づいたらチームができる打ち手のカタログです。打ち手は姿勢とはほぼ独立で — APIでも金を節約し、専用ハードウェアでも節約し、ハイブリッドでも節約する — そして効いてくる。順番に採用したチームは、集中したコスト取組みから6ヶ月後に自分たちの推論請求書が3分の1から半分になっていることを日常的に見つけます。エキゾチックな打ち手はありません。全てに意図的なエンジニアリングが要ります。しかしそれらを構築するコストは、それが節約するものに比べて小さい。

16.1 インテリジェントなモデルルーティングは単一で最大のレバー

本番トラフィックは一様に難しくはありません。半数以上のリクエストは1桁安い予算階層のモデルで十分単純で、より小さな割合が真にフロンティアを必要とする。全てを頂点にルーティングするチームは単純なものに10〜20倍払いすぎる。正しいアーキテクチャは、各リクエストを分類しそれを扱える最安階層に配送するルーターです。執筆時点でのコスト勾配は、フロンティア($15〜30/M出力)と予算($0.10〜1/M)の間で入力でおおよそ30:1、出力で20:1。ルーターの選択肢はリクエスト形状のヒューリスティック(長さ、形式、ツール使用マーカー)から、階層ラベルを出力する予算階層の分類器、そして歴史的な「どのモデルが実際に効いたか」データで訓練された学習ルーターまで。設計制約。安く速く(100 ms未満、10分の1セント)、可観測(全決定が特徴と結果と共にログ)、既定で安全(不確実なら上にルート — オーバールートのコストは追加1ドル、アンダールートのコストは見える品質後退)。

16.2 圧縮、バッチAPI、セマンティックキャッシュはそれぞれ大きな一切れを買い戻す

コンテキスト圧縮は第14章が名指しした入力の二次的な成長を攻めます。最も単純な形はローリングウィンドウ。最後の K ターンを逐語的に保持し、それ以前を予算階層のサマリーで置換する。サマリーの呼び出しは1セントの何分の1かしかかからず、以降のターンごとに入力を数千の逐語履歴トークンから数百のサマリーに縮める。より洗練されたコンパクターは特定の種類(コード、ツール出力、ユーザー提供データ)を逐語的に保存し、残りを要約する。半額の非同期バッチAPIは同期レイテンシ予算を持たないあらゆるワークロード — 夜間要約、再分類、A/Bテスト用の事前生成、埋め込みリフレッシュ — を扱う。カテゴリはチームが最初に認識するより大きく、ワークロードをバッチに移すエンジニアリングは些細です。セマンティックキャッシュはモデルが呼ばれる前に答える。各リクエストを埋め込み、以前のリクエスト-レスポンスペアのベクトルインデックスで検索し、類似度が閾値を超えればキャッシュされた応答を返す。「返品ポリシーは何ですか」と「アイテムを返品するには」の2ユーザーは同じエントリにヒットする。FAQ形状のトラフィックでは30〜50パーセントのキャッシュヒット率が日常的で、最も安いトークンは決して生成されないトークン。

16.3 打ち手は加算的ではなく乗算的に積み重なる

1日1,000クエリで請求が月$4,000に育ったエージェントを例に取ります。ルーティング: 60パーセント予算、30パーセント中位、10パーセントフロンティア → 混合コストがフロンティアレートの28パーセントに落ち、請求が$1,100に。圧縮: 入力膨張が半分に切られ、請求が$770に。20パーセントをバッチに移す: $720。25パーセントヒット率のセマンティックキャッシュ: $540。$4,000から$540へ — 86パーセントの削減 — ユーザーが見える変化なしで。独立のセクションを持たなくても元を取る2つの動きがあります。プロンプト監査 — 全プロンプトを新鮮な目で読み、トークンを正当化できないものを削除する — は典型的に、振る舞い変更なしで削れる支出の10〜20パーセントを見つける。明示的な max_tokens 上限は、アプリケーションが300しか必要としなかったのに応答が2,000トークンに走るのを止める — そのリクエストで7倍近い過払い。精神モデルは第IV巻のもの。全リクエストには単価があり、エンジニアリングの仕事は各リクエストを安い層にまずルートし、必要なときにのみ高価な層に到達させることです。

第16章が閉じたもの

本巻は自己回帰のボトルネック — LLM生成が逐次的で、並列演算が得意なハードウェアが大半の時間をメモリを待って過ごすという不可避の事実 — で幕を開けました。それ以降の全ての章は、その中心的な事実へのスタック各層での応答でした。ハードウェア章は物理基盤を築いた。モデルレベル章はモデルを縮めた。システムレベル章は各クロックサイクルから最大の有用な仕事を抽出した。エンジンとオーケストレーション章はそれを本番に持ち込んだ。経済章はシステムを走らせるチームがどう支払うかを記述した。全ての層は前の層への応答であり、LLMをスケールで走らせる規律とは、それら全ての統合を同じ人々によって、あるいは少なくとも同じ語彙で互いに話せる人々によって行うことです。

本書はここで終わります。シリーズは第7巻 — AIセキュリティで続きます。本巻の本番エンジニアリング規律を脅威モデリング、ガードレール、モデル生成コードのサンドボックス、プロンプトインジェクション緩和、出力フィルタリング、そしてこれら全てをどう配備するかを規定しつつある規制に拡張します。本巻を通じて構築してきたインフラ — 推論艦隊、ルーティング層、サンドボックス、エージェント実行環境 — は、まさに第7巻のセキュリティ関心事が展開する場所となるインフラです。スケーリングとセキュリティは同じ問題の裏表 — 一方は成長のエンジニアリング、もう一方は成長が招く攻撃に対する耐性のエンジニアリング。