第14章 — トークン経済とAPI価格

LLM Primer VI: AIシステムのスケーリング を章ごとに紹介していくウォークスルー、第14回。第1章の物理を請求書の項目につなぎ、初月の請求書がなぜチームがモデル化したものと似ていないかを説明する章です。

なぜこの章があるのか

これまでの章は推論のコストを物理的事実として扱ってきました — HBMを渡るバイト、行列積で使うFLOPs、リクエストが消費するGPU秒。その枠組みはシリコンを所有するチームには正しい。しかしAPIから推論を買う遥かに多くのチームにとって、コスト表面はプロバイダーが課金する単位 — トークン — で再形成されます。第14章はトークンがなぜこう価格付けされるか、同じ呼び出しの入力側と出力側がなぜこれほど価格が違うか、そしてチャットボットの会話履歴と推論モデルの見えない思考がどう静かに請求書に載るかを扱います。

14.1 出力は入力の4〜8倍のコストである。デコードが帯域律速だから

入力トークンはプリフィルパスに乗る — 密で、演算律速で、プロンプトの全位置にわたって並列で、まさにGPUが設計されているワークロード。70BモデルではH100が高い算術強度の広い行列積として何万もの入力トークンを毎秒処理する。出力トークンはデコードパスに乗る — 逐次、メモリ帯域律速、順伝播あたり1トークン、各ステップがHBMからKVキャッシュ全体を読む。同じH100が1リクエストあたり毎秒50〜100出力トークンを生む。両者のスループット比が価格シートの比です。2025年のフロンティアモデルは100万入力トークンあたり2〜5ドル、100万出力あたり10〜30ドル — 4:1から8:1の非対称は利益率の選択ではなく、基盤となる演算非対称の直接の透過です。キャッシュ済み入力はさらに安い。プロバイダーが以前のリクエストでプリフィルコストを払ったから。バッチAPIは半額です。プロバイダーが仕事を遊休容量ウィンドウにスケジュールできるから。推論トークンは出力トークン。エンジンの中でそれが何であるかがそうだから。

14.2 最適化のレバーは入力/出力の形状に依存する

間違いは1つの精神的数字 — 「トークンはXコスト」 — でコストをモデル化し、入力と出力を別々に分解しないこと。8,500入力トークンを送り600トークン応答を得る検索重視のカスタマーサービス選別は、フロンティア価格で入力コスト支配(1日1万リクエストで約$255入力対$90出力)。同じ量の長文起草システム — 入力2,200、出力3,000 — は出力支配($66入力対$450出力)。最適化のアドバイスは2つのケースで正反対。前者はプロンプトを短く、後者は応答を短く、そして支配軸に有利な価格プロファイルのモデルにルーティングする。もう1つ実行する価値のある分解は、テナントまたはワークロード別。マルチテナントシステムはほとんど常に、上位10パーセントのテナントが支出の半分以上を占める冪法則の偏りを示します。それらのテナントに狙いを定めたコスト最適化作業は、長い裾に均等に広げた作業より数倍元を取ります。

14.3 コンテキストの蓄積と見えない推論トークンが請求書を膨らませる

最も高価なトークンは、チームが送っていたことを忘れていたトークンです。APIはステートレスで、全リクエストが呼び出しごとに完全な会話履歴を入力として運びます。N ターン会話にわたる累積入力コストは Nに対して二次的に増える、プレフィックスキャッシュのクレジットを除く。シングルターン基準線で自分のシステムに価格をつけたチームは、6ヶ月後に平均会話が今や8ターンに広がり、会話あたりの入力コストがおおよそ二乗で乗算されたと気づく。第二の静かな乗数は推論トークン。o1/o3、Anthropicの拡張思考、DeepSeek R1、Googleの推論版のようなモデルは、見える回答の前に大量の内部思考 — しばしば500トークンの見える応答の背後に4,000〜8,000トークン — を生みます。それらのトークンは同じ出力デコードループに乗り、出力として課金される。コードが要求しなければ呼び出し元には返らない。緩和策はAPIレスポンスのusageオブジェクトを正しく計測すること — prompt_tokens、cached_prompt_tokens、completion_tokens、reasoning_tokens、そしてプロバイダー固有のあらゆるカテゴリ — 未知のカテゴリを黙って落とすのではなくフラグを立てる。プロバイダーが加えるあらゆる新しい課金次元は、チームのusageスキーマに現れなければならない、さもなくば次回の請求書は驚きです。

第14章が敷いたもの

チームが入力対出力、テナント別、カテゴリ別分解で自身の請求書を読めるようになったら、次の問い — 財務が問う質問 — は、そもそもトークン単位で払うべきかどうかです。第15章は代替を歩きます。推論を内製化し、GPUをレンタルまたは購入し、代わりにGPU時間単位で払う。損益分岐算術は明快。あまり明快でなく、大半のチームが甘く見るのは、GPU請求書に載らない専用側の全て — プラットフォームエンジニアリング、セキュリティパッチ、モデルアップグレードの振付、ノードが艦隊から落ちたときに応答するオンコールローテーション。

次回 — 第15章: サーバーレスAPI vs 専用インフラ。 損益分岐の公式、隠れた項目、そして両方が正解のハイブリッド姿勢。