第 16 章 — 生產環境的降本策略

《LLM Primer VI:擴展 AI 系統》章節走讀的最終篇。那些各自獨立、但能複利成上個月帳單三分之一到一半的動作目錄。

這一章為什麼存在

前兩章告訴團隊錢跑到哪裡去了,並給了一個決定 API 對比自架該站哪一側的框架。這一章是那些決定一旦定案之後,團隊能做的動作目錄。這些動作大致上跟姿態無關 — 在 API 上省錢、在專屬硬體上省錢、在混合安排上省錢 — 而且會複利。按順序採用這些動作的團隊,常常在專注降本六個月後發現自己的推論帳單降到原本的三分之一到一半。這些動作沒有一個是奇招;每一個都需要刻意工程;打造它們的成本相對於它們省下的錢很小。

16.1 智慧型模型路由是最大的單一槓桿

生產流量的難度不是均勻的。過半的請求簡單到用比最前沿便宜一個數量級的預算等模型就處理得了;只有一小部分真的需要最前沿。把每件事都送到最頂端的團隊,對簡單那些多付了 10 到 20 倍。對的架構是一個把每個請求分類、然後派到「能處理它的最便宜等級」的路由器。撰寫此文時的成本梯度大約是輸入 30:1、輸出 20:1,介於最前沿(每一百萬輸出 15 到 30 美元)與預算等(0.10 到 1 美元)之間。路由器選項從對請求形狀(長度、格式、工具使用標記)做啟發式,到用一個輸出等級標籤的預算等分類器,一路到用「哪個模型實際上有效」的歷史資料訓練的學習型路由器。設計限制:便宜且快(100 毫秒以內、幾分錢)、可觀測(每個決定連同特徵與結果都記錄下來)、預設安全(不確定時往上送 — 過度往上送的成本是多花一美元、往下送不夠的成本是可見的品質退化)。

16.2 壓縮、批次 API、語意快取各自買回一大塊

上下文壓縮攻擊的是第 14 章命名的平方輸入成長。最簡單的形式是滑動視窗:把最後 K 輪原封不動地留、其餘用預算等模型摘要;摘要呼叫花不到一分錢,並在每一個後續輪次把輸入從幾千個原話歷史 token 縮到幾百個摘要。更精緻的壓縮器則會把特定類別(程式碼、工具輸出、使用者提供的資料)原封不動地保留、把其他的摘要掉。非同步批次 API 半價地處理任何沒有同步延遲預算的工作量 — 隔夜摘要、重新分類、A/B 測試的預先生成、embedding 更新 — 這類別比團隊起初認知的還大,而且把工作量搬到批次的工程微不足道。語意快取在模型被呼叫之前就回答:把每個請求 embedding、在一個「先前請求-回應對」的向量索引裡查、若相似度過門檻就回快取的回應。兩位使用者問「退貨政策是什麼」跟「怎麼退商品」會命中同一筆。在 FAQ 形狀的流量上,30 到 50% 的快取命中率是常態,而最便宜的 token 是永遠沒被產生的那個。

16.3 這些動作以乘法而非加法複利

拿一個每月帳單長到 4,000 美元、每天 1,000 個查詢的代理來看。路由:60% 預算等、30% 中等、10% 最前沿 → 混合成本掉到最前沿費率的 28%,帳單降到 1,100 美元。壓縮:輸入膨脹砍半,帳單降到 770 美元。20% 移到批次:720 美元。語意快取搭配 25% 命中率:540 美元。從 4,000 到 540 — 降 86% — 使用者看不到任何變化。還有兩個不用專章介紹也值得掛在名下的動作。提示詞審核 — 用新的眼光讀每一個提示詞、刪掉任何無法替自己的 token 辯護的東西 — 通常能砍出 10 到 20% 的花費,行為不會變。一個明確的 max_tokens 上限阻止回應跑到 2,000 個 token,而應用其實只需要 300 — 那個請求幾乎多付了 7 倍。心裡模型是第四卷的:每個請求都有一個單位成本,工程的工作是把每個請求路過便宜的層,只有必要時才到最貴那層。

第 16 章收在哪裡

這一卷開場於自回歸瓶頸 — LLM 生成必然循序、而那顆這麼擅長平行算術的硬體大部分時間都在等記憶體的那個不可縮減事實。之後每一章都是對這個核心事實在堆疊不同層次上的回應。硬體章節搭起實體底層。模型層章節縮小模型。系統層章節從每一個時脈週期裡榨出最多有用工作。引擎與編排章節把它送上生產。經濟學章節描述營運這套系統的團隊怎麼付錢。每一層都是對前一層的回應,而大規模營運 LLM 的紀律,就是靠同一批人、或至少靠能用同一套詞彙互相對話的人,把所有一切整合起來。

這本書在這裡結束。系列會在第七卷 — AI 安全裡繼續走下去,把這一卷的生產工程紀律延伸到威脅模型、護欄、模型生成程式碼的沙箱化、prompt-injection 緩解、輸出過濾、以及正在塑造上述所有一切必須如何部署的法規。這一卷所建立的基礎設施 — 推論機群、路由層、沙箱、代理執行環境 — 正是第七卷資安關心事項要在其上展開的基礎設施。擴展與資安是同一個問題的兩面:一個是成長的工程,另一個是對成長所招來的攻擊的抗性工程。