第 5 章 — 量化去神秘化

《LLM Primer VI:擴展 AI 系統》章節走讀的第五篇。這一章解釋為什麼一顆 70B 模型撐得住 4 位元量化、而一顆 1B 模型撐不住 — 以及怎麼挑配方。

這一章為什麼存在

Decoding 受制於記憶體頻寬;頻寬的貨幣是「每個權重的位元組數」。一顆 BF16 的 70B 模型每次前向傳遞讀取 140 GB。同樣模型在 INT4 下讀取 35 GB。算術一模一樣。瓶頸位置移動了四倍。這一個觀察,就是量化為什麼從研究趣味變成生產推論預設部署路徑的原因。第 5 章走過機制 — 精度真正的意義是什麼、為什麼激進的量化不會像對小模型那樣摧毀大模型、AWQ、GPTQ、SmoothQuant、GGUF 底下到底在做什麼、以及量化什麼時候會從安全變成默默地降低品質。

5.1 為什麼大模型撐得住 4 位元、小模型撐不住

三個觀察撐起了大模型的量化。第一,一顆大 transformer 裡單一權重所包含的資訊量很低:預測行為是從數十億個分布在零附近尖峰上的權重的集體交互作用中浮現的。把一個權重從 0.0031 四捨五入到 0.003,下一層根本偵測不出任何變化。第二,訓練過的 transformer 坐在參數空間裡一塊平坦區域,附近許多配置產生幾乎一樣的輸出,而對 30B 以上的模型而言,這塊區域寬到能吸收 4 位元擾動而 MMLU 掉不到一分。第三,混合精度讓敏感的層 — 注意力分數、layer norm、最後的 logits — 留在 BF16,而大宗的線性投影下沉到 INT4。一顆 INT4 的 70B 模型從經驗上跟它的 BF16 版本幾乎無法分辨;一顆 INT4 的 1B 模型明顯變差,因為那塊平坦區域比較小,擾動會把模型推出去。天真的直覺 — 認為愈小的模型應該愈容易量化 — 剛好完全反過來。

5.2 AWQ、GPTQ、SmoothQuant、GGUF 做的事情不一樣

GPTQ 一欄一欄地走權重矩陣,挑量化級距來最小化在一小組校準集上的輸出誤差,並更新還沒被量化的欄位去吸收殘差 — 一種 Hessian 近似的補償,讓該層的輸出貼近原本的。AWQ 從不同的觀察出發:啟動值的離群值跟權重離群值一樣重要,所以在量化之前把顯著的權重通道放大(並把啟動值等比縮小去補償),讓量化級距散佈在那些權重實際佔用的範圍裡。SmoothQuant 攻擊的是啟動值那一側:LLM 有幾條量級很大的通道會毀掉天真的啟動值量化,所以它把離群值的量級按通道從啟動值遷移到權重上,讓 W8A8 幾乎沒有可觀損失地落地。GGUF 是檔案格式而不是單一演算法 — llama.cpp 為 CPU 與邊緣推論所用的 Q4_K_M 式巢狀 super-block 縮放 — 在生態上重要,但很少被拿到資料中心 GPU 上用。

5.3 安全階梯與校準紀律

經驗上的安全階梯很清楚。BF16 → FP8 幾乎永遠是無損的,是生產環境的預設。BF16 → INT8 在 7B 以上、演算法有能力的情況下無損。BF16 → INT4 在 30B 以上、用 AWQ 或 GPTQ 是無損的;13B 以下要付 1 到 3 分 MMLU;7B 以下沒有量化感知訓練就要付 5 分以上。INT3 以下屬於實驗性。有兩條紀律決定這條階梯在生產上能不能撐住。第一是在對的分布上做校準:從生產工作量會抽的同一分布抽 128 到 512 筆代表性樣本,並隨工作量漂移每六到十二個月重跑一次。第二是任務端評估:標準跑分可能漏掉模型能力長尾上的品質變化 — 罕見事實、多步推理、少數語言程式碼 — 而激進的量化應該用一片真實生產流量的樣本、以應用真正在意的維度打分來驗證。

第 5 章鋪陳出來的東西

量化縮小每個權重的位元組數。下一章直接縮小權重的數量。第 6 章走剪枝 — 包括 Hopper 原生加速的 2:4 結構化稀疏 — 以及知識蒸餾,把大老師的行為轉移到一個從頭到尾都跑得比較便宜的更小學生身上。三種壓縮(量化、剪枝、蒸餾)合起來,構成第 1 章所命名的頻寬負擔的模型端工具箱。第 7 章接著轉到執行期端的槓桿 — 批次處理 — 把這些新騰出的餘裕轉換成同時在線的使用者吞吐量。

下一篇 — 第 6 章:剪枝與知識蒸餾。兩種模型端壓縮,它們直接攻擊權重數量而不是權重寬度。