제5장 — 양자화의 정체를 풀다

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 다섯 번째 글입니다. 70B 모델이 4비트 양자화에서도 살아남는데 1B 모델은 그렇지 못한 이유를 설명하고, 레시피를 고르는 법을 다루는 장입니다.

이 장이 존재하는 이유

디코딩은 메모리 대역폭에 묶여 있고, 대역폭의 통화는 가중치당 바이트입니다. BF16의 70B 모델은 포워드 패스당 140GB를 읽습니다. 같은 모델을 INT4로 하면 35GB를 읽습니다. 산술은 동일합니다. 병목이 네 배 옮겨 갑니다. 이 한 관찰이 양자화를 연구 호기심에서 프로덕션 추론의 기본 배포 경로로 옮긴 이유입니다. 제5장은 그 기제를 걷습니다 — 정밀도가 실제로 무엇을 의미하는지, 왜 공격적인 양자화가 작은 모델을 무너뜨리는 것처럼 큰 모델을 무너뜨리지 않는지, AWQ·GPTQ·SmoothQuant·GGUF가 실제로 뒤에서 무엇을 하는지, 그리고 양자화가 어디에서 안전을 그만두고 조용히 품질을 갉아먹기 시작하는지.

5.1 큰 모델은 4비트를 견디고 작은 모델은 그렇지 못하다

대형 모델 양자화를 뒷받침하는 관찰이 셋 있습니다. 첫째, 큰 트랜스포머에서 개별 가중치의 정보량은 낮습니다 — 예측 행동은 영 근처에서 날카롭게 뾰족한 분포를 가진 수십억 가중치의 집단적 상호작용에서 창발합니다. 가중치를 0.0031에서 0.003으로 반올림해도 다음 레이어가 감지할 수 있는 것은 아무것도 바뀌지 않습니다. 둘째, 학습된 트랜스포머는 파라미터 공간의 평평한 영역 안에 앉아 있고, 그 근처의 많은 구성이 거의 동일한 출력을 냅니다. 대략 30B 이상 모델에서는 그 영역이 4비트 교란을 흡수하고도 MMLU 감소가 1점 미만이 될 만큼 넓습니다. 셋째, 혼합 정밀도가 민감한 레이어 — 어텐션 점수, 레이어 노름, 최종 로짓 — 를 BF16에 남겨 두면서 대부분의 선형 투영을 INT4로 내려 보냅니다. INT4의 70B 모델은 실증적으로 BF16 자신과 거의 구별되지 않지만, INT4의 1B 모델은 눈에 띄게 나빠집니다 — 평평한 영역이 더 작고, 교란이 모델을 그 바깥으로 밀어 내기 때문입니다. 소박한 직관 — 「작은 모델이 더 쉽게 양자화되어야 한다」 — 은 정확히 반대입니다.

5.2 AWQ·GPTQ·SmoothQuant·GGUF는 서로 다른 일을 한다

GPTQ는 가중치 행렬을 열별로 걸으며, 작은 캘리브레이션 세트에 대한 출력 오차를 최소화하도록 양자화 레벨을 고르고, 아직 양자화되지 않은 열들을 갱신해 잔차를 흡수시킵니다 — 헤시안 근사 보정으로 레이어의 출력을 원본에 가깝게 유지합니다. AWQ는 다른 관찰에서 출발합니다 — 활성화 아웃라이어가 가중치 아웃라이어만큼 중요하므로, 양자화 전에 두드러진 가중치 채널을 크게 스케일하고(활성화는 이를 상쇄하도록 낮춥니다) 그 가중치가 실제로 차지하는 범위 위에 양자화 레벨을 뿌립니다. SmoothQuant는 활성화 쪽을 공격합니다 — LLM에는 크기가 어마어마한 몇 개의 채널이 있어 소박한 활성화 양자화를 무너뜨리므로, 채널별로 아웃라이어의 크기를 활성화에서 가중치로 옮겨 W8A8이 무시할 만한 손실로 안착하게 합니다. GGUF는 단일 알고리즘이 아니라 파일 형식입니다 — CPU와 엣지 추론을 위해 llama.cpp가 쓰는 Q4_K_M 스타일의 중첩 슈퍼블록 스케일링. 생태적으로는 중요하지만 데이터센터 GPU에서는 잘 쓰이지 않습니다.

5.3 안전 사다리와 캘리브레이션 규율

실증적 안전 사다리는 깔끔합니다. BF16 → FP8은 거의 항상 손실이 없고 프로덕션의 기본값입니다. BF16 → INT8은 유능한 알고리즘과 함께라면 대략 7B 이상에서 손실이 없습니다. BF16 → INT4는 AWQ나 GPTQ와 함께라면 대략 30B 이상에서 손실이 없고, 13B 미만에서는 MMLU가 1~3점 떨어지며, 7B 미만에서는 양자화 인식 학습 없이는 5점 이상 떨어집니다. INT3 이하는 실험적입니다. 사다리가 프로덕션에서 유지되는지를 지배하는 두 규율이 있습니다. 첫째는 올바른 분포에서의 캘리브레이션 — 프로덕션 워크로드가 뽑을 분포와 같은 분포에서 128~512개의 대표 표본을 뽑아, 워크로드가 표류함에 따라 6~12개월마다 다시 돌립니다. 둘째는 태스크 측 평가 — 표준 벤치마크는 모델 역량의 롱테일에서 품질 이동을 놓칠 수 있고(희귀 사실, 다단계 추론, 소수 언어 코드), 공격적인 양자화는 애플리케이션에 중요한 차원으로 채점된 실제 프로덕션 트래픽 조각에 대해 검증되어야 합니다.

제5장이 준비하는 것

양자화는 가중치당 바이트를 줄입니다. 다음 장은 가중치의 개수를 직접 줄입니다. 제6장은 프루닝 — Hopper가 네이티브로 가속하는 2:4 구조 희소성 포함 — 과 지식 증류를 걷습니다. 후자에서는 큰 선생의 행동이 더 저렴하게 돌아가는 학생으로 전이됩니다. 세 압축(양자화, 프루닝, 증류)이 함께 모델 측 도구 상자를 이루어 제1장이 이름 붙인 대역폭 부담을 낮춥니다. 제7장은 새로 얻은 여유를 동시 사용자 처리량으로 바꾸는 런타임 측 레버 — 배칭 — 으로 향합니다.

다음 → 제6장: 프루닝과 지식 증류. 가중치 폭이 아니라 가중치 개수를 직접 공격하는 두 모델 측 압축.