제6장 — 프루닝과 지식 증류

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 여섯 번째 글입니다. 가중치 개수를 직접 공격하는 장 — 먼저 중요하지 않은 가중치를 영으로 만들고, 그다음에는 큰 모델의 행동을 더 작은 모델로 옮깁니다.

이 장이 존재하는 이유

양자화는 가중치당 바이트를 줄입니다. 프루닝은 애초에 곱해지는 가중치의 수를 줄입니다. 지식 증류는 큰 선생의 행동을 처음부터 끝까지 더 싸게 돌아가는 학생으로 옮깁니다. 프루닝은 같은 아키텍처 위에서 오버헤드를 깎는 편집이고, 증류는 아키텍처 변경입니다 — 영구적인 추론 시간 절감을 얻는 대가로 학습 시간의 비용을 받아들입니다. 제6장은 둘 모두를 걷습니다 — 각각이 기대는 기제, 실무자가 부딪히는 실패 모드, 그리고 구조적 프루닝을 Hopper와 Blackwell에서 다시 경제적으로 흥미롭게 만든 하드웨어 가속 패턴(2:4 희소성).

6.1 2:4 희소성은 하드웨어가 보상하는 프루닝 패턴

비구조 크기 기반 프루닝 — 가장 작은 50퍼센트의 가중치를 영으로 만들고 잠깐 파인튜닝 — 은 수치적으로 작동하지만 가속되지는 않습니다. GPU는 조밀 GEMM을 수행하고, 흩뿌려진 영도 여전히 곱해집니다. 구조적 프루닝은 하드웨어가 건너뛸 수 있는 단위 전체를 제거합니다 — 어텐션 헤드, MLP 뉴런, 또는(중요한 경우) 가중치 행렬 안의 N:M 패턴. Hopper와 Blackwell은 2:4 희소성을 네이티브로 지원합니다 — 입력 차원을 따라 연속된 네 가중치마다 정확히 두 개의 영. 칩은 각 네 가중치 그룹을 비영 두 값에 2비트 마스크를 더해 저장하고, 희소 텐서 코어는 영 곱셈을 건너뛰며, 대역폭과 FLOPs가 대략 두 배 떨어집니다. 측정된 디코딩 처리량에서는 1.7~1.9배 속도 향상. 요령은 2:4가 프루닝 중에 부과되어야 한다는 것입니다 — 알고리즘은 각 행렬을 넷씩 걸으며 가장 작은 둘을 영으로 강제하고, 이후 짧게 파인튜닝하거나 SparseGPT로 보정합니다. 마스크는 메타데이터이고, 런타임 절감은 자동입니다.

6.2 증류는 선생의 아그맥스가 아니라 분포를 옮긴다

학습된 선생 LLM은 각 위치에서 어휘 위의 분포 — 128k 차원 소프트맥스 — 를 만들어 냅니다. 아그맥스는 그리디 디코딩에서 뱉을 토큰입니다. 하지만 분포는 선생의 불확실성, 유사어 사이의 선호 구조, 캘리브레이션을 인코딩합니다. 그 분포를 학생에게 맞추도록 학습시키는 것은 그 모두를 옮기는 일입니다 — 손실은 부드럽게 만든 선생과 학생 출력 사이의 KL 발산이고, 온도가 그 그래디언트 신호를 저확률 꼬리로 넓힙니다. 나오는 학생은 같은 데이터로 처음부터 학습된 더 작은 모델이 아니라 선생의 더 작고 더 빠른 버전처럼 행동합니다. 인내형 지식 증류(PKD)는 매핑된 학생-선생 레이어 쌍 사이의 은닉 상태를 맞추어 중간 레이어까지 레시피를 확장합니다. MiniLLM은 더 미묘한 실패 — 순방향 KL 학생이 여러 그럴듯한 선생 연속들 사이에서 헤지하며 밋밋한 출력을 내는 모드 평균화 문제 — 를 다룹니다. 이를 위해 역방향 KL로 바꿔, 여럿을 부드럽게 커버하기보다 선생의 한 모드에 날카롭게 맞추는 것을 선호하게 합니다.

6.3 세 압축은 특정 순서로 쌓인다

먼저 증류, 다음 프루닝, 마지막에 양자화. 증류는 가장 비싸고 아키텍처를 가장 많이 바꾸는 조작이므로, 다른 선택이 잠기기 전에 조밀한 고정밀 모델에 한 번 하는 것이 이치에 맞습니다. 학생을 SparseGPT와 짧은 회복 파인튜닝으로 2:4로 프룬합니다. 희소화된 학생을 llm-compressor로 FP8로 양자화합니다. 실제 스택 예: 70B BF16 선생 → 13B BF16 증류 학생 → 2:4 희소화 → FP8 양자화. 포워드 패스당 가중치 바이트는 140GB에서 대략 6.5GB로 떨어져 22배 감소하고, Hopper의 FP8과 2:4 경로가 이를 GPU당 8~10배 처리량 이득으로 바꿉니다. 이 스택이 줄이지 못하는 것은 KV 캐시입니다. 그것은 가중치 개수가 아니라 은닉 차원, 헤드 수, 컨텍스트 길이에 의존하기 때문입니다. 그것이 제8장의 주제입니다. 그리고 모델 수준의 압축은 추론당 압축입니다 — GPU에 여유를 주지만, 그 여유를 동시 사용자로 채우는 런타임 레버는 배칭입니다.

제6장이 준비하는 것

제5장과 제6장은 모델 측 압축을 다 소진했습니다 — 가중치당 바이트를 양자화하고, 가중치 개수를 프룬하고, 모델 전체를 증류로 내립니다. GPU는 이제 매 포워드 패스마다 여유가 있습니다. 제7장은 그 여유를 유용한 일로 채우는 시스템 수준 레버 — 배칭 — 로 향합니다. 정적 배칭은 거의 작동하다가 최속 완료자 문제에서 무너집니다. 연속 배칭은 이터레이션 단위 스케줄링과 함께 프로덕션 엔진이 실제로 돌리는 방식이며, 대역폭에 묶인 디코드 단계를 유휴 칩에서 여러 사용자를 동시에 서빙하는 칩으로 바꿉니다.

다음 → 제7장: 고급 배칭 전략. 정적·동적·연속 배칭, 그리고 연속 배칭이 KV 캐시에게 지우는 빚.