제2장 — KV 캐시라는 과제

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 두 번째 글입니다. 가중치가 채 기회를 얻기 전에 모든 서빙 시스템의 VRAM을 먹어 치우는 데이터 구조에 이름을 붙이는 장입니다.

이 장이 존재하는 이유

제1장의 자기회귀 루프는 「기억」으로써 이차적 작업을 피합니다. 각 디코딩 스텝에서 모델은 이전의 모든 토큰에 어텐드해야 하고, 매 반복마다 처음부터 프리필을 다시 돌리는 것은 완성 길이에 대해 N배 곱셈을 낳습니다. 키-값 캐시는 그 산술을 아끼는 작업 공간입니다. 그것은 각 레이어에서 토큰별 K와 V 투영을 저장해, 뒤의 토큰이 자기 것만 계산하고 앞의 것을 다시 읽을 수 있게 합니다. 캐시는 디코딩이 O(N²)이 아니라 대략 O(N)으로 유지되는 이유입니다. 그리고 제가 본 모든 프로덕션 시스템에서, 캐시는 VRAM을 가장 많이 먹는 단일 소비자입니다. 제2장은 그 크기를 지배하는 공식, 그것을 줄이는 아키텍처 변형, 그리고 소박한 할당 방식을 무너뜨리는 단편화 문제를 걷습니다.

2.1 캐시 크기를 지배하는 공식

한 시퀀스의 KV 메모리는 2 × L × H_kv × D × S × bytes입니다 — K와 V 두 텐서, L개 레이어, H_kv개의 키/값 헤드, 헤드 차원 D, 시퀀스 길이 S, 요소당 정밀도 바이트. 클러스터 수준의 숫자를 얻으려면 배치 크기를 곱합니다. 모든 축이 곱셈적입니다. Llama-3-70B는 L=80, H_kv=8(GQA), D=128이며, S=8,192, BF16에서 시퀀스당 대략 40GB의 캐시를 안고 있습니다 — 배치를 곱하기 전에. 배치 32에서 캐시만으로 1.3TB에 육박하는데, 이는 가중치 자체의 몇 배이고 H100의 VRAM의 몇 배입니다. Llama-2-70B — 마지막 주요 MHA 모델 — 는 H_kv가 8이 아니라 64이며 같은 구성에서 캐시가 여덟 배 큽니다. 이 공식은 흥미로운 사실이 아니라, 한 칩이 몇 명의 동시 사용자를 안을 수 있는지를 결정하는 숫자입니다. 카드 위의 다른 모든 메모리 예산 — 활성화, 프레임워크 오버헤드, 임시 버퍼 — 은 그 주위에 맞춰 들어가야 합니다.

2.2 MHA·GQA·MQA는 캐시 크기의 설계 선택이다

현대 아키텍처가 공학적으로 줄여 온 것은 H_kv 항입니다. 다중 헤드 어텐션(MHA)은 쿼리 헤드마다 하나의 K와 V 헤드를 씁니다 — 캐시가 크고, 품질이 가장 높으며, 각 헤드가 자기 어텐션 개념을 특화할 수 있습니다. 다중 쿼리 어텐션(MQA)은 하나의 공유 K·V 헤드로 무너집니다 — 캐시가 H배 줄어들지만, 헤드가 특화를 잃고 긴 컨텍스트에서 측정 가능한 품질 손실이 생깁니다. 그룹 쿼리 어텐션(GQA)은 2023년에 도입되어 지금은 Llama-3, Mistral, Mixtral, Qwen, DeepSeek의 지배적 선택이 되었으며, 쿼리 헤드를 G개의 그룹으로 나누어 K와 V를 공유합니다. 전형적인 G = H/8은 여덟 배 캐시 감소를 안기며, 품질 비용은 벤치마크가 신뢰성 있게 감지하지 못할 정도로 작습니다. GQA가 공짜인 것은 아닙니다 — K/V 투영 파라미터 수도 함께 줄어들고 그 예산은 모델 어딘가로 재분배됩니다 — 하지만 실증적으로 그 재분배가 해를 끼치는 경우는 드뭅니다. MLA(다중 잠재 어텐션, DeepSeek-V2)는 저랭크 잠재 캐시로 더 밀고 갑니다 — 연구 방향이지만, 2026년 프로덕션 배포는 여전히 GQA가 지배적입니다.

2.3 소박한 할당은 예산의 대부분을 낭비한다

KV 메모리를 할당하는 뻔한 방법 — 시퀀스마다 최대 가능 길이에 맞춘 연속 슬래브를 예약 — 은 실제 트래픽과 만나면 실패합니다. 대부분의 요청은 최대치보다 훨씬 짧게 끝나고, 예약된 꼬리는 죽은 메모리가 됩니다. 32K 상한의 Llama-3-70B에서 1,000토큰짜리 완성은 KV 캐시의 31개 슬래브 분량을 낭비합니다. 8K 상한에 평균 길이 800의 배치 32는 예약된 KV 캐시의 대략 90퍼센트를 항상 놀립니다. 게다가 배치는 뻣뻣합니다 — 새로 들어온 요청은 다른 시퀀스의 남은 꼬리를 쓸 수 없습니다. 꼬리는 이미 커밋되어 있기 때문입니다. 동시성은 평균 트래픽이 감당할 수 있는 만큼이 아니라 최악의 경우 예산이 허용하는 만큼으로 무너집니다. 이 문제는 내부 단편화 — 1960년대에 운영체제가 페이징으로 해결한 바로 그 실패 모드 — 입니다. 제8장은 PagedAttention이 어떻게 그 해법을 옮겨 오는지를 보여 줍니다.

제2장이 준비하는 것

캐시 공식과 그 축들은 뒤의 장들이 「한 GPU에 몇 명의 사용자가 들어가는가」를 다뤄야 할 때마다 다시 등장합니다. 제3장은 이를 써서 서빙 GPU를 고를 때 왜 VRAM 용량이 FLOPs보다 중요한지 설명합니다. 제7장은 이를 써서 연속 배칭이 왜 모델이 아니라 KV 캐시에 의해 묶이는지 설명합니다. 제8장은 이를 써서 PagedAttention, H2O 축출, 프리픽스 캐시 — 캐시가 예약된 바이트 슬래브가 아니라 페이지드 가상 메모리처럼 행동하도록 만드는 세 기법 — 를 정당화합니다. 이 공식은 이 책의 나머지 메모리 논증의 문법입니다.

다음 → 제3장: 생성 AI를 위한 데이터센터 GPU. 가중치와 KV 캐시를 모두 안아야 하는 실리콘을, 스펙 시트가 아니라 기제로 읽기.