제1장 — 토큰 생성의 기제

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 첫 글입니다. LLM 서빙의 거의 모든 어려운 질문이 한 사실에서 내려온다는 주장을 하는 장입니다 — 각 토큰을 만드는 루프는 메모리 대역폭에 묶여 있고, 여러분이 값을 치른 비싼 연산 유닛은 99.7퍼센트의 시간을 놀리고 있습니다.

이 장이 존재하는 이유

운영 관점에서 보면 LLM은 다음 토큰 예측기를 루프로 감싼 것입니다. 토큰이 들어가고, 다음 토큰에 대한 확률 분포가 나오고, 하나가 뽑혀서 붙고, 다시 루프가 돕니다. 추론 스택에서 흥미로운 모든 성질 — 배칭, 양자화, KV 캐싱, 투기적 디코딩, 분리 서빙 — 은 그 루프를 자세히 들여다보는 데서 내려옵니다. 그리고 이 루프는 같은 코드 경로를 공유하지만 하드웨어에 정반대의 방식으로 힘을 주는 두 워크로드를 감추고 있습니다. 하나는 연산에 묶여 있고, 다른 하나는 대역폭에 묶여 있습니다. 같은 H100에서. 같은 포워드 패스 안에서. 이 분리에 정확한 이름을 붙이는 것이 이 책의 첫 걸음이고, 이후의 모든 장이 되돌아 참조하는 프레임입니다.

1.1 자기회귀 루프는 힘에 의해 순차적이다

토큰 t+1은 t까지의 모든 토큰의 함수입니다. 모델은 t+1이 샘플링되기 전에는 t+2를 예측할 수 없습니다. t+2의 예측이 t+1을 입력의 일부로 요구하기 때문입니다. 하나의 시퀀스에 대해 연속된 두 토큰의 생성을 병렬화할 수 있는 영리한 커널은 없습니다. 순차성은 계산의 의존 구조가 강제합니다. 따라서 N개 토큰을 완성하는 데 걸리는 벽시계 비용은 한 스텝의 비용의 N배에 고정 오버헤드를 더한 값입니다. 이 책이 뒤에서 다루는 모든 최적화 — 더 큰 배치, 궤적 앞의 투기, 스텝당 더 싼 산술 — 은 「루프가 한 번에 한 토큰씩 걸어야 한다는 사실을 두고, 각 스텝을 어떻게 더 빠르게 하거나 각 배치를 어떻게 더 크게 할 것인가」라는 질문에 대한 부분 답입니다. 모델에게는 또한 외부 스크래치패드가 없습니다 — 그것은 토큰을 뱉음으로써 생각합니다. 루프는 모델이 더 오래 생각할 수 있게 해 주는 유일한 기제이며, 그래서 사고 사슬과 투기적 디코딩이 같은 회계 안에 삽니다.

1.2 프리필과 디코딩은 칩에 정반대의 힘을 준다

루프는 두 국면을 감추고 있습니다. 프리필은 첫 포워드 패스로, 사용자의 프롬프트를 [batch, sequence_length, hidden_dim] 형태로 처리합니다. 모든 행렬 곱은 시퀀스의 모든 위치에서 동시에 수행됩니다. 산술은 시퀀스 길이에 비례하고, 가중치는 HBM에서 한 번 읽혀 여러 행의 일에 적용됩니다. 산술 강도가 높습니다. 프리필은 연산에 묶여 있고, H100의 989 BF16 TFLOP/s를 실제로 씁니다. 디코딩은 그 뒤의 모든 포워드 패스입니다. 입력 형태가 [batch, 1, hidden_dim]으로 무너집니다. 각 레이어의 가중치는 여전히 HBM에서 스트리밍되어야 하지만, 그 가중치에 대고 수행되는 산술은 단 한 행입니다. 산술 강도가 세 자릿수만큼 무너집니다. 디코딩은 메모리 대역폭에 묶여 있습니다. BF16의 70B 모델에서, 2,000토큰 프롬프트의 프리필은 칩의 연산 상한선에 가까이 돌고, 바로 그 다음 포워드 패스 — 첫 디코드 스텝 — 는 같은 140GB의 가중치에 대고 토큰 하나를 만듭니다. 칩은 바뀌지 않았습니다. 워크로드가 바뀐 것입니다.

1.3 사용자 한 명이 H100의 99.7퍼센트를 유휴로 남긴다

결과적으로 한 사용자의 실시간 생성은 프런티어 가속기에는 최악의 경우입니다. H100 SXM 한 장 위의 BF16 70B 모델은 초당 대략 24개의 토큰을 디코드합니다 — 사용자에게는 빠른 읽기 속도이고, 칩의 3.35 TB/s HBM3 대역폭은 토큰당 140GB의 가중치를 옮기며 완전히 포화됩니다. 하지만 그 속도에서 연산 유닛은 스스로 낼 수 있는 989 TFLOP/s 중 대략 3.36 TFLOP/s만 씁니다. 연산 활용률 0.34퍼센트. 물리적 칩이 잘못 구성된 것이 아닙니다 — 모든 SM이 최대 속도로 읽고 곱하고 있습니다. 다만 텐서 코어는 각 가중치 타일에 대해 여러 행의 타일을 소비하도록 설계되어 있고, 단일 토큰 포워드 패스는 그 코어에게 한 행만을 줍니다. 연산 능력은 워크로드가 만들어 내지 못하는 단위(적재된 바이트당 연산량)로 표시되어 있습니다. 그래도 누군가는 칩 전체 값으로 시간당 4~8달러를 여전히 냅니다. 그러므로 LLM 서빙의 경제학은 세워 둔 연산에게 일을 찾아 주는 경제학입니다 — 배칭을 통해, 더 싼 토큰당 대역폭을 통해, 투기를 통해, 균형점이 워크로드에 맞는 하드웨어를 통해.

제1장이 준비하는 것

이 책의 나머지는 여기서 이름 붙은 비대칭에 대한 응답입니다. 제2장은 KV 캐시 — 디코딩이 이차적 재계산을 피하게 해 주면서 그 과정에서 서빙 클러스터에서 VRAM을 가장 많이 먹는 단일 데이터 구조가 되는 것 — 를 뜯어봅니다. 제3장과 제4장은 대역폭 대 연산의 렌즈로 하드웨어 기판을 걷습니다. 제5장과 제6장은 가중치를 줄임으로써 토큰당 대역폭 부담을 줄입니다. 제7장은 대역폭에 묶인 낭비를 처리량으로 바꾸는 시스템 수준 레버로 배칭을 걷습니다. 제8장과 제9장은 페이지드 KV 관리와 투기적 디코딩으로 일의 모양을 바꿉니다. 각 수는 이 장이 방금 측정한 유휴 연산을 채우려는 시도로 읽을 수 있습니다.

다음 → 제2장: KV 캐시라는 과제. 디코딩을 값싸게 만드는 작업 공간, 그리고 서빙 클러스터가 왜 연산보다 VRAM이 먼저 떨어지는지를 설명하는 메모리 공식.