제9장 — 투기적 디코딩

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 아홉 번째 글입니다. 자기회귀의 순차 병목에 수학적 허점이 있다는 것, 그리고 언제 그 허점이 이득이 되는지의 산수를 보여 주는 장입니다.

이 장이 존재하는 이유

제7장과 제8장은 동시성을 공격했습니다 — 여러 시퀀스에 걸쳐 GPU를 바쁘게 유지했습니다. 어느 것도 각 시퀀스가 여전히 이터레이션당 하나의 출력 토큰을 받는다는 사실을 바꾸지 못합니다. 그 바닥은 피할 수 없는 것처럼 보이는데, 트랜스포머의 포워드 패스가 진짜로 이전에 선택된 토큰에 의존하기 때문입니다. 투기적 디코딩은 그 의존이 생성에 대한 것이지 검증에 대한 것이 아니라는 관찰입니다 — 토큰 t+1의 후보가 주어지면, 타깃 모델은 「내가 이것을 골랐을까?」를 묻는 동시에 그 후보가 맞다고 가정한 상태의 t+2에 대한 분포를 하나의 포워드 패스로 계산할 수 있습니다. 제9장은 그 기제, 초안 알고리즘(EAGLE, Medusa, Lookahead, MTP, n-gram, suffix), 그리고 투기가 승리가 되는지의 산수를 걷습니다.

9.1 검증 통찰은 정확성을 그대로 보존한다

값싼 초안 기제가 N개의 후보 토큰을 제안합니다. 타깃 — 우리가 원하는 값비싼 모델 — 은 프리픽스에 N개의 후보를 이어 붙인 것에 대해 한 번의 포워드 패스를 돕니다. 트랜스포머의 포워드 패스는 위치에 대해 병렬이므로, 타깃은 그 한 패스에서 N+1개 위치 각각에서 자기 다음 토큰 분포를 만들어 냅니다. 후보가 타깃과 일치하는 가장 긴 프리픽스가 수용되고, 첫 불일치 지점에서 엔진은 타깃 자신의 선택을 커밋하고 나머지를 버립니다. 수용 규칙 — 초안 q에서 뽑힌 x를 min(1, p(x)/q(x)) 확률로 수용하고, 아니면 정규화된 잔차 (p−q)₊에서 샘플 — 은 출력 분포를 평범한 타깃 샘플링과 동일하게 만듭니다. 투기는 정확성 보존이며, 초안은 속도에만 영향을 줍니다. 현대 GPU에서 N=4의 검증 패스는 어텐션이 이제 N+1개 쿼리 위치에 걸치지만 여전히 메모리에 묶인 영역 안에 있기 때문에 일반 디코드 스텝의 대략 1.2~1.5배 비용입니다.

9.2 EAGLE은 초안을 타깃의 은닉 상태에 묶는다

초기 구현들은 별도의 작은 모델을 초안으로 썼습니다 — Llama-70B의 초안을 위한 Llama-7B — 이것은 작동하지만 초안 가중치를 위한 두 번째 HBM 스트림을 요구하며, 두 모델이 표현을 공유하지 않아 수용률에 상한이 있습니다. EAGLE은 2024~2025년에 걸쳐 EAGLE-2, EAGLE-3로 다듬어지며 초안을 타깃에 묶습니다 — 타깃의 다음 레이어 은닉 상태를 예측하도록 학습된 하나의 트랜스포머 레이어를 타깃의 자체 출력 임베딩을 통해 투영합니다. 스트리밍할 별도의 7B 가중치 집합이 없고, 초안 헤드는 수백 메가바이트에 불과합니다. EAGLE-2는 동적 초안 트리 확장을 얹습니다 — 커스텀 마스크로 한 번의 어텐션 패스에서 검증되는 후보 트리 — 그래서 타깃이 초안의 단일 추측 대신 여러 경로 중 최고를 고릅니다. EAGLE-3는 다층 특징 혼합을 더해, 마지막에서 두 번째 레이어만이 아니라 중간 타깃 레이어를 소비합니다. 수용률은 N이 5~8일 때 챗과 코드에서 75~85퍼센트에 안착하며, 평범한 디코딩 대비 종단간 3~4배 속도 향상으로 번역됩니다. Medusa는 대안 경로를 갑니다 — 자기회귀적이 아니라 한 패스에서 여러 미래 토큰을 예측하는 병렬 초안 헤드 — 학습 이야기는 더 단순하고 수용률은 살짝 낮습니다. N-gram과 suffix 디코딩은 반복적 워크로드(코드 편집, 템플릿 출력)에서의 공짜 점심입니다. 거기서는 초안이 그저 최근 컨텍스트를 조회하는 것입니다.

9.3 검증 패스 그 자체가 상한이 된다

속도 향상 공식은 적어 둘 만큼 정확합니다 — E[수용된 토큰 수] / (T_초안/T_디코드 + 1 + α·N), 여기서 α는 위치당 검증 오버헤드로 보통 0.05~0.15입니다. 두 상한이 보입니다. 첫째, α·N은 N과 함께 커지므로 N을 무한정 늘리는 것은 도움이 되지 않습니다. 정점은 p=0.8에서 N=6~8, p=0.9에서 N=10~12 근처입니다. N을 하드코딩하는 엔진은 워크로드 변동에서 최적점을 놓칩니다. 둘째, 더 미묘하게, p가 1에 가까워질 때 점근적 속도 향상은 1/α입니다 — α=0.10에서 대략 10배, α=0.05에서 20배 — 왜냐하면 검증 패스 그 자체가 벽이기 때문입니다. 프로덕션 엔진은 매우 반복적인 워크로드에서 이 범위의 정점 속도 향상을 측정했고, 그것을 넘어서지는 못했습니다. 투기는 배칭과도 상호작용합니다 — 높은 배치 크기에서 타깃의 포워드 패스는 이미 연산에 가까워지고, 여분의 검증 토큰이 그것을 더 밀어붙여, 배치가 커질수록 속도 향상은 줄어듭니다. 투기의 스위트 스폿은 지연이 결정적인 워크로드의 낮은-중간 배치 크기 — 바로 제1장의 활용되지 않은 연산이 사는 영역 — 입니다.

제9장이 준비하는 것

제5장부터 제9장까지가 모델과 런타임의 도구 상자 — 양자화, 프루닝, 증류, 배칭, 페이지드 KV, 투기적 디코딩 — 를 다 소진했습니다. 그중 어느 것도 pip install로 넣고 잊어버릴 라이브러리로 나오지 않습니다. 누군가는 이들을 하나의 런타임으로 엮어, GPU 위의 모델을 소유하고, 연속 배치를 돌리고, 추론 API를 노출해야 합니다. 그 런타임이 엔진입니다. 제10장은 2026년 스택을 지배하는 다섯 엔진 — vLLM, TensorRT-LLM, SGLang, TGI, Ollama — 을 걷고, 어느 것이 주어진 배포에 맞는 선택인지를 결정하는 기제적 절충을 다룹니다.

다음 → 제10장: LLM 엔진 계층. vLLM, TensorRT-LLM, SGLang, TGI, Ollama — 벤치마크가 아니라 기제로 고르는 단일 노드 런타임으로서의 엔진들.