LLM Primer VI — 시리즈 서문 및 목차

LLM Primer VI: AI 시스템 확장하기를 챕터별로 따라가는 워크스루의 시작입니다. 메모리 대역폭, 스케줄링, 그리고 달러 기호가 서로 부딪히는 자리에서 LLM 추론을 엔지니어링 학문으로 다루는 권입니다.

이 시리즈가 존재하는 이유

시간당 4~8달러에 빌린 H100은 BF16 기준 989 TFLOP/s를 냅니다. 사용자 한 명이 70B 모델에 대고 실시간으로 한 응답을 생성하는 동안 그 칩이 실제로 쓰는 연산량은 대략 0.34퍼센트입니다. 나머지 99.7퍼센트는 노는 것이 아니라, 워크로드가 메모리 대역폭에 묶여 있어 HBM이 가중치를 흘려 보내는 동안 연산 유닛에 시킬 일이 없는 상태입니다. 추론 엔지니어링은 그 노는 유닛에게 일을 찾아 주는 학문입니다. 배칭, KV 캐시 회계, 양자화, 투기적 디코딩, 스케줄링, 그리고 마침내는 플랫폼, 오케스트레이션, 비용의 학문입니다. 이 권에 담긴 모든 기법은 같은 동작의 변주입니다 — 사용자가 실제로 느끼는 지연을 깨뜨리지 않으면서 대역폭에 묶인 낭비를 처리량으로 바꾸는 일입니다.

이 책의 독자

대규모 LLM 추론을 실제로 운영하는 플랫폼 엔지니어, SRE, 인프라 아키텍트를 위해 썼습니다 — 지연 시간이 튈 때 호출되는 사람, 예산 라인의 GPU 풀이 자기 것인 사람, 지난달 청구서가 왜 그전 달의 두 배가 되었는지를 재무에 설명해야 하는 사람들입니다. 또한 모델을 학습시킨 뒤 이제 서빙까지 맡게 된 ML 엔지니어, 그리고 어느 날 갑자기 팀 안에서 추론 전문가에 가장 가까운 사람이 되어 버린 백엔드 엔지니어를 위해서도 쓴 책입니다. 분산 시스템과 컨테이너에는 익숙하다고 가정하지만, GPU 내부 구조나 트랜스포머의 메모리 패턴을 이미 안다고 가정하지 않습니다. 그 부분은 원리부터 쌓아 올립니다.

읽는 순서

열여섯 장은 여섯 부분으로 나뉩니다. 제1~2장은 워크로드에 이름을 붙입니다 — 자기회귀 루프와 KV 캐시. 제3~4장은 그 위에서 돌아가는 실리콘을 걷습니다 — H100부터 Groq의 LPU까지. 제5~6장은 대역폭 부담을 줄이는 모델 측 압축 — 양자화, 프루닝, 지식 증류 — 을 다룹니다. 제7~9장은 유휴 시간을 감추는 런타임 기법 — 배칭, 페이지드 KV, 투기적 디코딩 — 을 다룹니다. 제10~13장은 그 기법들을 서비스로 바꾸는 서빙 스택 — 엔진, 플랫폼, 분리 서빙, 오토스케일링 — 을 걷습니다. 제14~16장은 돈을 걷습니다 — 토큰 경제학, 자체 호스팅과 API, 그리고 복리로 쌓이는 비용 절감의 수. 챕터들은 순서대로 읽어도 되고 관심 있는 주제부터 골라 읽어도 되지만, 기제 우선의 관점은 제1장과 제2장에 뿌리를 두고 있습니다.

16장 워크스루

4월 23일부터 5월 8일까지, 워크스루가 하루 한 장씩 올라옵니다. 각 글은 챕터의 핵심 세 개를 대략 5분짜리 읽기 분량으로 압축하고, 실제 예제 코드와 「쉽게 풀어서(In Plain English)」 사이드바는 책의 해당 장이 담습니다.

• 4월 23일 — 제1장 — 토큰 생성의 기제. 자기회귀 루프, 프리필과 디코딩, 그리고 사용자 한 명이 왜 H100의 99.7퍼센트를 유휴로 남기는가.
• 4월 24일 — 제2장 — KV 캐시라는 과제. 메모리 공식, MHA/GQA/MQA의 절충, 그리고 소박한 할당이 왜 동시성을 무너뜨리는가.
• 4월 25일 — 제3장 — 생성 AI를 위한 데이터센터 GPU. H100, H200, B200, L40S, MI300X — FLOPs가 아니라 대역폭과 VRAM 프로파일로 읽기.
• 4월 26일 — 제4장 — 특화 AI 실리콘과 ASIC. Groq의 LPU, Inferentia2, TPU v5p/v6, Gaudi 3 — ASIC이 이기는 자리와 지는 자리.
• 4월 27일 — 제5장 — 양자화의 정체를 풀다. FP16 → INT4가 왜 처리량을 네 배로 만드는지, 그리고 AWQ·GPTQ·SmoothQuant·GGUF가 실제로 무엇을 하는지.
• 4월 28일 — 제6장 — 프루닝과 지식 증류. Hopper의 2:4 희소성과, 선생의 소프트 레이블이 어떻게 더 작은 학생 모델이 되는가.
• 4월 29일 — 제7장 — 고급 배칭 전략. 정적 배칭에서 이터레이션 단위 연속 배칭까지, 그리고 연속 배칭이 지는 빚.
• 4월 30일 — 제8장 — 차세대 KV 캐시 관리. PagedAttention, H2O 축출, InfiniGen, 그리고 프리픽스 캐시 경제.
• 5월 1일 — 제9장 — 투기적 디코딩. 초안, 검증, 그리고 언제 투기가 이득인지의 산수 — EAGLE, Medusa, MTP.
• 5월 2일 — 제10장 — LLM 엔진 계층. vLLM, TensorRT-LLM, SGLang, TGI, Ollama — 벤치마크가 아니라 기제로 엔진 고르기.
• 5월 3일 — 제11장 — 플랫폼과 오케스트레이션 계층. Ray Serve, KServe, BentoML, Triton — 어느 플랫폼이 어느 운영 문화와 맞는가.
• 5월 4일 — 제12장 — 분리 서빙과 쿠버네티스. 프리필과 디코드를 GPU 풀 사이에 나누기, 그리고 그것을 표현하는 쿠버네티스 프리미티브.
• 5월 5일 — 제13장 — 오토스케일링과 콜드 스타트 완화. HPA가 왜 LLM에 맞지 않는지, 그리고 KEDA·Knative·CRIU가 어떻게 5초 이하의 콜드 스타트를 구성하는가.
• 5월 6일 — 제14장 — 토큰 경제학과 API 가격. 왜 출력이 입력보다 비싼지, 그리고 보이지 않는 추론 토큰이 어떻게 청구서에 나타나는가.
• 5월 7일 — 제15장 — 서버리스 API 대 전용 인프라. 손익분기 계산, 그리고 대부분의 팀이 과소평가하는 플랫폼 엔지니어링 라인.
• 5월 8일 — 제16장 — 프로덕션의 비용 절감 전략. 라우팅, 컨텍스트 압축, 배치 API, 시맨틱 캐시 — 복리로 쌓이는 수들.

이 책과 시리즈에 대하여

LLM Primer 시리즈는 시모다 쇼가 쓴 일곱 권짜리 저작이며, Amazon KDP로 출간되고 이곳 레시트롤러 블로그에서 챕터별로 읽힙니다. 이 시리즈는 LLM으로 무언가를 짓는 일이 시스템 학문이며, 그 학문은 체크리스트가 아니라 스택의 각 층을 기제 우선의 산문으로 걸으며 배우는 것이 가장 좋다고 주장합니다. 제6권은 인프라 편입니다 — LLM 기능이 실제 트래픽과 재무 검토를 통과하려면 하드웨어, 런타임, 플랫폼에 관해 어떤 사실이 참이어야 하는지를 층층이 답하는 권입니다.