Introduction to LLM

제8장 — 차세대 KV 캐시 관리

운영체제의 페이징 통찰을 추론 엔진으로 옮겨 오는 장 — KV 캐시를 예약된 바이트 슬래브에서 공유·축출·프리픽스 캐시가 가능한 자원으로 바꿉니다.

2026-04-30

제7장 — 고급 배칭 전략

배칭은 최적화가 아니라 대역폭에 묶인 디코딩을 감당 가능하게 만드는 하중 지지 수이며, 배치는 명사가 아니라 동사입니다.

2026-04-29

제2장 — KV 캐시라는 과제

KV 캐시는 산술을 메모리와 맞바꿉니다 — 그리고 그 메모리는 배치, 시퀀스 길이, 레이어 수, 헤드 수, 헤드 차원에 동시에 비례합니다. 그래서 서빙 클러스터는 다른 어떤 자원보다 VRAM이 먼저 떨어집니다.

2026-04-24

LLM Primer VI — 시리즈 서문 및 목차

LLM Primer VI — AI 시스템 확장하기의 16개 챕터를 하루 한 편씩 걷는 워크스루의 서문입니다. 메모리 대역폭, 스케줄링, 그리고 청구서가 만나는 지점에서 LLM 추론을 엔지니어링 학문으로 다룹니다.

2026-04-22