LLM Primer VI — Введение в серию и указатель

Поглавный разбор книги LLM Primer VI: Scaling AI Systems — тома, где инференс LLM рассматривается как инженерная дисциплина, в которой пропускная способность памяти, планирование и суммы в счетах сталкиваются друг с другом.

Зачем эта серия существует

H100, взятый в аренду за четыре-восемь долларов в час, выдаёт 989 TFLOP/s вычислений в BF16. Один пользователь, генерирующий один ответ в реальном времени против 70B-модели на этом чипе, потребляет примерно 0,34 процента этих вычислений. Чип простаивает на 99,7 процента — не потому, что нагрузка мала, а потому, что нагрузка ограничена пропускной способностью памяти, и вычислительным блокам чипа нечего делать, пока HBM тянет через них веса. Инженерия инференса — это дисциплина поиска работы для этих простаивающих блоков. Это дисциплина батчинга, учёта KV-кэша, квантизации, спекулятивного декодинга, планирования и — в конечном счёте — платформы, оркестрации и стоимости. Каждый приём этого тома — вариация одного и того же движения: перевести отходы, связанные с ограничением по пропускной способности, в реальную пропускную способность, не сломав задержку, которую пользователь на самом деле чувствует.

Для кого написано

Для платформенных инженеров, SRE и инфраструктурных архитекторов, которые владеют LLM-инференсом на масштабе — тех, кого будят, когда задержки скачут, у кого GPU-пул — отдельная строка бюджета, и кому приходится объяснять финансовому отделу, почему счёт прошлого месяца в два раза больше предыдущего. Книга также написана для ML-инженеров, которые обучили модель и теперь должны её сервить, и для бэкенд-инженеров, которые вдруг оказались ближайшим в команде специалистом по инференсу. От читателя ожидается свободное владение распределёнными системами и контейнерами; знакомство с внутренностями GPU и паттернами памяти трансформера не предполагается — их книга строит с первых принципов.

Как читать

Шестнадцать глав делятся на шесть частей. Главы 1–2 называют нагрузку — авторегрессионный цикл и KV-кэш. Главы 3–4 обходят кремний, на котором она работает, от H100 до Groq LPU. Главы 5–6 обходят компрессии со стороны модели — квантизацию, обрезку, дистилляцию, — которые уменьшают бремя пропускной способности. Главы 7–9 обходят приёмы времени исполнения — батчинг, страничный KV, спекулятивный декодинг, — которые скрывают простой. Главы 10–13 обходят serving-стек — движки, платформы, дизагрегацию, автоскейлинг, — превращающий эти приёмы в сервис. Главы 14–16 обходят деньги: экономику токенов, self-host против API и приёмы сокращения затрат, которые складываются друг с другом. Главы можно читать по порядку или выборочно по темам, но фрейм «сначала механизм» опирается на главы 1 и 2.

Прогулка по 16 главам

С 23 апреля по 8 мая выходит по одной главе в день. Каждая статья сводит три ключевые идеи главы к чтению примерно на пять минут, а сама глава книги даёт рабочие примеры, код и врезки «In Plain English».

• 23 апреля — Глава 1 — Механика генерации токенов. Авторегрессионный цикл, prefill против декодинга и почему один пользователь оставляет H100 простаивать на 99,7 процента.
• 24 апреля — Глава 2 — Проблема KV-кэша. Формула памяти, компромиссы MHA/GQA/MQA и почему наивное распределение убивает параллельность.
• 25 апреля — Глава 3 — Дата-центровые GPU для генеративного ИИ. H100, H200, B200, L40S, MI300X — читаются как профили пропускной способности и VRAM, а не как FLOP/s.
• 26 апреля — Глава 4 — Специализированный ИИ-кремний и ASIC. Groq LPU, Inferentia2, TPU v5p/v6, Gaudi 3 — где ASIC выигрывают и где проигрывают.
• 27 апреля — Глава 5 — Демистификация квантизации. Почему переход FP16 → INT4 учетверяет пропускную способность и что на самом деле делают AWQ, GPTQ, SmoothQuant и GGUF.
• 28 апреля — Глава 6 — Обрезка и дистилляция знаний. Разрежённость 2:4 на Hopper и как мягкие метки учителя превращаются в меньшую модель-ученика.
• 29 апреля — Глава 7 — Продвинутые стратегии батчинга. От статического батчинга к continuous batching на уровне итераций и о долге, который тот создаёт.
• 30 апреля — Глава 8 — KV-кэш следующего поколения. PagedAttention, вытеснение H2O, InfiniGen и экономика префиксного кэширования.
• 1 мая — Глава 9 — Спекулятивный декодинг. Черновик, верификация и арифметика того, когда спекуляция окупается — EAGLE, Medusa, MTP.
• 2 мая — Глава 10 — Слой движка LLM. vLLM, TensorRT-LLM, SGLang, TGI, Ollama и как выбирать движок по механизму, а не по бенчмарку.
• 3 мая — Глава 11 — Слой платформы и оркестрации. Ray Serve, KServe, BentoML, Triton — какая платформа подходит какой ops-культуре.
• 4 мая — Глава 12 — Дизагрегированный serving и Kubernetes. Разделение prefill и decode по разным GPU-пулам и примитивы Kubernetes, выражающие это разделение.
• 5 мая — Глава 13 — Автоскейлинг и смягчение холодного старта. Почему HPA не подходит LLM и как KEDA, Knative и CRIU складываются в холодный старт меньше пяти секунд.
• 6 мая — Глава 14 — Экономика токенов и цены API. Почему выход стоит дороже входа и как невидимые reasoning-токены удивляют счёт.
• 7 мая — Глава 15 — Serverless API против выделенной инфраструктуры. Арифметика точки безубыточности и строка бюджета на платформенную инженерию, которую большинство команд недооценивает.
• 8 мая — Глава 16 — Стратегии сокращения затрат в продакшене. Маршрутизация, компакция контекста, batch API и семантический кэш — приёмы, которые складываются мультипликативно.

Об этой книге и о серии

Серия LLM Primer — семь томов авторства Sho Shimoda, публикуемых на Amazon KDP и прочитываемых по главам здесь, в блоге ReceiptRoller. Серия утверждает, что построение с LLM — это системная дисциплина и что дисциплина лучше всего осваивается через обход каждого слоя стека в прозе, идущей от механизма, а не от чеклиста. Том VI — том об инфраструктуре: тот, что слой за слоем отвечает на вопрос, что должно быть верно относительно железа, среды исполнения и платформы, чтобы LLM-фича выжила и в реальном трафике, и в финансовом ревью.