Глава 3 — Дата-центровые GPU для генеративного ИИ
Третий пост поглавного разбора LLM Primer VI: Scaling AI Systems. Глава, утверждающая, что serving-GPU нужно покупать по пропускной способности HBM и ёмкости VRAM, а не по числу FLOP/s на обложке datasheet.
Зачем эта глава существует
Главы 1 и 2 задали нагрузку: prefill хочет насыщенных матричных движков, декодинг хочет, чтобы веса и KV-кэш стримились как можно быстрее, а размер KV-кэша растёт мультипликативно. Выбор кремния — место, где эти два профиля встречают рынок. Каталог дата-центровых GPU в 2026 году — небольшой набор карт, поверхностно похожих (акселератор, несколько тысяч ядер, банк памяти на корпусе) и резко расходящихся по двум измерениям, которые действительно определяют стоимость декодинга: пропускная HBM и ёмкость VRAM. Глава 3 обходит линейку, доминирующую в продакшене сегодня — H100, H200, B200, L40S, MI300X, — и даёт инженеру достаточно механизма, чтобы выбрать карту под конкретную нагрузку, а не полагаться на бенчмарк.
3.1 H100 — безопасный дефолт, H200 — заплатка по пропускной способности
H100 остаётся рабочей лошадью почти каждого продакшен-флота инференса без специальной причины быть на чём-то ином. 80 ГБ HBM3, 3,35 ТБ/с пропускной на варианте SXM (2,04 ТБ/с на PCIe), 989 BF16 TFLOP/s и — что важно — нативный FP8 в тензорных ядрах, который вдвое сокращает трафик весов на токен и позволяет 70B-модели поместиться в 70 ГБ вместо 140. Программный стек зрелый; цены устоялись. Где H100 напрягается — по ёмкости: 80 ГБ ограничивает 70B FP8-модель плюс KV-кэш serving-батча и вынуждает тензорный параллелизм выше этого. H200 — хирургическое исправление: та же Hopper-производительность, тот же тепловой пакет 700 Вт, но 141 ГБ HBM3e и 4,80 ТБ/с пропускной. Для любой нагрузки, которая была HBM-ограничена на H100 (а это почти каждая декодинг-нагрузка), H200 — прямо через плечо прирост пропускной способности примерно на 40 процентов только за счёт полосы, плюс запас под KV-кэш, который H100 не мог удержать.
3.2 Blackwell добавляет FP4 и удваивает потолок пропускной
B200 — не рефреш Hopper. 192 ГБ HBM3e, 8,00 ТБ/с пропускной, 2 250 BF16 TFLOP/s и второе поколение transformer engine с нативной поддержкой FP4 в тензорных ядрах. FP4 ещё раз вдвое сокращает трафик весов на токен относительно FP8; вместе с удвоением сырой пропускной 70B-модель, декодящая ~24 токена в секунду на H100, комфортно превосходит 100 токенов в секунду на B200 для одного пользователя и масштабируется примерно линейно с батчем. Ёмкость 192 ГБ удерживает 180B-модель в FP8 на одной карте и 70B в FP16 с существенным запасом KV, что убирает тензорный параллелизм из многих развёртываний. Цена — цена и тепловой пакет 1 000 Вт; нагрузки, где Blackwell окупается наиболее очевидно, — те, где H100 упирался в потолок пропускной или ёмкости на каждом запросе.
3.3 L40S и MI300X — выбор по форме нагрузки
L40S — карта поколения Ada для нагрузок, которым не нужна дата-центровая деталь. 48 ГБ GDDR6, 0,86 ТБ/с пропускной и примерно четверть HBM-скорости H100 — но треть цены и стандартная форма PCIe. Для небольших моделей (до 13B или около того), для асинхронных batch-нагрузок или для edge-развёртываний, где нет дата-центрового HGX-шасси, L40S — правильный ответ, и покупка H100 под это — трата. AMD MI300X — другой полюс: 192 ГБ HBM3, 5,30 ТБ/с пропускной и 1 307 BF16 TFLOP/s на OAM. В чистых serving-терминах он конкурентен с H200 или лучше по ёмкости, примерно совпадает по декодингу, ограниченному пропускной, и поставляется по заметно меньшей цене за единицу. Компромисс — программный стек: ROCm закрыл большую часть отставания от CUDA, но не всё, а зрелые движки (vLLM, TensorRT-LLM, SGLang) больше обкатаны на NVIDIA. Для команд с компетенцией по ROCm MI300X — рычаг стоимости; для команд без неё H200 — более безопасная покупка.
Что подготавливает глава 3
Как только спецификация GPU перечитана через линзу пропускная-и-VRAM, естественный следующий вопрос — правильна ли вообще подложка из GPU общего назначения. Глава 4 обходит альтернативы из специализированного кремния — Groq LPU, AWS Inferentia2, Google TPU v5p/v6, Intel Gaudi 3, — каждая из которых — аргумент, что LLM-инференс регулярен настолько, чтобы оправдать чип, построенный под задачу. Глава 5 затем обходит программное движение, ужимающее трафик на токен напрямую: квантизация от FP16 до FP8 и FP4, превращающая bandwidth-bound нагрузку в такую, где узкое место смещается.
Дальше — Глава 4: Специализированный ИИ-кремний и ASIC. Специально построенные акселераторы — Groq, Inferentia2, TPU, Gaudi 3 — и режимы, в которых они бьют GPU по задержке или стоимости токена.
