Глава 4 — Специализированный ИИ-кремний и ASIC

Четвёртый пост поглавного разбора LLM Primer VI: Scaling AI Systems. Глава, утверждающая, что выбор между GPU и ASIC — это вопрос о форме нагрузки, и дающая эту форму.

Зачем эта глава существует

Лагерь GPU утверждает, что LLM-инференс — одна нагрузка из широкого класса задач плотного матмуля и что программируемый акселератор — правильная подложка. Лагерь ASIC утверждает, что инференс специфичен, регулярен и предсказуем настолько, что построенный под задачу чип может обойти общий по двум значимым метрикам — задержке и стоимости токена. Оба лагеря правы для тех нагрузок, которые они выбирают. Глава 4 обходит продакшен-грейд ASIC-альтернативы дата-центровым GPU в 2026 году — Groq LPU, AWS Inferentia2, Google TPU v5p/v6, Intel Gaudi 3 — и называет режимы, где каждый выигрывает, и режимы отказа, возвращающие инженеров к GPU.

Если коротко: ASIC бьют GPU, когда нагрузка либо критична по задержке, либо чувствительна к цене, а модель редко меняется — вопросы о ядрах и о частоте смены модели решают остальное.

4.1 Groq устраняет HBM ради детерминированной задержки

Groq LPU — архитектурно самый отличительный чип на продакшен-рынке акселераторов: у него нет HBM. Вся модель живёт в SRAM на кристалле, распланированной компилятором и распределённой по многим чипам, соединённым детерминированной сетью на корпусе. Нет динамического распределения памяти, нет оверхеда запуска ядра, нет джиттера планирования — каждый запуск одного и того же входа даёт один и тот же выход за одно и то же число наносекунд. Метрика, которая выпадает, — задержка декодинга, до которой GPU не могут дотянуться: 70B-модель на 200–500 токенов в секунду на запрос против 30–80 на H100. Архитектурная цена — размер модели: SRAM ограничена сотнями мегабайт на чип, поэтому 70B-модель требует стойки из 250+ чипов, соединённых интерконнектом Groq TSP, и стойка — единица развёртывания. Нагрузки, окупающие эту стойку, — голосовые ассистенты с бюджетом разговора 200 мс, интерактивное автодополнение кода, генерация финансовых сигналов — везде, где пользователь чувствует каждую миллисекунду.

4.2 Inferentia2 и TPU выигрывают по цене, когда модель стабильна

AWS Inferentia2 и Google TPU v5p/v6 атакуют другую метрику: доллары за миллион выходных токенов. Оба построены под установившийся batched-serving, где портфель моделей узкий, бюджет задержки свободный, а объём достаточно высок, чтобы экономия на 40–60 процентов относительно GPU перевесила стоимость переплатформирования. Inferentia2 предоставляет Neuron SDK и запускает vLLM через официальный контейнер AWS; шаг компиляции тяжёл при первой загрузке и кэшируется дальше. TPU предоставляет JAX/XLA и запускается через эндпоинты Vertex AI Inference. Обе платформы вознаграждают нагрузки, выглядящие одинаково изо дня в день — перевод, модерация, embedding-пайплайны, RAG над стабильными корпусами, — и обе наказывают нагрузки, часто меняющие архитектуру модели, потому что путь скомпилировал-и-закэшировал — налог на каждую смену модели. Дисциплина — выбрать одну и стандартизироваться; запуск обеих на продакшен-масштабе — удвоенный налог на переплатформирование.

4.3 Gaudi 3 — ставка на Ethernet, а GPU всё ещё выигрывают фронтир

Intel Gaudi 3 делает иную структурную ставку: вместо проприетарного интерконнекта (NVLink, ICI, TSP) он использует коммодитный 200/400 GbE для связи чип-к-чипу, ставя на то, что Ethernet-нативный scale-out снижает операционную стоимость больших развёртываний. Программный стек — Habana SynapseAI плюс интеграции с PyTorch Lightning, с постоянно улучшающейся поддержкой vLLM. Gaudi 3 агрессивно оценён относительно H100 и MI300X и приземляется как «рычаг стоимости с наименьшим трением миграции» для команд, которым нужна экономика ASIC без нового слоя интерконнекта. На фоне всего этого GPU всё ещё выигрывают в одном режиме: разнообразие моделей, фронтирный масштаб и эксперимент. Везде, где команда запускает 405B-класс, свежую фронтирную архитектуру, тонко файнтюненный вариант или исследовательское ядро из статьи, глубина экосистемы CUDA и позиция NVIDIA как first-to-market окупаются. Эвристика — «вопрос о ядрах»: если стек запускает стандартный FlashAttention и стандартные fused-MLP ядра и никогда не трогает ничего иного, ASIC — кандидат; если стек запускает ядро, написанное кем-то в команде, GPU — более безопасная покупка.

Стоит запомнить: три архетипа нагрузки редко перетекают друг в друга. Сверхнизкая задержка в реальном времени → Groq. Установившийся высокий объём → Inferentia или TPU. Разнообразие моделей на фронтире → GPU. Дорогие ошибки — быть в одной категории и покупать из другой.

Что подготавливает глава 4

Главы 3 и 4 описали аппаратную подложку в её нынешнем виде. Каждая карта в предложении либо ограничена пропускной HBM (декодинг на GPU), либо переспроектирована прочь от неё (Groq), либо агрессивно ценит свою пропускную для стабильных нагрузок (Inferentia, TPU, Gaudi). Глава 5 переходит к программному движению, ужимающему бремя пропускной способности на токен напрямую: квантизация от FP16 до FP8 и FP4. Выигрыш от апгрейда на Blackwell и выигрыш от квантизации существующей модели до FP8 — механистически один и тот же рычаг, потянутый на разных слоях стека, — и оба обычно применяются вместе.

Дальше — Глава 5: Демистификация квантизации. Падение точности от BF16 к FP8 и INT4, почему большие модели выживают его и рабочий поток калибровки, который действительно доходит до продакшена.

Хочется всю картину? В книжной главе — исполняемые примеры вызовов Groq, Inferentia2, TPU и Gaudi, механика Neuron-кэша, история компиляции JAX-на-TPU и врезка In Plain English о чтении нагрузки для выбора кремния. LLM Primer VI на Amazon →