제4장 — 특화 AI 실리콘과 ASIC

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 네 번째 글입니다. GPU와 ASIC의 선택은 워크로드 모양의 문제이며, 이 장이 그 모양을 준다고 주장하는 장입니다.

이 장이 존재하는 이유

GPU 진영은 LLM 추론이 조밀 행렬곱 문제의 넓은 부류에 속하는 하나의 워크로드이며 프로그래머블 가속기가 올바른 기판이라고 주장합니다. ASIC 진영은 추론이 목적 특화 칩이 지연 시간과 토큰당 비용이라는 두 지표에서 범용 칩을 이길 수 있을 만큼 구체적이고 규칙적이며 예측 가능하다고 주장합니다. 두 진영 모두 자신들이 고른 워크로드에 대해서는 옳습니다. 제4장은 2026년의 프로덕션급 ASIC 대안들 — Groq의 LPU, AWS Inferentia2, Google TPU v5p와 v6, Intel Gaudi 3 — 을 걷고, 각각이 이기는 영역과 엔지니어를 다시 GPU로 데려오는 실패 모드에 이름을 붙입니다.

4.1 Groq는 HBM을 없애 지연 시간을 결정적으로 만든다

Groq LPU는 프로덕션 가속기 시장에서 아키텍처적으로 가장 독특한 칩입니다 — HBM이 없습니다. 모델 전체가 결정적 온패키지 네트워크로 연결된 여러 칩에 분산된, 컴파일러가 스케줄한 온칩 SRAM에 삽니다. 동적 메모리 할당이 없고, 커널 시작 오버헤드도, 스케줄링 지터도 없습니다 — 같은 입력에 대한 모든 실행은 정확히 같은 나노초 수 안에 같은 출력을 냅니다. 여기서 떨어져 나오는 지표는 GPU가 접근할 수 없는 디코딩 지연입니다 — 70B 모델이 요청당 초당 200~500토큰, H100의 30~80토큰에 대비됩니다. 아키텍처의 대가는 모델 크기입니다 — SRAM은 칩당 수백 메가바이트로 묶여 있어, 70B 모델은 Groq의 TSP 인터커넥트로 연결된 250개 이상 칩의 랙을 요구하고, 랙이 배포 단위가 됩니다. 그 랙 값을 치르는 워크로드는 200ms 대화 예산의 음성 비서, 대화형 코드 완성, 금융 시그널 생성 — 사용자가 매 밀리초를 지각하는 자리들입니다.

4.2 Inferentia2와 TPU는 모델이 안정적일 때 비용으로 이긴다

AWS Inferentia2와 Google TPU v5p/v6는 다른 지표를 노립니다 — 백만 출력 토큰당 달러. 둘 다 모델 포트폴리오가 좁고 지연 예산이 느슨하며 GPU 대비 40~60퍼센트 비용 절감이 리플랫폼 비용을 압도할 만큼 볼륨이 큰, 정상 상태의 배치 서빙을 위해 목적 특화되어 있습니다. Inferentia2는 Neuron SDK를 노출하며 공식 AWS 컨테이너를 통해 vLLM을 돌립니다 — 컴파일 단계는 첫 로드에서 무겁고 이후 캐시됩니다. TPU는 JAX/XLA를 노출하며 Vertex AI Inference 엔드포인트를 통해 돕니다. 두 플랫폼 모두 매일 같은 모양으로 보이는 워크로드 — 번역, 모더레이션, 임베딩 파이프라인, 안정된 코퍼스에 대한 RAG — 를 보상하고, 모델 아키텍처를 자주 바꾸는 워크로드를 벌합니다. 컴파일 후 캐시 경로가 모든 모델 스왑에 세금이기 때문입니다. 규율은 하나를 골라 표준화하는 것입니다. 둘을 프로덕션 규모로 함께 돌리는 것은 리플랫폼 세금을 두 배로 내는 것입니다.

4.3 Gaudi 3는 이더넷 우선의 베팅, GPU는 프런티어에서 여전히 이긴다

Intel Gaudi 3는 다른 구조적 베팅을 합니다 — 독점 인터커넥트(NVLink, ICI, TSP) 대신 칩 간 통신에 상용 200/400 GbE를 씁니다. 이더넷 네이티브 확장이 대규모 배포의 운영 비용을 낮춘다는 도박입니다. 소프트웨어는 Habana의 SynapseAI에 PyTorch Lightning 통합, vLLM 지원이 꾸준히 개선되고 있습니다. Gaudi 3는 H100과 MI300X를 향해 공격적으로 가격이 매겨져 있으며, 「새 인터커넥트 계층 없이 ASIC 경제를 원하는 팀을 위한 마이그레이션 마찰이 가장 적은 비용 레버」로 자리합니다. 이 모두를 두고, GPU는 한 영역에서 여전히 이깁니다 — 모델의 다양성, 프런티어 스케일, 실험. 팀이 405B급 모델, 갓 나온 프런티어 아키텍처, 커스텀 파인튜닝 변형, 연구 논문의 커널을 돌리는 곳이라면 어디든, CUDA 생태계의 깊이와 NVIDIA의 시장 선점이 회수를 안깁니다. 발견법은 「커널 질문」입니다 — 스택이 표준 FlashAttention과 표준 융합 MLP 커널만 돌리고 다른 것은 손대지 않는다면 ASIC이 후보입니다. 팀 안의 누군가가 쓴 커널을 돌린다면 GPU가 안전한 선택입니다.

제4장이 준비하는 것

제3장과 제4장은 현재 서 있는 하드웨어 기판을 서술했습니다. 시장에 나온 모든 카드는 HBM 대역폭에 묶여 있거나(GPU 디코딩), 그것을 우회하도록 재설계되었거나(Groq), 안정적 워크로드를 위해 대역폭을 공격적으로 가격 매겼습니다(Inferentia, TPU, Gaudi). 제5장은 토큰당 대역폭 부담을 직접 줄이는 소프트웨어 측 수 — FP16에서 FP8과 FP4로의 양자화 — 로 향합니다. Blackwell 업그레이드에서 얻는 이득과 기존 모델을 FP8로 양자화해 얻는 이득은 기제적으로는 스택의 서로 다른 층에서 같은 레버를 당기는 것이며, 대개는 둘 다 함께 적용됩니다.

다음 → 제5장: 양자화의 정체를 풀다. BF16에서 FP8, INT4로의 정밀도 하락, 왜 큰 모델은 살아남는지, 그리고 실제로 출하되는 캘리브레이션 워크플로.