제3장 — 생성 AI를 위한 데이터센터 GPU

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 세 번째 글입니다. 서빙용 GPU는 데이터시트 앞면의 FLOP/s 숫자가 아니라 HBM 대역폭과 VRAM 용량으로 사야 한다고 주장하는 장입니다.

이 장이 존재하는 이유

제1장과 제2장은 워크로드를 확립했습니다 — 프리필은 행렬 엔진의 포화를 원하고, 디코딩은 가중치와 KV 캐시가 최대한 빠르게 스트리밍되기를 원하며, KV 캐시 발자국은 곱셈적으로 커집니다. 실리콘 선택은 이 두 프로파일이 시장과 만나는 자리입니다. 2026년 데이터센터 GPU 카탈로그는 겉으로는 비슷해 보이는 소수의 카드들 — 가속기 하나, 코어 수천 개, 패키지 내 메모리 뱅크 하나 — 로 구성되어 있지만, 디코딩 비용을 실제로 지배하는 두 차원인 HBM 대역폭과 VRAM 용량에서 크게 갈립니다. 제3장은 오늘날 프로덕션을 지배하는 라인업 — H100, H200, B200, L40S, MI300X — 을 걷고, 벤치마크 그래프를 신뢰하는 대신 주어진 워크로드에 맞는 카드를 고를 만큼의 기제를 엔지니어에게 줍니다.

3.1 H100은 안전한 기본값, H200은 대역폭 패치

H100은 다른 것을 골라야 할 특별한 이유가 없는 한 거의 모든 프로덕션 추론 함대의 일꾼으로 남아 있습니다. 80GB HBM3, SXM 변형에서 3.35 TB/s 대역폭(PCIe에서 2.04 TB/s), 989 BF16 TFLOPs, 그리고 결정적으로 텐서 코어에 네이티브 FP8이 있어 토큰당 가중치 트래픽을 반으로 줄이고 70B 모델이 140GB가 아니라 70GB에 들어가게 합니다. 소프트웨어 스택은 성숙했고 가격은 안정되었습니다. H100이 힘겨워하는 곳은 용량입니다 — 80GB는 70B FP8 모델에 서빙 배치 KV 캐시를 더한 상한이고, 그 이상에서는 텐서 병렬을 강요합니다. H200은 외과적 수정입니다 — 같은 Hopper 연산, 같은 700W 봉투이지만 141GB HBM3e와 4.80 TB/s 대역폭. H100에서 HBM에 묶여 있던 어떤 워크로드(즉, 거의 모든 디코딩 워크로드)든, H200은 대역폭만으로 대략 40퍼센트의 처리량 향상을 안기고, H100이 담지 못했던 KV 캐시를 위한 여유까지 얹어 주는 드롭인 교체가 됩니다.

3.2 Blackwell은 FP4를 얹고 대역폭 상한을 두 배로 올린다

B200은 Hopper의 리프레시가 아닙니다. 192GB HBM3e, 8.00 TB/s 대역폭, 2250 BF16 TFLOPs, 그리고 텐서 코어에 FP4를 네이티브로 지원하는 2세대 트랜스포머 엔진. FP4는 FP8 대비 토큰당 가중치 트래픽을 한 번 더 반으로 줄이고, 원 대역폭 두 배와 결합하면 H100에서 사용자 한 명당 초당 대략 24토큰으로 디코드하던 70B 모델이 B200에서는 초당 100토큰을 편안하게 넘기고 배치와 함께 거의 선형으로 확장됩니다. 192GB 용량은 180B 모델을 FP8로 한 카드에, 70B 모델을 FP16으로 상당한 KV 여유까지 담아 낼 수 있어 많은 배포에서 텐서 병렬을 걷어냅니다. 비용은 가격과 1000W 열 봉투입니다. Blackwell이 가장 명확히 회수되는 워크로드는 H100이 매 요청마다 대역폭이나 용량 상한에 부딪히고 있던 워크로드입니다.

3.3 L40S와 MI300X는 워크로드 모양에 맞춘 선택

L40S는 데이터센터 부품이 필요하지 않은 워크로드를 위한 Ada 세대 카드입니다. 48GB GDDR6, 0.86 TB/s 대역폭, H100의 HBM 처리량의 대략 4분의 1 — 하지만 가격은 3분의 1, 표준 PCIe 폼팩터. 작은 모델(대략 13B까지), 비동기 배치 워크로드, 또는 데이터센터 HGX 섀시가 없는 엣지 배포에서는 L40S가 올바른 답이고, 그 자리에 H100을 사는 것은 낭비입니다. AMD MI300X는 스펙트럼의 반대편입니다 — 192GB HBM3, 5.30 TB/s 대역폭, OAM에서 1307 BF16 TFLOPs. 원 서빙 관점에서 용량은 H200과 대등하거나 그 이상이고, 대역폭에 묶인 디코딩에서는 대략 맞먹으며, 단가는 의미 있게 낮게 출하됩니다. 맞바꿔야 하는 것은 소프트웨어 스택 — ROCm이 CUDA와의 격차를 거의 좁혔지만 완전하지는 않고, 성숙한 엔진(vLLM, TensorRT-LLM, SGLang)은 NVIDIA에서 더 많이 검증되었습니다. ROCm 역량이 있는 팀에게 MI300X는 비용 레버입니다. 없는 팀에게는 H200이 안전한 선택입니다.

제3장이 준비하는 것

대역폭과 VRAM의 렌즈로 GPU 스펙 시트를 다시 읽고 나면, 다음 질문은 자연스럽게 「범용 GPU가 애초에 올바른 기판인가?」가 됩니다. 제4장은 특화 실리콘 대안들 — Groq의 LPU, AWS Inferentia2, Google TPU v5p와 v6, Intel Gaudi 3 — 을 걷습니다. 각각은 LLM 추론이 목적 특화 칩을 정당화할 만큼 규칙적이라는 주장입니다. 제5장은 그 뒤에 토큰당 대역폭을 직접 줄이는 소프트웨어 측 수 — FP16에서 FP8과 FP4로의 양자화 — 를 걷습니다. 이것은 대역폭에 묶인 워크로드의 병목이 옮겨 가게 합니다.

다음 → 제4장: 특화 AI 실리콘과 ASIC. 목적 특화 가속기 — Groq, Inferentia2, TPU, Gaudi 3 — 와, 그것들이 지연 시간이나 토큰당 비용에서 GPU를 이기는 영역들.