제12장 — 분리 서빙과 쿠버네티스

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 열두 번째 글입니다. 마침내 프리필과 디코드를 별도 GPU 풀로 나누고, 파드가 인터커넥트의 올바른 쪽에 안착하도록 하는 쿠버네티스 프리미티브를 보여 주는 장입니다.

이 장이 존재하는 이유

제11장은 엔진과 플랫폼 사이의 깔끔한 선을 그렸습니다 — 엔진 자신이 프리필과 디코드가 서로 모순되는 워크로드임을 지적하기 전까지는. 프리필은 연산에 묶여 있고 디코드는 메모리 대역폭에 묶여 있습니다. 그 둘을 같은 GPU에서 돌리면 한 하드웨어를 서로 모순되는 두 가지에 모두 잘하게 강요하며, 결국 둘 다 그저 그런 정도로 끝납니다. 분리 서빙은 그것들을 별도의 GPU 풀로 나누고, 풀 사이에 KV 캐시를 보내며, 각 풀이 자기 워크로드에 맞춰 튜닝되게 합니다. 대가는 쿠버네티스 프리미티브, 파드 토폴로지, KV 트래픽을 나르는 네트워크 패브릭으로 지불되는 운영 복잡성입니다. 제12장은 그 복잡성의 모양 — 구성 요소, 전송 경로, 그리고 그것을 표현하는 CRD(LeaderWorkerSet, Grove의 PodCliqueSet, KAI Scheduler) — 을 걷습니다.

12.1 프리필과 디코드는 서로 다른 칩과 서로 다른 클럭을 원한다

같은 H100에서 긴 프리필은 진짜로 최대 FLOPs의 60~80퍼센트에 도달할 수 있고, 디코드 스텝은 5~15퍼센트의 FLOPs를 쓰면서 HBM 대역폭의 70~90퍼센트를 포화시킵니다. 연속 배칭 아래에서 둘을 교차시키는 것은 감당 가능한 타협이지만 두 방식으로 새어 나갑니다. 프리필의 연산 패스가 대기 중인 디코드가 스트리밍하려는 같은 HBM 버스를 때리고, 토큰 간 시간이 부풀어 오릅니다. 카드는 또한 하나의 동작점에서 돕니다 — 프리필에 맞추면 디코드가 대역폭 제한, 디코드에 맞추면 프리필이 연산 제한. 프롬프트는 RAG와 에이전트가 프로덕션 트래픽을 차지하면서 수백에서 수천 토큰으로 길어졌고, 교차 비용도 그와 함께 자랐습니다. 분리는 각 국면에 자기 풀을 줍니다. 프리필 워커는 원 FLOPs 카드(H100 SXM, B200)에서 돌 수 있습니다. 디코드 워커는 용량과 대역폭 카드(H200, MI300X)에서 돌 수 있습니다. 각 풀은 자기 워크로드에 맞게 크기가 정해집니다 — 긴 컨텍스트, 짧은 출력 트래픽은 프리필을 더 많이 요구하고, 챗 트래픽은 디코드를 더 많이 요구합니다.

12.2 모양은 네 구성 요소와 하나의 KV 전송 경로

돌아가는 분리 배포는 네 구성 요소를 가집니다. 프리필 워커는 요청을 받아 프리필을 계산하고 첫 토큰을 뱉으며 KV 캐시를 전송을 위해 스테이징합니다. 디코드 워커는 들어오는 KV 캐시와 그 메타데이터를 받아 자기 페이지드 어텐션 풀에 설치하고, 진행 중인 생성에 대해 연속 배칭을 돕니다. KV 캐시 라우터 — 컨트롤 플레인 — 는 모든 디코드 워커의 여유 KV 용량, 배치 채움 정도, 네트워크 지역성 뷰를 유지하고, 각 프리필의 출력을 전송 비용을 최소화하고 부하를 균형 있게 유지하도록 배정합니다. 프런트엔드 게이트웨이는 사용자의 HTTP 연결을 종단하고, 프리필 워커에서 첫 토큰을 스트리밍한 다음, 나머지를 디코드 워커로부터 투명하게 이어서 스트리밍합니다. 결정적 구속 조건은 KV 전송입니다 — 4,096 토큰의 70B GQA 시퀀스는 1.5~2GB이고, 사용자가 지켜보는 같은 50~100ms TTFT 예산 안에 프리필 노드에서 디코드 노드로 이동해야 합니다. 노드 안의 900 GB/s NVLink와 노드 사이의 400 Gb/s InfiniBand가 숫자가 맞도록 만들어 줍니다 — 단 파드가 패브릭의 올바른 쪽에 안착한다면.

12.3 LeaderWorkerSet, Grove, KAI가 토폴로지를 표현한다

쿠버네티스는 원래 「이 두 유형의 파드가 하나의 논리적 리플리카이다」라는 프리미티브를 갖고 있지 않았습니다. 2024년 업스트림에 추가된 LeaderWorkerSet은 리더(예: 프리필)와 워커(예: 디코드)를 가진 멀티 파드 리플리카를 표현하고, 컨트롤러는 그 그룹을 하나의 스케줄링 단위로 유지합니다. NVIDIA Grove의 PodCliqueSet(2025, NVIDIA AI Enterprise의 일부)은 각각 자체 템플릿과 크기를 가진 유형화된 클리크(프리필, 디코드, 라우터)와, 그 클리크들이 어떻게 관계 맺는지를 서술하는 클리크 토폴로지 서술로 더 일반화합니다. Grove는 클리크 내부와 클리크 간의 지역성 제약과 함께 집합 전체를 스케줄러에 제출합니다. 어떤 CRD도 혼자서는 충분하지 않습니다. 둘 다 기본 쿠버네티스 스케줄러가 알지 못하는 클러스터의 물리 토폴로지를 아는 스케줄러가 필요합니다. KAI Scheduler — 2024년 Run:ai에서 오픈 소스로 나옴 — 는 nvidia-smi topo --matrix와 InfiniBand 서브넷 매니저가 만드는 토폴로지 그래프를 소비하고, 그것에 대해 후보 배치를 점수 매깁니다. Grove 클리크가 nvlinkDomain: required를 요청하면, KAI는 배치를 하나의 NVLink 일관 도메인(하나의 NVSwitch 위 HGX 베이스보드의 여덟 GPU)으로 제한합니다. 클리크 간 토폴로지가 sameInfiniBandIsland라고 하면, KAI는 클리크를 KV 왕복이 100μs 이하로 유지되는 하나의 리프 스위치 그룹 안에 유지합니다.

제12장이 준비하는 것

제12장은 배포에 정적 그림을 주었습니다 — 어느 순간이든 고정된 수의 클리크가 돌면서 트래픽을 서빙합니다. 실제 트래픽은 정적이지 않습니다 — 챗 어시스턴트는 하루에 걸쳐 정점 대 저점 30배로 흔들리고, 개발자 도구는 주말에 영으로 떨어지며, 소비자 제품은 해를 좇습니다. 제13장은 오토스케일링 이야기를 걷습니다 — 왜 표준 HPA가 LLM 서빙에 잘못된 스케일러인지, KEDA가 대신 어떤 신호로 스케일하는지, Knative가 어떻게 스케일 투 제로를 표현하는지, 그리고 60~180초 콜드 스타트를 사용자 대면 애플리케이션이 흡수할 수 있는 것으로 압축하는 것.

다음 → 제13장: 오토스케일링과 콜드 스타트 완화. KEDA, Knative, CRIU, CUDA 그래프 캐시, NVMe — 실제 사용자와 스케일 투 제로가 공존하게 하는 스택.