제13장 — 오토스케일링과 콜드 스타트 완화

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 열세 번째 글입니다. 기본 쿠버네티스 오토스케일러가 LLM 트래픽에서 왜 장애를 만드는지, 그리고 KEDA·Knative·CRIU가 어떻게 그 해법을 구성하는지 설명하는 장입니다.

이 장이 존재하는 이유

챗 어시스턴트는 하루 사이 정점 대 저점 30배로 흔들립니다. 개발자 도구는 주말에 영으로 갑니다. 소비자 제품은 태평양에서 유럽으로 이어지는 파도를 탑니다. 정점에 맞춰 프로비저닝하면 저점에서 돈을 낭비하고, 저점에 맞춰 프로비저닝하면 정점에 요청을 떨어뜨립니다. 오토스케일링은 배포를 트래픽과 발맞추게 하고, 콜드 스타트 완화는 오토스케일링 — 특히 스케일 투 제로 — 을 사용자가 눈치채지 못할 만큼 빠르게 만듭니다. 제13장은 왜 표준 쿠버네티스 HPA가 LLM에 잘못된 스케일러인지, KEDA가 대신 어떤 신호로 스케일하는지, Knative가 스케일 투 제로를 어떻게 표현하는지, 그리고 60~180초짜리 콜드 스타트를 한 자릿수 초로 압축하는 데 무엇이 필요한지를 설명합니다.

13.1 HPA는 LLM 트래픽에서 네 가지 방식으로 실패한다

기본 HPA는 CPU나 GPU 활용률로 스케일합니다. LLM에서는 네 가지로 실패합니다. 첫째, GPU 활용률은 잘못된 신호입니다 — nvidia-smi는 어떤 커널이 도는 시간의 비율을 보고할 뿐, 배치가 잘 채워졌는지 요청이 진전하고 있는지는 말하지 않습니다. 활용률 95퍼센트에 여덟 개의 긴 프리필이 하나의 디코드 뒤에 대기 중인 서버는 과부하이고, 활용률 60퍼센트에 건강한 연속 배치가 있는 서버는 괜찮습니다. 둘째, LLM 요청 지속 시간(초에서 수십 초)은 HPA의 제어 루프(15초)에 비해 길어서, 스케일링이 부하보다 요청 수명 하나만큼 늦습니다. 셋째, 용량의 단위가 파드가 아닙니다 — 분리 배포는 클리크 단위로 스케일하는데 HPA는 클리크를 이해하지 못합니다. 넷째, 콜드 스타트 — 새 파드는 60~180초 뒤에 온라인이 되며, 그것을 촉발한 스파이크가 이미 함대를 과부하시키거나 타임아웃으로 사라지고 난 뒤입니다. 전형적 실패 모드는 트래픽이 두 배가 되는 동안의 2분간 장애, 그다음의 스케일 다운이 배포를 다음 스파이크에 대해 미달 프로비저닝 상태로 남기는 것입니다.

13.2 KEDA는 큐 깊이, TTFT, KV 점유율로 스케일한다

KEDA는 외부 지표를 원하는 리플리카 수로 바꾸는 하나 이상의 스케일러에 대상 워크로드를 묶는 ScaledObject CRD로 HPA를 확장합니다. LLM 서빙에는 세 신호가 중요합니다. 큐 깊이가 가장 직접적입니다 — 엔진의 대기 요청 수는 도착 작업이 서빙 용량을 초과한 잉여이며, vLLM은 vllm:num_requests_waiting으로 노출합니다. 첫 토큰 도착 시간 — 특히 슬라이딩 윈도에 대한 p95나 p99 — 은 사용자에게 보이는 열화를 잡고, 큐 깊이가 놓치는 비대칭 과부하(프리필은 포화지만 디코드는 괜찮거나 그 반대)를 잡습니다. KV 캐시 점유율은 앞을 내다봅니다 — 점유율이 80퍼센트를 넘으면 기존 리플리카가 선점하거나 거부하기 시작하기 전에 새 리플리카가 온라인이 되어야 합니다. 프로덕션 ScaledObject는 보통 이 셋을 모두 조합하고, 가장 공격적인 것이 이깁니다. Knative Serving이 스케일 투 제로를 위해 그 위에 얹힙니다 — 작은 활성화 임계값 아래에서는 모든 파드가 제거되고, 들어오는 요청은 액티베이터에 붙잡혀 있다가 요청이 오면 파드를 부팅합니다. 이것은 콜드 스타트가 빠를 때만 경제적입니다.

13.3 CRIU는 90초짜리 콜드 스타트를 3~6초로 압축한다

70B 콜드 스타트는 이미지 풀(10~60초), 파이썬 초기화(2~5초), 가중치 로드(60~120초), CUDA 컨텍스트 초기화(5~15초), CUDA 그래프 캡처(10~30초), KV 워밍업(2~10초) — 총 90~250초로 분해됩니다. CRIU(Checkpoint/Restore In Userspace)는 완전히 데워진 프로세스 — 가중치 로드 완료, CUDA 컨텍스트 가동, 그래프 캡처, KV 풀 할당, 헬스 체크 통과 — 를 스냅샷으로 잡아 나중에 디스크에서 초 단위로 복원합니다. NVIDIA의 cuda-checkpoint 유틸리티(2024)는 GPU 상태 — 디바이스 메모리 풀, CUDA 컨텍스트, 캐시된 PTX, 캡처된 그래프 — 를 다루도록 CRIU를 확장합니다. 데워진 vLLM 스냅샷은 로컬 NVMe에서 3~6초 만에 복원됩니다. DaemonSet이 체크포인트를 모든 노드의 NVMe에 미리 스테이징해 Knative가 네트워크로 가져오는 대신 로컬 파일에서 복원할 수 있게 합니다. 이미지 스트리밍(풀이 끝나기 전에 풀 시작)과 지연 가중치 로드와 결합하면 5초 이하의 콜드 스타트가 프로덕션에서 달성 가능해집니다 — 그리고 이 숫자 아래에서 스케일 투 제로가 사용자 대면 애플리케이션에 경제적으로 방어 가능해집니다.

제13장이 준비하는 것

제1장부터 제13장까지는 LLM 서빙의 물리적 스택 — 하드웨어, 엔진, 플랫폼, 분리, 스케일링 — 을 걸었습니다. 이 책의 나머지는 돈으로 향합니다. 제14장은 왜 토큰이 청구 단위인지, 왜 출력이 입력보다 두 배에서 다섯 배 비싼지, 그리고 보이지 않는 추론 토큰이 어떻게 청구서에 결국 오르는지 설명합니다. 제15장은 자체 호스팅과 API 제공자 사이의 손익분기 계산, 그리고 대부분의 팀이 과소평가하는 플랫폼 엔지니어링 라인을 걷습니다. 제16장은 복리로 쌓이는 비용 절감 수의 카탈로그입니다.

다음 → 제14장: 토큰 경제학과 API 가격. 청구서가 왜 그렇게 생겼는지, 그리고 아무도 보지 않을 때 계량기가 어떻게 도는지.