제7장 — 고급 배칭 전략

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 일곱 번째 글입니다. 배칭이 최적화가 아니라 대역폭에 묶인 디코딩을 감당 가능하게 만드는 하중 지지 수라는 것, 그리고 배치가 명사가 아니라 동사임을 보여 주는 장입니다.

이 장이 존재하는 이유

한 번의 디코드 스텝은 토큰 하나를 만들기 위해 HBM에서 수십 기가바이트의 가중치를 읽습니다. 어차피 GPU가 가중치를 스트리밍하고 있다면, 같은 스텝에서 많은 요청에 대한 토큰을 거의 영에 가까운 한계 비용으로 만들 수 있습니다. 그러므로 배칭은 일반적 의미의 최적화가 아닙니다 — 메모리 대역폭에 묶인 하드웨어에서 디코딩을 경제적으로 감당 가능하게 만드는 유일한 방법입니다. 하지만 뻔한 배치 방식은 실제 세계와 만나면 무너집니다. 요청들의 길이가 다르고 끝나는 시점도 다르기 때문입니다. 제7장은 거의 작동하는 소박한 방식에서 프로덕션 엔진이 실제로 돌리는 이터레이션 단위 스케줄러까지 걷고, 그 스케줄러가 제8장에게 갚으라고 남기는 빚에 이름을 붙입니다.

7.1 정적 배칭은 최속 완료자 문제에서 진다

정적 배칭은 누구나 처음 짜는 방식입니다 — 배치 크기 B나 타임아웃이 될 때까지 요청을 모으고, 길이 S_max로 배치 전체에 프리필을 돌리고, 배치의 모든 시퀀스가 EOS를 뱉을 때까지 디코드 루프를 돕니다. 두 비용이 결합하면 재앙적입니다. 패딩 — 4,000토큰 프롬프트와 같은 배치의 50토큰 프롬프트가 필요한 프리필 작업의 80배 값을 냅니다. 최속 완료자 — 디코드 루프는 모든 시퀀스가 끝날 때까지 돌기 때문에, 20토큰 요청 하나와 2,000토큰 요청 하나가 든 배치는 시간의 99퍼센트를 31개 슬롯이 버려질 토큰을 만들면서 씁니다. 평균 처리량은 그럭저럭 보이지만, 꼬리 지연은 배치가 우연히 담은 긴 요청에 지배됩니다. 동적 배칭(가변 타임아웃, 대기 중 배치에 뒤늦은 도착 허용)은 대기를 부드럽게 해 주지만 근본 방식을 바꾸지 않으며, 디코드가 시작되면 같은 최속 완료자 문제를 물려받습니다.

7.2 연속 배칭은 요청 단위가 아니라 이터레이션 단위로 스케줄한다

연속 배칭 — Orca의 이터레이션 단위 스케줄링, NVIDIA의 인플라이트 배칭, vLLM과 TGI의 「중심 트릭」 — 은 변수의 변경입니다. 생성 기간 내내 배치를 커밋하는 대신, 스케줄러는 매 디코드 스텝마다 배치 구성을 다시 살핍니다. 각 스텝 뒤: 끝난 시퀀스가 자기 슬롯을 비우고 KV를 해방합니다. 대기열의 새 시퀀스가 비워진 슬롯으로 들어옵니다. 새 활성 집합에 대해 합동 디코드 스텝이 돕니다. 이를 가능하게 하는 LLM 디코딩의 두 성질이 있습니다. 매 디코드 스텝은 구조적으로 같은 조작이며 — 커널은 슬롯 7에 어느 시퀀스가 있고 슬롯 11에 어느 시퀀스가 있는지 신경 쓰지 않습니다. 그리고 각 시퀀스는 자기 KV 캐시를 독립적으로 들고 있어, 나갈 때 그 메모리가 그냥 사용 가능해집니다. 공정성의 단위가 요청이 아니라 이터레이션이 됩니다 — 20토큰 요청은 배치에 누가 함께 있든 대략 20 이터레이션 만에 끝나고, 2,000토큰 요청은 필요한 만큼 한 슬롯을 차지하되 다른 요청을 인질로 잡지 않습니다. 실제 롱테일 트래픽 — 짧은 챗 턴과 긴 RAG 완성의 혼합 — 에서 70B 모델의 GPU 활용률은 정적 배칭의 10~20퍼센트 범위에서 60~80퍼센트로 올라가고, p99 지연도 극적으로 좁아집니다.

7.3 청크드 프리필은 같은 칩에서 프리필과 디코드를 통합한다

연속 배칭에는 여전히 긴장이 남습니다. 새 도착은 프리필을 필요로 하는데, 프리필은 연산에 묶여 있으며 패스당 긴 시퀀스를 선호합니다. 진행 중인 시퀀스는 디코드를 필요로 하는데, 디코드는 메모리 대역폭에 묶여 있으며 넓은 배치를 선호합니다. 갓 도착한 4,000토큰 프롬프트에 대한 전체 프리필을 진행 중인 서른 개 시퀀스의 디코드 스텝과 같은 포워드 패스에 돌리면, 진행 중인 디코드를 지연시키거나(기존 사용자에게 나쁜 TTFT) 새 도착의 프리필을 지연시킵니다(새 사용자에게 나쁜 TTFT). 청크드 프리필은 프리필을 조각 — 이를테면 한 번에 512토큰 — 으로 쪼개어 활성 시퀀스의 디코드 스텝과 그 조각들을 엮습니다. 단일 포워드 패스가 이제 새 프롬프트의 프리필 작업 일부와 진행 중인 디코드 작업 일부를 동시에 나르며, 두 국면이 같은 가중치 스트림을 공유합니다. 프리필의 연산 특성이 산술을 흡수하고, 디코드의 대역폭 수요는 바이트당 더 유용한 일에 걸쳐 분산됩니다. 두 국면이 한 칩에서 더 이상 서로 적대적이지 않게 됩니다. 남은 경우 — 트래픽이 커서 여전히 다투는 경우 — 는 제12장의 분리 서빙 설정입니다.

제7장이 준비하는 것

연속 배칭은 자기 일을 하고, 그렇게 하면서 KV 캐시를 동시성의 구속 조건으로 드러냅니다. 각 활성 시퀀스는 현재 길이에 비례한 크기의 자기 KV를 들고 있고, 시퀀스는 매 스텝마다 들어오고 나가며, 엔진은 그들 중 어느 것이 얼마나 길어질지 미리 알 수 없습니다. 슬롯당 슬래브 하나라는 소박한 배치는 배칭의 승리를 대부분 되돌려 놓습니다. 제8장은 운영체제의 해법을 옮겨 옵니다 — 캐시를 작은 물리 블록으로 나누고, 페이지 테이블로 논리 토큰 위치와 분리하며, 축출 정책이 블록을 회수하거나 시퀀스 사이에 공유하게 합니다. PagedAttention은 연속 배칭의 KV 문제를 감당 가능하게 만드는 수입니다.

다음 → 제8장: 차세대 KV 캐시 관리. PagedAttention, H2O 축출, InfiniGen, 그리고 프리픽스 캐시 경제.