제8장 — 성능, 서빙, 비용 최적화

LLM Primer V: 실전 LLM 애플리케이션 구축을 챕터별로 따라가는 워크스루의 마지막 글입니다. 프로덕션 LLM 경제학을 층진 규율로 다루는 장 — 가장 저렴한 호출은 결코 이루어지지 않는 호출이고, 아래 각 층은 다음 호출을 저렴하게 만들어 주는 층입니다.

이 장이 존재하는 이유

가치 있는 프로덕션 속성 하나하나는 토큰, 지연, 또는 컴퓨트로 자기 대금을 치릅니다. 이중화는 두 번째 공급자 호출을 부담합니다. 검증은 분류기 통과를 부담합니다. 가드레일은 프롬프트마다 여분의 토큰을 부담합니다. 트레이싱은 저장소와 익스포트 대역폭을 부담합니다. 사람 검토는 시간을 부담합니다. 이 중 어느 것도 공짜가 아니며, 시스템이 프로덕션에 들어간 시점이 되면 압력은 새 능력을 더하는 쪽이 아니라, 이미 가진 능력을 사업이 계속 감당할 수 있는 비용으로 유지하는 쪽에 걸립니다. 제8장은 그 비용이 사는 층들과 품질을 회귀시키지 않고 그 비용을 줄이는 기법을 걷습니다. 프레이밍은 의도적입니다. 비용에서 몇 퍼센트를 깎으면서 오류율을 몇 퍼센트 올리는 기법은 승리가 아니며, 규율은 사용자에게 보이는 품질과 신뢰성을 움직이는 곳에 의도적으로 쓰고, 그 밖의 어떤 곳에도 쓰기를 거부하는 것입니다.

8.1 의미론적 캐싱 — 결코 일어나지 않는 호출

의미론적 캐싱은 표현이 바뀌었더라도 되풀이되는 질문을 저장된 답변으로 바꿉니다. 메커니즘은 들어오는 요청을 임베드하고, 테넌트와 역할로 범위가 정해진 버킷 안에서 근처 이웃을 조회하며, 이웃이 유사도 임곗값 안이고 신선도 창 안에 있다면 저장된 답을 서빙합니다. 올바로 되면 요청 경로에서 모델 호출 전체를 없앱니다. 잘못되면 다른 테넌트의 답을 지금 사용자에게 서빙하거나, 어젯밤에 바뀐 정책의 옛 답을 서빙합니다. 정확성은 복합 키 — 질의 임베딩만이 아니라 테넌트+역할+모델+프롬프트 버전 — 와, 표류를 잡아 주는 주기적 갱신 스위프에 의존합니다. 히트율만으로는 잘못된 목표입니다. 옳다고 검증된 답들에 대한 비용 가중 히트율이 올바른 목표인데, 저렴한 요청에서의 높은 히트율과 비싼 요청에서의 낮은 히트율은 그 반대보다 가치를 덜 더하기 때문입니다.

8.2 레이트 리미팅과 동적 모델 라우팅

요청당 상한은 LLM 트래픽에 어울리지 않는 모양입니다. 요청 비용이 함대 전체에 걸쳐 두 자릿수 배로 편차가 나기 때문입니다. 토큰 버킷과, 예약과 정산의 두 단계를 지닌 달러 예산이 요청당 카운팅을 대체하며, 사용자, 테넌트, 애플리케이션, 전역이라는 층진 예산 계층이 파급 반경을 각 수준에서 상한합니다. 라우팅은 이어서 각 요청에 충분한 가장 작은 모델을 고릅니다. 분류기 — 쉬운 경우에는 휴리스틱, 어려운 경우에는 저렴한 LLM 호출 — 가 요청에 레이블을 붙이고, 검증된 폴백 체인을 갖춘 비용 티어드 함대로 디스패치합니다. SLM 먼저, 검증 실패나 낮은 신뢰도에서는 중간 티어, 추가 폴백에서는 프런티어, 바닥에는 결정론적 기본값. 라우터 자체가 신뢰 함의를 지닙니다 — 공격자가 조작을 시도할 수 있는 결정 표면이며 — 앞의 장들이 세운 트레이스되고 평가되고 지켜지는 외피 안에 자리해야 합니다.

8.3 추론 서버의 안

애플리케이션 아래, 추론 서버는 마지막 한 자릿수의 비용 절감이 사는 곳입니다. PagedAttention은 KV 캐시를 가상 메모리처럼 다뤄, 긴 요청과 짧은 요청이 섞인 배치가 더 이상 가장 긴 요청을 위해 인접 메모리를 낭비하지 않게 합니다. 연속 배칭(Continuous batching)은 이질적 길이의 요청 사이에서도 GPU를 바쁘게 유지하며, 모든 요청이 끝나기를 기다리는 대신 진행 중인 배치에 새 요청을 받아들입니다. 투기적 디코딩(Speculative decoding)은 작은 초안 모델로 타깃 모델이 병렬로 검증하는 토큰을 짐작하며, 초안이 맞힌 토큰에 대해 실효 처리량을 곱해 줍니다. 프리픽스 캐싱은 공유되는 정적 프롬프트의 KV 상태를 사용자들 사이에 저장해, 시스템 프롬프트가 한 번 지불되고 다시 쓰이게 합니다. 양자화는 대부분의 과제에서 품질을 유의미하게 해치지 않고 가중치 정밀도를 낮춥니다. LoRA 서빙은 하나의 베이스 모델이 거의 베이스 모델의 비용에 여러 파인튜닝 변형을 서빙하게 해 줍니다. 디스틸레이션은 모델 자체를 줄입니다. 이 최적화들은 서로 위에 조합되고, 그 누적 효과가 주권형 자가 호스팅 배포를 2026년에 재정적으로 실현 가능하게 만들어 둔 것입니다.

제8장이 닫는 것과, 이후에 오는 것

제8장은 제5권을 닫습니다. 이 책이 지어 온 단일 애플리케이션 엔지니어링 — 결정적 래퍼, 모델 호출, 검색 파이프라인, 에이전트 루프, 평가 슈트, 트레이싱 층, 보안 자세, 서빙 경제학 — 은 이후에 오는 것의 조합 단위입니다. 제6권 Scaling AI Systems(LLM 시스템 확장)은 그 단위를 주어진 것으로 놓고 다음 질문들을 던집니다. 한 조직이 공유 추론 클러스터 위에서 이런 시스템 100개를 돌릴 때 어떤 일이 벌어지는가, 함대 전체 정책 엔진이 그것들에 걸쳐 어떻게 인가하는가, 워크로드가 폭발적이고 밑단의 하드웨어가 희소할 때 용량 계획은 어떻게 달라지는가, 그리고 이 장이 스케치만 한 추론 서버 최적화가 부하를 짊어지는 표면이 될 때 어떻게 깊은 엔지니어링이 되는가. 제6권은 그 메커니즘으로 들어가며, 제5권은 그 메커니즘이 사용할 어휘를 세워 두었습니다.

제5권은 여기서 마무리됩니다. 시리즈의 다음 권은 제6권 — Scaling AI Systems(LLM 시스템 확장)이며, 제8장이 스케치만 한 추론과 인프라 엔지니어링을 이어받고, 이 권에서 지어진 애플리케이션 모양의 단위를 함대 규모 조합을 위한 원시 요소로 다룹니다.