제16장 — 프로덕션의 비용 절감 전략

LLM Primer VI: AI 시스템 확장하기를 챕터별로 걷는 워크스루의 마지막 글입니다. 지난달 청구서의 3분의 1이나 절반으로 복리로 쌓이는 서로 독립적인 수의 카탈로그입니다.

이 장이 존재하는 이유

앞선 두 장은 팀에게 돈이 어디로 가는지를 말해 주고, API 대 전용 선의 어느 쪽에 앉을지를 결정하는 프레임워크를 주었습니다. 이 장은 그 결정이 정해진 뒤 팀이 취할 수 있는 수의 카탈로그입니다. 이 수들은 대체로 자세와 독립적입니다 — API에서 돈을 아끼고, 전용 하드웨어에서 돈을 아끼며, 하이브리드에서도 돈을 아낍니다 — 그리고 복리로 쌓입니다. 이것들을 순서대로 채택한 팀은 집중적인 비용 노력 여섯 달 만에 자기 추론 청구서가 원래의 3분의 1에서 절반이 된 것을 흔히 발견합니다. 어느 것도 이국적이지 않고, 모두가 신중한 엔지니어링을 요구하며, 짓는 비용은 아끼는 것에 비해 작습니다.

16.1 지능형 모델 라우팅이 단일 최대 레버다

프로덕션 트래픽은 균일하게 어렵지 않습니다. 절반 이상은 프런티어보다 한 자릿수 값싼 예산 층 모델로 감당할 수 있을 만큼 단순하고, 더 작은 부분만이 진짜로 프런티어를 필요로 합니다. 모든 것을 최상위로 라우팅하는 팀은 단순한 것에 10~20배 과다 지불합니다. 올바른 아키텍처는 각 요청을 분류하고 그것을 감당할 수 있는 가장 값싼 층으로 디스패치하는 라우터입니다. 이 글을 쓰는 시점의 비용 그래디언트는 프런티어($15~30/M 출력)와 예산($0.10~1/M) 사이에서 입력에 대해 대략 30:1, 출력에 대해 20:1입니다. 라우터 옵션은 요청 모양(길이, 형식, 도구 사용 마커)에 대한 발견법부터, 층 레이블을 출력하는 작은 예산 층 분류기, 어떤 모델이 실제로 작동했는지의 이력 데이터로 학습된 학습된 라우터까지 다양합니다. 설계 제약: 값싸고 빠르게(100ms 이하, 1센트의 10분의 1), 관찰 가능하게(모든 결정을 특성과 결과와 함께 로깅), 기본적으로 안전하게(불확실할 때 위로 라우팅 — 과잉 라우팅의 비용은 1달러 여분이지만, 부족 라우팅의 비용은 눈에 보이는 품질 저하).

16.2 압축, 배치 API, 시맨틱 캐시가 각각 큰 조각을 되산다

컨텍스트 압축은 제14장이 이름 붙인 이차적 입력 증가를 공격합니다. 가장 단순한 형태는 롤링 윈도입니다 — 마지막 K턴을 그대로 유지하고, 그 이전 모든 것은 예산 층 요약으로 대체합니다. 요약 호출은 1센트의 몇 분의 1이 들고, 이후 매 턴마다 입력을 수천 개의 원문 이력 토큰에서 수백 개의 요약 토큰으로 줄입니다. 더 정교한 압축기는 특정 종류(코드, 도구 출력, 사용자 제공 데이터)를 원문으로 보존하고 나머지를 요약합니다. 반값의 비동기 배치 API는 동기 지연 예산이 없는 어떤 워크로드도 처리합니다 — 야간 요약, 재분류, A/B 테스트를 위한 사전 생성, 임베딩 갱신 — 팀이 처음 인식하는 것보다 이 범주는 더 크고, 워크로드를 배치로 옮기는 엔지니어링은 사소합니다. 시맨틱 캐시는 모델이 호출되기 전에 답합니다 — 각 요청을 임베딩하고, 이전 요청-응답 쌍의 벡터 인덱스에서 조회해, 유사도가 임계값을 넘으면 캐시된 응답을 반환합니다. 「반품 정책이 뭐예요」와 「어떻게 반품하나요」라고 묻는 두 사용자는 같은 항목에 히트합니다. FAQ 모양의 트래픽에서 30~50퍼센트 캐시 히트율은 흔하며, 가장 값싼 토큰은 결코 생성되지 않은 토큰입니다.

16.3 수들은 덧셈이 아니라 곱셈으로 쌓인다

월 4,000달러로 청구서가 자란, 하루 1,000쿼리의 에이전트를 생각해 봅시다. 라우팅: 60퍼센트 예산, 30퍼센트 중간, 10퍼센트 프런티어 → 혼합 비용이 프런티어 요율의 28퍼센트로 떨어져 청구서가 $1,100로 떨어짐. 압축: 입력 부풀림이 반으로 줄어 청구서가 $770로 떨어짐. 20퍼센트를 배치로 이동: $720. 25퍼센트 히트율의 시맨틱 캐시: $540. $4,000에서 $540로 — 86퍼센트 감소 — 사용자가 보는 변화 없이. 자기 값을 하는 두 수가 자기 절 없이도 있습니다. 프롬프트 감사 — 새로운 눈으로 모든 프롬프트를 읽고 토큰 값을 정당화하지 못하는 것은 삭제 — 는 보통 행동 변화 없이 지출의 10~20퍼센트를 자를 것을 찾아냅니다. 명시적 max_tokens 상한은 애플리케이션에 300 토큰만 필요한데 응답이 2,000 토큰까지 도는 것을 막습니다 — 그 요청에서 거의 7배 과다 지불. 마음의 모델은 제4권의 것입니다 — 모든 요청에 단위 비용이 있고, 엔지니어링의 일은 각 요청을 값싼 계층부터 라우팅해 필요할 때만 값비싼 계층에 도달하는 것입니다.

제16장이 닫는 것

이 권은 자기회귀 병목 — LLM 생성이 순차적이며, 병렬 산술에 그토록 잘하는 하드웨어가 대부분의 시간을 메모리를 기다리며 쓴다는 되돌릴 수 없는 사실 — 으로 시작했습니다. 이후의 모든 장은 스택의 서로 다른 층에서 그 중심 사실에 대한 응답이었습니다. 하드웨어 장들은 물리적 기판을 지었습니다. 모델 수준 장들은 모델을 줄였습니다. 시스템 수준 장들은 각 클럭 사이클에서 최대의 유용한 일을 뽑았습니다. 엔진과 오케스트레이션 장들은 그것을 프로덕션에 넣었습니다. 경제학 장들은 시스템을 돌리는 팀이 그것에 어떻게 값을 치르는지 서술했습니다. 각 층은 이전 층에 대한 응답이며, LLM을 대규모로 돌리는 학문은 같은 사람들이, 아니면 적어도 같은 어휘로 서로 이야기할 수 있는 사람들이 그 모두를 통합하는 것입니다.

이 책은 여기서 끝납니다. 시리즈는 제7권 — AI 보안으로 이어집니다 — 이 권의 프로덕션 엔지니어링 학문을 위협 모델링, 가드레일, 모델 생성 코드의 샌드박싱, 프롬프트 주입 완화, 출력 필터링, 그리고 위의 모든 것이 배포되는 방식을 지금 규제가 어떻게 다시 그리고 있는지로 확장합니다. 이 권 전체에 걸쳐 지어진 인프라 — 추론 함대, 라우팅 계층, 샌드박스, 에이전트 실행 환경 — 는 정확히 제7권의 보안 관심사가 펼쳐지는 인프라입니다. 확장과 보안은 같은 문제의 두 면입니다 — 하나는 성장의 엔지니어링, 다른 하나는 그 성장이 초대하는 공격에 대한 회복력의 엔지니어링입니다.