제11장 — 모델을 더 작게, 더 영리하게

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 열한 번째 글입니다. 큰 모델의 결을 그대로 두고는 풀리지 않는 — 실무의 운영의 결 — 로 들어갑니다.

큰 모델은 그 자체로 답이 되지 않는다

지금까지의 장에서 본 그 큰 모델들 — 수십억 개의 파라미터를 갖는 그 모델들 — 은, 강력하지만 운영의 결에서는 만만치 않은 부담을 안깁니다. 응답이 느리고, 토큰당 비용이 무겁고, 한 호출마다 데이터 센터의 결을 다소 무겁게 굴려야 합니다.

그래서 본격적인 LLM 운영의 한 자리에서는, 자연스레 따라오는 결이 있습니다. 같은 모델의 능력을 — 더 작은 모델로, 더 빠른 모델로, 더 저렴한 모델로 — 옮길 수 있는가? 제11장이 이 질문의 길로 들어가는 장입니다.

디스틸레이션 — "선생님 모델"의 결을 작은 모델에 옮긴다

가장 자리 잡은 길은 디스틸레이션입니다. 한 줄로 풀면 이렇습니다. 큰 모델("선생님")에게 같은 입력에 대한 답을 만들게 한다 → 그 답을 — 단지 "정답"으로서가 아니라, 모델이 만들어낸 분포 전체의 결로서 — 작은 모델("학생")이 따라하게 한다. 작은 모델은 단지 정답의 결이 아니라 — 큰 모델이 어디까지 확실하고 어디서 망설였는지 — 의 결까지 함께 흡수해 들어갑니다.

이 길의 흥미로운 자리는, 단지 정답 데이터로 학습한 작은 모델보다 — 큰 모델의 분포의 결을 따라 한 작은 모델이 — 결의 큰 폭에서 더 든든하게 굴어간다는 점입니다. 그 결의 한 자리에 — 큰 모델의 직관 같은 결이 — 함께 흘러들기 때문입니다.

양자화 — 가중치의 결의 정밀도를 낮춘다

두 번째 길은 양자화입니다. 모델의 가중치 — 그 수십억 개의 숫자 — 는 보통 32비트나 16비트의 결의 정밀도로 저장됩니다. 양자화는 그 정밀도를 — 8비트, 4비트, 심지어 그 이하로 — 낮추는 길입니다.

한 줄의 정밀도가 낮아지면, 모델 전체의 크기는 — 같은 만큼 — 가벼워집니다. 같은 GPU에 더 큰 모델이 얹힐 수 있고, 같은 모델이 더 빨리 굴러갑니다. 그리고 — 약간 놀랍게도 — 모델의 결의 큰 모양은, 정밀도를 잘 낮추면, 거의 그대로 유지됩니다. 모든 모델이 이렇게 되지는 않지만, 잘 훈련된 모델일수록 양자화의 결을 잘 견디는 경향이 있습니다.

MoE — "전문가의 결"을 나누어 둔다

세 번째 결은 — 약간 결이 다른 — MoE(Mixture of Experts)입니다. 한 큰 모델 안에 — 여러 갈래의 작은 "전문가" 서브네트워크를 두고 — 한 토큰을 처리할 때마다 그 중 일부만 활성화하는 길입니다. 모델 전체의 파라미터는 크게 잡지만, 한 호출마다 실제로 굴어가는 결은 그 중 일부에 그칩니다.

이 결의 흥미로운 자리는 — 모델의 결의 잠재력을 키우면서도 — 한 호출의 비용은 작게 유지할 수 있다는 점입니다. 모델은 — 여러 결의 갈래의 전문성을 — 자기 안에 갖되, 한 자리의 토큰의 결에서는 — 가장 어울리는 갈래의 결만 — 끌어와 굴어가게 됩니다.

§11.6: 2026 에디션의 새 절 — 추론 모델

2026 에디션에서 §11.6을 — 추론 모델(reasoning models) — 으로 새로 더해 두었습니다. 이 결은 — 효율화의 결과는 약간 다른 — 한 결의 큰 결입니다.

한 줄로 풀면 이렇습니다. 한 번의 호출에 모델이 더 많은 토큰을 — 자기 자신의 사고의 사슬 안에서 — 쓰게 한다. 그리고 그 사고의 사슬을 RLHF의 결로 다듬어, 모델이 더 깊은 결의 추론을 자기 안에서 다지게 한다. 결의 끝에 만들어지는 답은 — 같은 결의 큰 모델보다 — 한 칸 더 깊은 결의 추론을 거친 답이 됩니다.

이 결의 흥미로운 자리는, 결의 효율화의 다른 결입니다. 효율화가 — 같은 결의 답을 더 싸게 만드는 길이라면 — 추론 모델은 — 더 비싸게라도, 더 깊은 결의 답을 만들어내는 길입니다. 이 두 결이 — 같은 모델 가족 안에서 — 함께 자리 잡아 가는 것이, 2025–2026의 큰 흐름이라고 봅니다.

제11장의 한 줄

이 장이 손에 남기는 한 줄은 이렇습니다 — 모델의 결을 운영의 결에 맞추는 길은, "가장 큰 모델"의 한 줄로 끝나지 않는다. 한 작업에는 어떤 결의 모델이 가장 잘 어울리는지 — 그 결의 갈래를 — 손에 익혀 두는 것이, 길게 잘 운영하는 결의 토대가 된다.

다음 회 — 제12장: LLM 시스템을 짓는다는 것 — 그리고 이 다음. 마지막 회입니다. LLM을 한 시스템의 결로 — 모델 한 대를 넘어, 도구와 RAG와 평가와 가드레일을 같이 엮어 — 짓는 길을 한 자리에 풀어내고, 본책 다음 권으로의 다리를 함께 놓습니다.