제4장 — 모델은 어떻게 학습되는가

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 네 번째 글입니다. LLM이 어떻게 만들어지는지 — 무엇이 모델의 인격을 결정하고, 무엇이 모델의 잠재력을 결정하는지 — 의 큰 그림을 정리해 봅니다.

세 단계 모두를 짚어야, 한 모델을 다 이해할 수 있다

지금 우리가 매일 쓰는 LLM 한 대를 두고 보면, 그 모델이 거기까지 오기 위해 어떤 길을 걸어왔는지를 한 번에 떠올리기란 쉽지 않습니다. 사전학습, 파인튜닝, 인간 피드백 강화학습(RLHF). 본책의 제4장은 이 세 단계 — 각자의 역할은 무엇이고, 무엇을 만들어내며, 어떤 점에서 어울려서야 비로소 매일 우리가 신뢰하는 어시스턴트가 되는지를 풀어내는 장입니다.

각 단계가 모델의 "어디"를 형성하는지를 손에 익혀 두면, "왜 이 모델은 X에는 강하면서 Y에는 약한가" 같은 질문에 자기 언어로 답할 수 있게 됩니다.

사전학습 — 이 단계가 모델의 잠재력을 결정한다

사전학습은 LLM의 출발선입니다. 그리고 그 비용으로 따지자면 — 시간과 컴퓨팅 자원의 거의 전부 — 압도적인 비중을 차지합니다. 모델 한 대가 한 번 사전학습되는 데 들어가는 자원은, 한 대의 비행기를 짓는 일에 비유하는 사람도 있습니다.

이 단계에서 모델이 받는 데이터는 "방대한 텍스트의 바다" — 책, 웹 페이지, 코드, 위키, 학술 논문 — 입니다. 그리고 과제는 단 하나, 우리가 익히 본 그 과제 — 다음 토큰을 예측하라 — 입니다. 단순해 보이는 이 목표를 수조 개 단위의 토큰 위에서 반복하는 그 시간 동안, 모델은 — 어쩌면 마치 부수 효과처럼 — 문법, 사실, 추론의 결, 그리고 사람의 표현 위에 켜켜이 얹혀 있는 무수한 패턴을, 자기 안에 흡수해 들어갑니다.

여기에서 본책이 강조하는 한마디는 이런 것입니다. 이 단계가 모델의 "잠재력의 천장"을 결정한다. 이후 단계에서 인격은 조각할 수 있어도, 사전학습 단계에서 흡수되지 못한 능력을 "거기서부터 더해 줄" 길은 — 적어도 같은 모델 안에서는 — 거의 없습니다.

파인튜닝 — 잠재력을 사용 가능한 무엇으로 다듬는 단계

사전학습 직후의 모델은, 강력합니다. 그런데 사용성이 좋지는 않습니다. 무엇이든 만들어내긴 하는데, 매일 우리가 기대하는 그 어시스턴트의 모습은 아닌 그런 상태죠. 비유하자면 — 천재인데 사회적 거리감을 못 잡는 사람과 대화하는 느낌. 능력은 있는데, 우리가 기대하는 그 그릇 안에 정확히 담겨 나오지 않는, 그런 모습입니다.

여기서 파인튜닝이 들어옵니다. 신중하게 선별된, 훨씬 더 작은 데이터셋 — 보통은 사람의 손으로 만든, "이 모델이 따라 해줬으면 하는 모습"의 예시 대화들 — 위에서 모델이 추가 학습됩니다. 모델 가중치는 살짝씩만 옮겨지지만, 그 옮김의 방향이 누적되어 — 무뚝뚝하기보단 친절하게, 산만하기보단 정돈된 답을, 한 줄 짧게 답하기보단 적당히 풀어 설명하는 식으로 — 인격이 조각되어 갑니다.

같은 사전학습 모델이라도 어떤 파인튜닝을 받았는지에 따라 매우 다른 모습으로 손에 들어옵니다. 코드 보조에 특화된 모델, 의료 상담의 톤에 맞춰진 모델, 캐주얼한 챗봇의 결로 다듬어진 모델 — 이런 갈래가 여기서 나뉘게 되죠.

RLHF — 우리가 좋아하는 그 어시스턴트가 만들어지는 곳

세 단계 중에서 가장 미묘하고, 동시에 가장 결정적인 단계가 인간 피드백 강화학습 — RLHF — 입니다. 한 줄로 풀면 이런 것입니다. 같은 질문에 모델이 두 가지 다른 답을 만들어내게 한다 → 사람 평가자가 "어느 쪽이 더 낫다"를 표시한다 → 그 신호를 모아 모델을 그쪽 방향으로 조금씩 옮겨 간다. 이걸 — 수만 번, 수십만 번 — 반복합니다.

여기에서 만들어지는 그 미묘함은 만만치 않습니다. 도움이 되는 답이란 어떤 모습이고, 안전한 답이란 어떤 모습이며, "잘 모르겠다"고 솔직히 말해야 하는 자리는 언제이며, 정중함이 어디까지 가야 한 줄 더 친절해 보이지 굳어 보이지 않는지 — 사람이 그런 미묘함을 매일 매번 새로운 답안마다 표시해 줍니다. 그렇게 쌓인 신호들 위에서 — 천천히, 한 발씩 — 우리가 "도우미답다"고 여기는 그 인격이 형성되어 갑니다.

왜 같은 가족의 모델이 서로 다른 인격을 갖는가

이 세 단계의 그림이 손에 들어오면, 그 다음의 질문들이 자기 자리에 또렷이 놓이기 시작합니다. 왜 OpenAI의 모델과 Anthropic의 모델은 같은 질문에 다른 결로 답하는가. 왜 같은 사이즈의 모델인데 코드 능력은 비슷한데 글쓰기 결은 사뭇 다른가. 왜 어느 모델은 "잘 모르겠다"고 말하기를 마다하지 않는데, 다른 모델은 끝까지 답을 만들어내려 하는가.

그 차이의 대부분은 — 사전학습 데이터의 차이가 만들어내는 토대 위에서 — 파인튜닝과 RLHF의 단계가 만들어내는 결의 차이입니다. 이 두 단계가 모델의 "스타일"이고, 그러니까 어느 한 가족의 모델을 손에 익히는 일이, 곧 그 가족의 학습 철학을 손에 익히는 일에 가깝게 됩니다.

제4장이 만들어주는 멘탈 모델

제4장을 마치면, "기본 모델(base model)"과 "어시스턴트 모델(assistant model)"이 같은 것이 아니라는 감각이, 그리고 학습의 어느 단계가 어떤 행동을 형성하는지의 감각이, 손에 자리 잡습니다. 이게 들어와 있으면 — 어느 LLM에 무엇을 어디까지 기대해야 하는가 — 라는 질문에 자기 언어로 답할 수 있게 됩니다.

다음 회 — 제5장: 그래도 작은 결함이 남아 있다. 내일은 약간 분위기를 바꿔, 잘 학습된 LLM이 여전히 갖고 있는 결함 — 환각, 시간 인지의 결손, 계산의 약점, 일관성의 흔들림 — 의 정체로 들어갑니다. 그것이 왜 "버그"가 아니라 같은 메커니즘에서 함께 나오는 "특성"인지를 풀어 봅니다.