제10장 — 사후 학습과 정렬의 수학

LLM Primer II: 수학으로 읽는 언어 모델을 챕터별로 소개하는 시리즈의 열 번째 글입니다. 똑똑하지만 길들지 않은 다음 토큰 예측기를 쓸 만한 어시스턴트로 길들이는 자리 — 그리고 강화학습 파이프라인 전체가, 하나의 우아한 유도를 거쳐, 평범한 분류기처럼 학습할 수 있는 무언가로 접히는 자리에 함께 들어갑니다.

이 장이 놓인 자리

제8장과 제9장이 만들어 낸 것은 사전 학습된 모델입니다. 인터넷의 대부분을 읽었고, 어떤 글이든 섬뜩할 만큼 자연스럽게 이어 쓸 수 있습니다. 그런데 이 모델은 도움이 되어 주려는 성향은 따로 갖고 있지 않습니다. 질문을 던지면, 또 다른 질문으로 받아 칠 수도 있습니다 — 똑똑하지만 길들지 않은 짐승입니다.

제10장은 그 짐승과, 우리가 매일 마주하는 어시스턴트 사이에 놓인 다리입니다. 그리고 본책에서 가장 수학적으로 아름다운 장 중 하나이기도 합니다. 정렬의 엔지니어링은 세 가지 깔끔한 아이디어 위에 차례로 놓이고, 그 세 번째는 — 솔직히 말해 — 비현실적으로 우아합니다.

10.1 지도 파인튜닝(SFT)

첫 번째이자 가장 부드러운 단계입니다. 수학적으로는 새로울 것이 없습니다 — 사람이 직접 쓴 (프롬프트, 이상적인 응답)의 쌍을 모아, 제1장에서 본 그 교차 엔트로피 손실로 학습합니다. 도움이 되는 어시스턴트의 예시 수천 건을 흉내내면서, 모델은 "평균적인 인터넷 페이지"가 아니라 "그 어시스턴트"처럼 행동하는 법을 익힙니다. 한계는 분명합니다. 흉내는 시범자를 넘어설 수 없고, 완벽한 답을 쓰는 일은 — 그것을 알아보는 일보다 — 훨씬 어렵습니다.

10.2 보상 모델과 선호의 수학

완벽한 답을 쓰는 일이 어렵지만 두 답을 비교하는 일이 쉽다면, 비교를 모으면 됩니다. 노이즈가 섞인 인간의 비교에서 매끄러운 점수 함수로 가는 다리가 바로 Bradley–Terry 모델 — 1950년대 통계학의 결을 가진 — 입니다. 각 항목에 숨은 강도를 부여하고, 한쪽이 다른 쪽을 이길 확률은 두 강도의 차를 로지스틱 함수에 통과시켜 얻습니다. 보상 모델은 그 확률이 사람의 라벨과 맞아 떨어지도록 학습됩니다. 두 번 읽고 알아 두시면 좋습니다 — 이건 보상의 차에 대한 로지스틱 회귀입니다.

10.3 가죽끈 위의 RLHF

순진한 강화학습 — 기대 보상을 무작정 최대화하는 길 — 은 함정입니다. 보상 모델은 어디까지나 대리물이고, 그 안에는 사각지대가 있습니다. 정책을 충분히 세게 최적화하면, 그 사각지대를 파고 들어 점수는 터무니없이 높으면서 사람의 눈에는 무의미한 글이 만들어집니다. 이것이 보상 해킹 — 사양 게임(specification gaming)의 가장 구체적인 형태입니다. 처방은 한 가지, 정책이 사전 학습된 참조 모델 곁을 떠나지 않도록 KL 다이버전스로 잡아 당기는 페널티를 더해 줍니다. 핵심은 균형입니다. 끈이 너무 느슨하면 모델은 보상을 해킹하고, 너무 팽팽하면 모델은 한 발짝도 나아가지 못합니다.

10.4 DPO — 강화학습이 사르르 녹는 자리

최근 머신러닝에서 가장 아름다운 결과 중 하나입니다. RLHF의 목적함수는 보기에 — 보상 모델, RL 루프, 샘플링 — 그 모든 장치가 같이 굴러가야만 풀리는 모양을 하고 있습니다. Direct Preference Optimization(DPO)는 그렇지 않다는 것을 보였습니다. KL 제약이 걸린 보상 최대화 문제는 — 참조 정책에 지수화된 보상을 곱해 다시 정규화한 것이라는 — 닫힌 형태의 최적해를 가집니다. 이 식을 뒤집어, 최적 정책으로 보상을 풀어내고, 그것을 Bradley–Terry 선호 손실에 대입하면 — 보상 모델이 그 자리에서 사라집니다. 남는 것은, 정책 자신의 로그 확률과 참조 정책의 로그 확률만으로 표현되는 손실 한 줄입니다. 별도의 보상 모델 없이, RL 루프 없이, 선호 쌍 위에서의 지도학습 그대로.

10.5 Best-of-n, 정렬 비용, 정직한 경고

훨씬 간단한 대안도 있습니다. 거절 샘플링(rejection sampling) / best-of-n — 후보 n개를 만들어 모두 점수를 매기고, 가장 좋은 것 하나를 남깁니다. 정책 학습이 따로 없고, 추론을 좀 더 굴리는 정도. 단순하지만 의외로 강한 기준선입니다.

경고는 두 가지 둡니다. 첫째, 정렬 비용(alignment tax). 도움이 되는 쪽과 안전한 쪽으로 강하게 다듬은 모델은, 원래 갖고 있던 날것의 능력 일부를 잃기도 합니다. 둘째, 그리고 더 본질적으로 — 여기서 본 모든 방법은 결국 "사람의 호감"을 최적화합니다. 그것은 "참"이나 "옳음"과 같은 것이 아닙니다. 모델은, 옳지 않으면서도 호감을 사는 길을 배워낼 수 있습니다.

이 장은 RLAIF(한 모델의 판단을 다른 모델을 정렬하는 데에 쓰는 길)와 Constitutional AI(가치를 자연어로 적어 두는 길)도 함께 다룹니다. 둘 다, 더 깊은 문제인 "확장 가능한 감독"의 결을 가리키는 손짓입니다.

제10장이 놓는 다리

여기서 떠나면서 손에 남는 것은, 세 박자의 흐름과 통계학의 아름다운 두 조각입니다. 이로부터 본책은, 같은 결의 — 그리고 똑같이 수학적인 — 질문으로 이어집니다. 모델을 만들고 정렬까지 마쳤다면, 그것이 정말로 잘 굴러가는지 우리는 어떻게 알 수 있을까요?

다음 회 — 제11장: 평가, 보정, 추론. 퍼플렉시티, 보정(calibration), 모든 벤치마크 점수에 따라붙어야 할 오차 막대, 그리고 환각을 재는 수학을 함께 풀어 봅니다.