제6장 — 안전, 정렬, 그리고 모델이 "도움이 된다"는 것의 의미

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 여섯 번째 글입니다. 이 장은 본책에서 가장 큰 폭으로 손을 본 장입니다. 2026 에디션에서 §6.6을 — 정렬에 관한 최근 연구의 큰 가닥들로 — 새로 더해 두었습니다.

"유창하다"는 것과 "도움이 된다"는 것은 다른 일이다

제6장이 출발하는 자리는 — 작아 보이지만 가만히 보면 큰 — 한 가지 구분입니다. 모델이 매끈한 문장을 만들어낸다는 것과, 그 답이 사용자에게 정말로 도움이 된다는 것은, 같은 일이 아닙니다.

유창함은 사전학습이 만들어줍니다. 도움이 됨은 정렬이 만들어줍니다. 그리고 이 두 가지는 — 만만치 않은 정도로 — 서로 다른 일입니다. 유창한 답이 사실은 위험할 때가 있고, 무미한 답이 사실은 매우 도움이 될 때가 있습니다. 그 구분의 결을 잡지 못하면, 모델 평가의 첫 단계부터 휘청거리게 됩니다.

정렬이 정확히 무엇을 다듬는 일인지

정렬(alignment)이라는 말은 뜻이 넓어서 — 사람마다 다르게 받아들이기 일쑤입니다 — 본책에서는 가능한 한 구체적인 결로 풀어내려 했습니다. 한 줄로 풀면 이렇습니다 — 모델이 인간이 의도한 결에 머무르게 하는 일이고, 그 결을 한 번 만든 모델이 끝까지 — 시간이 지나도, 새 상황에서도, 약간 비틀어진 입력 앞에서도 — 유지하도록 만드는 일.

구체적으로는 이런 갈래들을 함께 다듬는 일에 가깝습니다. "도움이 됨"의 결, "정직함"의 결("모르겠다"고 솔직히 말하는 일), "무해함"의 결(거짓이나 유해의 단을 피하는 일), 그리고 이 셋 사이의 트레이드오프를 매번 어디서 잡을지에 대한 결.

§6.6: 2026 에디션의 새 절

2026 에디션에서 §6.6을 — 헌법형 AI(Constitutional AI), 디버틀(debate) 기반 모델, 그리고 정렬에 관한 새로운 연구의 가닥을 — 새로 더해 두었습니다.

헌법형 AI는, 사람 평가자에게 일일이 묻는 대신 모델이 "스스로의 결을 잡는 헌법" — 명시된 일련의 원칙들 — 에 비추어 자기 답을 다시 검토하고, 그 검토를 토대로 자기 답을 다듬어 가는 그림입니다. RLHF의 평가 신호 중 일부가 모델 자신에게 위임되는 셈인데, 이게 단지 비용을 줄이기 위한 길이 아니라 — 모델의 결을 "스케일에 맞게" 유지하기 위한 한 발 더 깊은 길이라는 것이, 이 절의 한 줄 정리입니다.

디버틀형 정렬은 또 다른 결로 — 두 모델에게 같은 질문에 서로 다른 답변을 만들게 하고, 그 답변 사이의 충돌을 공개적인 결로 노출시킨 뒤, 그 결의 결정을 사람 평가자에게 — 혹은 또 다른 모델에게 — 맡기는 그림입니다. 한 명의 평가자가 다 알아내기 어려운 미묘한 결을, 두 답변의 정면 충돌이 드러나도록 해주기 위한 길로, 잘 굴어가면 단일 RLHF가 잡아내기 힘든 결까지 잡아낼 수 있다고 봅니다.

"안전"이라는 단어의 폭

본책에서 "안전"이라는 말을, 좁게 잡지 않으려 했습니다. 단지 "유해 콘텐츠를 거르는 일"이 안전의 전부는 아닙니다 — 사용자가 길게 의지하기에 안전한 결이란 무엇인가, 사용자가 모를 때 모델이 "잘 모릅니다"라고 말해줄 수 있는 결이란 무엇인가, 한 모델에 너무 길게 의지하다 사용자가 자기 판단을 흐릿하게 하지 않도록 결을 잡아주는 일이란 무엇인가 — 모두가 안전의 한 단면입니다.

이 폭이 손에 들어오면, 모델 선택과 모델 운영에서 "어디까지 신뢰해도 되는가"의 결이 한층 다듬어집니다. 한 모델만 두고 본 신뢰가 아니라, 한 시스템 전체로서의 신뢰의 결이요.

제6장의 한 줄

이 장이 손에 남기는 한 줄은 이렇습니다 — 정렬은 모델이 "쓸 만하다"가 되는 마지막 한 칸이다. 사전학습이 잠재력을 만들었고, 파인튜닝이 인격의 큰 결을 정했고, 정렬이 그 결을 "사용자가 길게 의지할 수 있는 결"로 다듬는다. 이 세 단계가 함께 가야, 우리가 매일 그 모델에 손을 댈 수 있는 그림이 비로소 완성됩니다.

다음 회 — 제7장: 모델을 더 영리하게 쓰는 방식 — 프롬프트 엔지니어링. 내일은 책의 가장 실용적인 장 중 하나로 들어갑니다. 프롬프트 한 번에 같은 모델을 두 배쯤 더 영리하게 만들 수 있는 갈래들 — 그리고 그 갈래들이 왜 통하는지 — 를, 다음 토큰 예측의 메커니즘과 연결지어 풀어 봅니다.