제5장 — 그래도 작은 결함이 남아 있다

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 다섯 번째 글입니다. LLM에 대한 책은, "결함을 정직하게 짚는 장"을 따로 두지 않으면 책으로서 절반밖에 안 됩니다. 제5장이 정확히 그 장입니다.

이번 장의 분위기는 약간 다르다

여기까지의 흐름은 "어떻게 동작하는가"의 이야기였습니다. 제5장에서는 결을 약간 바꿔, 어디서 비틀거리는가를 정면으로 다룹니다. 그것도, 단지 모델을 깎아내리기 위해서가 아니라 — 그 비틀거림의 근원이 알고 보면 앞 장에서 본 그 메커니즘 자체에 있다는 것을 보이기 위해서입니다.

이 장을 두는 이유는 한 가지입니다. 모델을 어디까지 신뢰해도 되는지의 감각, 그리고 어디에서부터는 — 다른 도구로 보완해야 하는지의 감각을 — 손에 익히기 위함입니다.

환각 — "잘못 알고 있다"가 아니라 "그렇게 만들어내고 있다"

가장 많이 입에 오르는 결함이 "환각(hallucination)"입니다. 모델이 사실이 아닌 것을 그럴듯하게 만들어내는 그 현상이죠. 이게 왜 그렇게 끈질긴가. 답은, 우리가 모델의 정체로 받아들였던 그 한 줄에 있습니다 — 모델은 "그럴듯한 다음 토큰"을 만들어내고 있고, "사실"을 떠올리고 있는 게 아니다.

모델이 잘 모르는 사실을 물었을 때, 모델은 "잘 모르겠다"는 신호를 받지 않습니다. 단지 — 그 컨텍스트에서 — 가장 그럴듯해 보이는 토큰 후보들이 떠오를 뿐입니다. 그게 결과적으로 사실에 정확히 들어맞으면 우리는 그걸 "정답"으로 부르고, 어긋나면 "환각"이라 부릅니다. 모델 입장에서는 두 가지가 분리되어 있지 않습니다. 우리가 외부에서 본 결과를 두고 따로 분류하고 있을 뿐이죠.

시간 — 모델은 "지금이 언제인지"를 모른다

두 번째 결함은 시간 감각의 결손입니다. 모델은 학습이 끝난 그 시점의 "스냅숏"으로 굳어 있고, 그 뒤 세상에서 일어난 일은 모릅니다. 더 골치 아픈 건, 모델이 자기가 모른다는 것조차 모르고 있다는 점입니다. 그래서 모델은 학습 데이터의 분포 위에서 가장 그럴듯한 답을 — 종종 "오늘 시점에 대해 자신만만하게 — 만들어냅니다.

"오늘 날짜는?", "최근에 어떤 일이 있었는가?", "그 회사 CEO는 지금 누구인가?" — 이런 질문들이 곤란해지는 것은 그 때문입니다. 본책에서는 이 약점을, RAG(검색 보강 생성)와 도구 사용으로 어떻게 뒷받침할 수 있는지로 이어지는 다리도 함께 풀어 놓았습니다.

계산과 정밀한 추적 — 의외의 약점

이건 약간 의외로 받아들여지는 결함입니다 — 단순해 보이는 계산이나 단계가 많은 추적 추론에서 모델이 어이없이 미끄러질 때가 있다는 점이요. 길이가 긴 곱셈, 정밀한 자리 옮김, 복잡한 조건 분기. 모델은 "수치 표상"을 다루는 일에 본질적으로 강하지 않습니다. 모든 게 결국 같은 다음-토큰 예측의 루프 안에서 일어나니까요.

그래서 이런 일에는, 모델 한 대로만 굴리는 대신 도구 호출 — 계산기, 코드 실행기, 검색 — 을 끼워 넣는 그림이 나옵니다. 이게 책의 후반부 — 에이전트와 추론 모델 — 로 자연스레 이어집니다.

일관성 — "같은 모델이, 같은 질문에, 다른 답을 줄 수 있다"

또 하나의 결함은 출력의 일관성 흔들림입니다. 같은 모델에 같은 프롬프트를 던져도, 매번 정확히 같은 답이 돌아오는 게 아니라는 사실은 — 모델을 평가하거나 운영의 결을 잡는 자리에서 종종 골치 아픈 변수가 됩니다.

왜 이런 일이 생기는가. 제2장에서 본 그 샘플링이 답입니다. 매 토큰마다 분포에서 한 개를 길어 올리는데, 그 길어 올림 자체가 — 확률적입니다. temperature를 0으로 두면 일관성이 올라가지만, 그 자리에 따라오는 다른 비용도 있습니다(평탄해지고, 단조로워지고, 다소 굳어 보이기 시작합니다).

이 결함을 알아둘수록, LLM이 더 든든해진다

제5장은 두려움을 키우려고 쓴 장이 아닙니다. 정반대입니다. LLM을 실무에서 잘 굴리려면 — 무엇을 LLM에게 맡기고, 무엇을 LLM 바깥의 다른 도구로 보완해야 하는지를 — 명료하게 가를 줄 알아야 합니다. 이 장은 그 가르기의 토대가 되어 줍니다.

같은 메커니즘이 강함도 약함도 같이 만들어낸다는 것을 받아들이면, 결함과 어떻게 함께 살지의 그림도 함께 그려집니다. 그러고 나면 다음 장 — 정렬(alignment), 즉 모델을 의도된 결로 머물게 하는 방식 — 으로 자연스레 발을 내딛게 됩니다.

다음 회 — 제6장: 안전, 정렬, 그리고 모델이 "도움이 된다"는 것의 의미. 내일은 책의 가장 큰 결심 한 가지가 등장합니다. 모델이 "유창하다"는 것과 "쓸 만하다"는 것은 다른 일이고, 그 사이의 다리를 놓는 것이 정렬입니다. 그리고 이 2026 에디션에서는 §6.6에 — 헌법형 AI, 디버틀 모델, 그리고 정렬에 대한 새로운 연구 가닥을 — 새로 더해 두었습니다.