제2장 — 확률, 토큰, 그리고 텍스트

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 두 번째 글입니다. 본책의 핵심 키워드 두 가지 — "토큰"과 "확률" — 을, 너무 깊이 파고들지 않으면서도 흐릿하게 넘기지도 않을 만한 깊이로 풀어 봅니다.

모델은 단어를 보고 있지 않다

제2장은 약간 직관에 어긋나는 사실 하나에서 출발합니다. 우리가 LLM에 문장을 던질 때, 모델 입장에서 그 문장은 사실 "문장"이 아닙니다. 모델이 받는 것은 "토큰"이라 불리는, 단어 조각의 열입니다.

토큰은 단어보다 짧을 수 있고, 길 수도 있습니다. 자주 등장하는 단어 — "the", "and", "model" 같은 것 — 는 보통 하나의 토큰으로 떨어집니다. 한편 "untokenization"처럼 흔치 않은 단어는 "un / token / ization"처럼 셋이나 그 이상의 조각으로 잘리는 일이 흔합니다. 결과적으로 LLM이 다루는 어휘는, 우리가 사전에서 보는 단어 목록과는 사뭇 다른 모습이 됩니다.

이 차이가 보기보다 큰 의미를 갖습니다. "이 모델은 단어 단위로 학습됐다"는 식으로 머릿속에 들여놓으면, 모델이 어떤 부분에서 강하고 어떤 부분에서 약한지에 대한 직관까지 같이 어긋나기 시작합니다. 토큰화 방식을 본 다음에야 비로소 — 왜 LLM이 작가 이름의 철자 같은 곳에서 머뭇거리는지, 왜 신조어를 다룰 때 약간씩 어색해지는지, 왜 어떤 언어가 다른 언어보다 토큰을 더 많이 잡아먹는지 — 한꺼번에 자리에 맞춰 들어옵니다.

그렇다면 모델은 정확히 무엇을 만들어내는가

장의 본문에 들어가면, 그 다음으로 따라오는 큰 그림이 펼쳐집니다. LLM이 한 토큰을 만들어낸다는 건, 단지 그 토큰 하나만 골라내고 있는 것이 아닙니다. 매 단계마다 모델은 어휘 전체에 걸친 확률 분포 — 수만 개의 토큰 후보 각각에 점수가 매겨진 표 — 를 통째로 만들어냅니다. "the"는 0.31, "a"는 0.12, "model"은 0.04, "banana"는 0.00001…… 이런 식의 분포입니다.

이 점을 짚는 일이 중요한 건, LLM의 동작이 단번에 또렷이 잡히는 자리이기 때문입니다. 같은 프롬프트가 다른 출력을 낳을 수 있는 것도, 같은 모델이 따분한 글도 쓰고 신선한 글도 쓰는 것도, "꼭대기 한 토큰"이 아니라 분포 자체에서 답이 길어 올려지기 때문입니다.

그 다음에 따라오는 것이, 정확히 이 분포에서 어떻게 한 토큰을 길어 올릴지를 결정하는 "샘플링"입니다.

temperature와 top-p — 본격적인 노브 둘

분포에서 토큰을 길어 올리는 방식은 한 가지가 아닙니다. 본책에서 정성껏 다루는 두 가지 — temperature와 top-p — 가, 이름은 들어 봤지만 어떻게 굴러가는지는 좀처럼 와닿지 않는 대표 주자들입니다.

Temperature는 분포 자체의 "굴곡"을 바꿉니다. 낮춰 두면 꼭대기 후보가 점점 더 솟아올라, 모델은 안전하고 예측 가능한 토큰을 거의 항상 선택합니다. 출력은 가지런해지지만, 동시에 평평하고 단조로워지기 쉽습니다. 올려 두면 분포가 평탄해지면서, 평소엔 외면받던 후보까지 채워 올리기 시작합니다. 출력은 신선해지지만, 너무 올려 두면 산만하거나 엇나가 보이기 시작합니다. 짧은 문장 한 줄로 정리하자면 이렇습니다 — temperature는 "참신함과 일관성 사이를 잡는 다이얼"입니다.

Top-p(nucleus sampling)는 약간 다른 방식으로 같은 문제에 접근합니다. 분포의 절반을 평평하게 누르는 대신, "확률을 위에서부터 더해 갔을 때 합이 p 이하가 되는 후보 집합"만 남기고 — 보통 p=0.9 정도 — 그 안에서 샘플링합니다. 결과적으로 외곽의 가능성 낮은 후보는 잘라내고, 의미 있는 후보들 안에서만 다양성을 허락하는 그림이 나옵니다.

이 두 노브를 어떻게 조합하느냐에 따라 — 그 가짓수는 만만치 않습니다 — LLM이 같은 프롬프트에 같은 인격으로 일관되게 답할 수도, 같은 프롬프트에 매번 다른 각도의 신선한 답을 줄 수도 있게 됩니다. 단지 "creative"와 "balanced" 같은 단순한 선택지가 아닌 것이죠. 본책의 큰 관심사 중 하나가, 바로 이 노브들의 효과가 어디에서 비롯되는지를 보이는 것에 있습니다.

"다음 토큰 하나" 단위로 생각해보면

LLM에 관한 이 책을 통틀어, 가장 강력하다고 본 사고 패턴은 이런 것입니다 — "모델이 한 번에 하나의 토큰을 내고 있다"는 사실을 늘 잊지 말 것.

긴 답변을 생성한다는 건, 모델이 천 번이 넘는 횟수에 걸쳐 매번 새로 — 그것도 그때까지 자기가 만든 출력 전부를 다시 한 번 입력으로 받으면서 — "다음 한 토큰"을 골라낸다는 뜻입니다. 모든 토큰은 직전까지 만들어진 모든 것에 좌우됩니다. 어딘가에서 자그마한 비틀거림이 생기면, 그게 출력 후반부에 끼치는 영향은 결코 작지 않습니다. 반대로, 한 번 좋은 방향으로 들어선 흐름은 그 다음의 모든 선택에 좋은 영향으로 누적되어 갑니다.

모든 문제는 다음 토큰 예측 문제다

장의 마무리에서는 가장 큰 의미를 짚어 두려고 합니다. 코드 작성, 시 쓰기, 수학 문제 풀이, 메모 요약, 멀티턴 대화 응답 — 모델이 다루는 어떤 과제든, 결국에는 같은 형태로 환원됩니다. 지금까지의 컨텍스트가 주어졌을 때, 가장 그럴듯한 다음 토큰은 무엇인가. 모델 입장에서 보면 그게 전부입니다. 그 단순한 틀 위에 이 모든 행동이 — 종종 놀라울 만큼 풍부하게 — 얹혀 있는 거죠.

이 사고 패턴이 손에 익으면, LLM과의 상호작용이 한층 다듬어집니다. 프롬프트도, 모델 선택도, 모델이 결국 어떤 일을 잘하고 어떤 일을 못하는지에 대한 감각도 함께요. 매번 직관의 도움을 받게 됩니다.

다음 회 — 제3장: 모델 안에서 텍스트는 어떻게 흐르는가. 내일은 토큰이 일단 모델에 들어간 이후의 이야기로 한 걸음 더 들어가 봅니다. 임베딩(토큰이 갖는 수치 표현), 어텐션(모델이 결정적으로 "어디를 볼지"를 정하는 방식), 그리고 이 모든 것이 어떻게 짜여 트랜스포머라는 아키텍처를 이루는지를, 가능한 한 부드럽게 풀어보려 합니다.