제3장 — 모델 안에서 텍스트는 어떻게 흐르는가

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 세 번째 글입니다. 본책에서도 가장 사랑받는 장 중 하나 — 토큰이 모델 안으로 들어간 뒤, 거기서 어떤 일을 겪는지를 본격적으로 들여다봅니다.

"단어"가 "벡터"가 된다는 것의 의미

여기서부터가 정말 흥미로워지는 지점입니다. 토큰이라는 게, 모델 안으로 들어간 그 순간부터는 더 이상 글자가 아니게 됩니다. 각 토큰이, 임베딩이라 불리는 — 수백 차원에 이르는 — 숫자의 열로 바뀌어 흐르기 시작합니다.

왜 굳이? 이 숫자의 열이 토큰의 "의미"를 — 적어도 모델이 인식할 만한 수준의 의미를 — 담아두기 때문입니다. 이 공간 위에서 "king"과 "queen"은 가까운 자리에 놓이고, "Paris"와 "France"는 또 다른 가까운 자리에 놓입니다. 한 토큰의 임베딩에 단지 짧은 문자열보다 훨씬 풍부한 정보가 — 보통 같이 쓰이는 단어가 무엇인지, 어떤 문맥에서 등장하는지, 어떤 다른 단어와 비슷하게 굴어가는지 — 함께 담겨 있습니다.

제3장에서는 임베딩이 어떻게 만들어지는지, 그리고 무엇보다 — 이 점이 늘 신선합니다 — 그것이 그저 정적인 사전이 아니라 학습되는 표현이라는 것을, 가능한 한 또렷이 짚어 봅니다.

어텐션 — 모든 것을 바꿔놓은 그 한 수

임베딩 다음에 등장하는 것이, 이 분야 전체의 모습을 바꿔놓은 메커니즘입니다. 어텐션 — 자기 자신의 컨텍스트에 주의를 기울이는, 셀프 어텐션 — 이라는 발상이죠.

핵심을 한 줄로 풀면 이렇습니다. 모델이 한 토큰을 어떻게 다룰지 결정할 때, 같은 시퀀스 안의 다른 모든 토큰을 한 번씩 둘러보면서 "지금 이 토큰을 이해하기 위해 어느 토큰에 얼마나 의지해야 하는가"를 정한다, 라는 발상입니다. 한 번에 단어를 하나씩 차례대로 읽어 나가는 옛 시대의 모델과 달리, 어텐션을 갖춘 모델은 한 번의 단계에서 어떤 토큰이든 다른 어떤 토큰과도 연결 지을 수 있습니다.

왜 큰 의미를 갖는가. "그가 정원에 들어섰을 때, 그건 이미 텅 비어 있었다"라는 문장을 떠올려 봅시다. "그건"이 가리키는 게 "그"인지 "정원"인지 — 이 질문에 답하려면, 모델은 시퀀스를 가로질러 토큰 사이를 잇는 줄을 그릴 수 있어야 합니다. 어텐션이 그 줄을 가능하게 해줍니다.

본책에서는 이 메커니즘을, 행렬의 무더기 속에 묻혀버리지 않도록 도해와 함께 풀어 놓았습니다. 이 마음 그림이 한 번 들어오면, 그 뒤로 마주치는 LLM 동작의 거의 모든 것이 거기에 비추어 설명 가능해집니다.

트랜스포머 — 같은 블록을, 64층으로 쌓는다

"어텐션이 이렇게 강력하다면, 그걸 그냥 쌓아 올리면 어떤 일이 벌어질까?" 트랜스포머 아키텍처는 정확히 그 답입니다. 어텐션과, 그것에 따라붙는 "위치별 변환(피드포워드 층)"을 한 블록으로 묶고, 그 블록을 — 적게는 12층, 많게는 100층 넘게 — 차곡차곡 쌓아 올립니다.

각 층이 토큰의 표현을 조금씩 다듬어, 한 층씩 더 추상적이고 더 맥락에 통합된 모습으로 변신시켜 갑니다. 본책에 자주 등장하는 비유로 풀면 — 표면적인 글자 차원에서 출발해, 문법 차원의 이해로, 의미 차원의 이해로, 그리고 이 모든 것을 묶은 "다음에 가장 그럴듯한 토큰은 무엇인가"라는 최종 단계까지 — 한 층씩 정련해 가는 일에 가깝습니다.

이 비유의 옷을 입혀 놓으니 비로소 — 한 가지 단순한 패턴이 왜 60층 이상 쌓이는 것만으로도 그 정도의 행동의 풍부함을 만들어낼 수 있는지가 — 어느 정도 그려지기 시작합니다.

저자가 가장 두근거리는 단락

본책의 글을 쓰는 동안, 가장 두근거리며 손이 움직였던 단락 중 하나가 이 장에 있습니다. 트랜스포머 안에서 정보가 어떻게 흘러가는지를 풀어 놓은 부분입니다.

입력 토큰의 임베딩으로 시작해, 어텐션 층을 한 단계씩 통과해 나가면서 표현이 어떻게 점차 더 풍부해지는지 — 어떻게 한 토큰의 표현이, 그 시퀀스 전체의 컨텍스트를 흡수해 들어가는지 — 가, 한 페이지에 깔끔히 그려져 있습니다. 다이어그램과 안내 문장이 어우러져, 이 흐름을 한 번이라도 본 뒤로는 LLM에 대한 직관이 한 칸 더 깊어진다는 후기를 자주 받습니다.

이 장에서 받아 둘 만한 그림 — 짧게 한 줄로 — 은 이런 것입니다. 트랜스포머는 토큰들이 자기 이웃을 둘러보고, 그 정보를 자기 안에 흡수하고, 살짝 더 똑똑해진 모습으로 다음 층으로 넘겨주는 — 그런 흐름이 한 층씩 정련되어 가는 구조다.

여기까지 따라왔다면 충분히 잘 가고 있다

제3장을 마치면, 본책의 가장 기술적인 산을 한 자리 넘은 것이 됩니다. 임베딩 / 어텐션 / 층층이 쌓인 트랜스포머. 모델 내부에 발을 들여놓고 무엇이 어떻게 흘러가는지를 직접 본 셈입니다. 이 그림이 자리 잡으면, 그 다음 장부터의 모든 이야기 — 학습, 파인튜닝, RAG, 에이전트, 추론 모델 — 가 같은 토대 위에 또박또박 놓이게 됩니다.

다음 회 — 제4장: 모델은 어떻게 학습되는가. 내일은 한 발 물러서서, 이 모든 가중치가 애초에 어떻게 학습된 것인지로 들어갑니다. 사전학습 vs 파인튜닝, 그리고 RLHF가 학습된 모델을 "도우미"로 바꾸는 과정. 이 흐름의 마지막 한 단계가 바로 우리가 매일 쓰는 챗 모델의 인격을 만들어냅니다.