제1장 — 대규모 언어 모델이란 무엇인가

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 첫 번째 글입니다. 이 책은 "현대의 생성 AI를 메커니즘에서부터 이해한다"는 방침으로 썼습니다. 앞으로 12회에 걸쳐 각 장을 소개하고, 내용을 정리하기 위한 프레임워크를 함께 공유하며, 왜 그런 구성으로 썼는지도 풀어나가려 합니다.

쉬워 보이지만, 정말로는 그렇지 않은 질문

"대규모 언어 모델이 뭔가요?"라는 질문을 백 명에게 던지면 백 가지 답이 돌아옵니다. 그리고 그 대부분은 어딘가가 미묘하게 어긋나 있죠. "AI지?" "챗봇이잖아." "말을 받아주는 검색 엔진." "어젯밤 우리 보고서를 써준 그거." — 어느 답도 완전히 틀린 건 아니지만, 모두 "LLM이 무엇을 하는가"에 대한 설명일 뿐, "LLM이 무엇인가"에 대한 답은 아닙니다.

제1장에서 다루는 건 후자입니다. 입문서 대부분이 슬쩍 지나가고, 마케팅 문서가 의도적으로 흐려놓는 바로 그 질문. 이 지점을 정확히 짚어두지 않으면, LLM에 관한 다른 모든 주장을 평가하는 일이 단숨에 어려워지기 때문입니다.

세 단어를, 진지하게 분해해 본다

본책은 먼저 "LLM"이라는 약어를 한 글자씩 차근히 풀어 봅니다. 줄임말로 굴러다니는 사이, 각 단어가 짊어진 무게가 어느샌가 보이지 않게 되기 때문입니다.

Large(대규모)는 물리적으로 크다는 뜻이 아닙니다. 시스템 내부에 수십억 단위의 수치 설정 — 파라미터 — 가 있고, 그것들이 학습 과정에서 조정되어 왔다는 의미입니다. 동시에 그 학습에 투입된 텍스트의 양과 연산 자원도 보통의 규모가 아니라는 뜻이기도 합니다. 그리고 이 세 가지 숫자 — 파라미터, 데이터, 연산량 — 는 따로따로 늘려서는 효과가 나지 않습니다. 셋이 함께 자라야 비로소 모델이 정말로 똑똑해진다. 어느 하나만 두 배로 늘려서는, 대개 김이 빠지는 결과로 끝납니다.

Language(언어)는 말 그대로 보이지만, 여기서는 독특한 의미를 띱니다. 모델은 사람과 같은 방식으로 문법이나 의미를 이해하는 것이 아닙니다. 모델이 다루는 건 "토큰"이라 불리는, 단어보다 더 작은 단위의 열입니다. 모델의 시선에서 보면, 모든 프롬프트는 결국 숫자의 열이고, 답변도 "다음 숫자, 그 다음 숫자, 또 그 다음 숫자……"의 연속에 지나지 않습니다.

Model(모델)은 셋 중에서 가장 오해받기 쉬운 단어입니다. 여기서 말하는 모델은 사실을 끌어다 쓰는 데이터베이스가 아니고, 무언가를 "알고 있는" 사람도 아닙니다. 학습이 끝난 수학적 함수, 말하자면 패턴 인식기로서, 주어진 텍스트의 "있을 법한 이어짐"을 만들어내는 장치입니다. 모델이 "프랑스의 수도"를 알고 있는 것처럼 보일 때, 그건 어디서 검색을 하고 있는 게 아닙니다. 프롬프트의 나머지 맥락을 두고 보았을 때 "Paris"가 가장 확률 높은 다음 토큰이라서, "Paris"를 내놓는 것뿐입니다.

이 구분은 만만하지 않습니다. LLM이 환각을 일으키는 이유, 자신만만하게 틀리는 이유, 유창한 문장을 잘 짓는 것에 비해 사실에 대해서는 끝까지 미덥지 못한 이유 — 전부 여기에 가닿습니다. 본책에서는 이 구분으로 거듭 돌아옵니다. 어떤 LLM이 어떤 상황에서 어떻게 굴어갈지를 가늠하는 데, 가장 쓸 만한 렌즈라고 봤기 때문입니다.

여기까지 오게 된 과정, 한 단락으로

제1장에서는 언어 모델링이 실제로 어떻게 진화해 왔는지도 짚습니다. 현대의 LLM은 수십 년에 걸친 흐름의 가장 최근 한 장면이기 때문입니다. 오랫동안 컴퓨터는 사람이 직접 적어둔 문법 규칙에 기대거나, 책 속에서 특정 단어 짝이 얼마나 자주 등장하는지를 세는 방식으로 언어를 다뤄 왔습니다. 두 길 모두 어느 지점에서 막혀버렸습니다. 돌파구가 된 건, 규칙을 가르치는 대신 막대한 양의 텍스트에서 패턴 그 자체를 학습시키자는 발상이었죠. LLM의 뿌리에 놓인 생각은, 세상이 짐작하는 것보다 한참 오래됐습니다. 새로운 건 그 생각이 지금 굴러가고 있는 "스케일"입니다.

모든 것을 바꾼 결정적인 아키텍처 한 수는, 제3장과 제4장에 아껴둡니다. 다만 이 한마디만 미리 적어두고 싶습니다. "단어 빈도를 끌어오기"에서 "패턴을 학습하기"로 옮겨간 그 전환 — 자연어 처리의 역사에서 가장 큰 분기점입니다. 여기를 짚어 두면, 이후의 전개가 한결 매끄럽게 이어집니다.

진지하게 반박해 둘 만한, 세 가지 오해

장의 마무리에서는 LLM의 행동에 관해 세상에 끈질기게 남아 있는 세 가지 오해를 정색하고 짚습니다. 왜 정색이냐 하면, 어느 것이든 믿어버리면 "LLM을 어디까지 신뢰해도 되는지"의 감각이 어그러지기 때문입니다.

첫째, LLM이 사람과 같은 방식으로 이해하고 있다는 오해. 아닙니다. 이해하고 있는 듯한 출력이 나오는 건, 정말로 이해하고 있는 사람이 쓴 텍스트를 학습했기 때문입니다. 둘째, LLM이 사실의 데이터베이스라는 오해. 아닙니다. 사실은 수십억 개의 가중치 사이 곳곳에 분산되어 박혀 있고, 그러니까 모델은 "그럴듯한데 틀린" 발언을 태연하게 만들어낼 수 있는 겁니다. 셋째, 더 큰 모델은 반드시 더 똑똑하다는 오해. 아닙니다. 스케일은 데이터 품질, 학습 목표, 아키텍처와 얽혀 있어서, 손에 들어오는 가장 큰 모델이 항상 정답이 되는 건 아닙니다. 그렇게 단순한 이야기가 아닌 거죠.

제1장이 남겨주는 것

장이 끝날 즈음이면, LLM이 무엇이고 무엇이 아닌지를 스스로의 언어로 정리할 수 있게 됩니다. 분야가 여기까지 흘러온 경위에 대한 시야도, 흔한 오해에 대한 분별도 함께 얻게 되고요. 한 장의 수확치고는 꽤 묵직하고, 이것이 그대로 책을 끝까지 읽어 나가기 위한 발판이 됩니다.

제1장만 읽고 거기서 멈춘다고 하더라도, 헤드라인보다 훨씬 정확하게 LLM을 이야기할 수 있게 되어 있을 겁니다. 그것만으로도 책값은 한다고, 저자로서 생각하고 있습니다.

다음 회 — 제2장: 확률, 토큰, 그리고 텍스트. 내일은 "토큰"이라는 게 실제로 무엇인지, 모델이 본질적으로 "확률 기계"인 이유는 무엇인지, 그리고 모델이 정말로 하고 있는 그 한 가지 — 다음 토큰 예측 — 가 어떻게 그렇게 다양한 출력을 만들어내는지를, 한 단계씩 풀어보겠습니다.