제10장 — 멀티모달: 텍스트를 넘어선 입력

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 열 번째 글입니다. 텍스트를 넘어, 이미지와 오디오가 같은 한 모델 안으로 들어오는 자리로 들어갑니다.

"같은 모델이 이미지도 본다"는 말의 의미

처음 멀티모달 모델을 마주하면, 자연스레 따라오는 질문이 있습니다. 같은 모델이, 어떻게 텍스트도 이미지도 오디오도 — 한 자리에서 — 다 다룰 수 있는가? 사실 답은 한 줄로 풀립니다. 모든 입력이 결국 "토큰의 열" — 같은 모양의 임베딩 — 으로 바뀌어 모델에 흘러들기 때문에.

제3장에서 본 그림이 다시 등장합니다. 모델 안에서 토큰은, 임베딩이라는 — 수백 차원의 숫자의 열로 — 바뀌어 흐릅니다. 그 임베딩이 어디서 출발했는지는, 모델 안에 들어온 다음부터는 큰 그림에 결정적인 영향을 주지 않습니다. 텍스트에서 만들어진 임베딩이든, 이미지에서 만들어진 임베딩이든, 모델은 같은 트랜스포머의 결로 그 임베딩들을 둘러보고 자기 답을 만들어냅니다.

이미지를 어떻게 "토큰화"하는가

이미지를 어떻게 토큰의 열로 바꾸는가. 가장 자리 잡은 길은 — 비전 트랜스포머(ViT)의 결로 — 이미지를 작은 정사각형의 패치들로 자르고, 각 패치를 하나의 토큰으로 다루는 방식입니다. 한 장의 이미지가 한 줌의 패치 토큰들로 바뀝니다. 그 패치들이 — 같은 어텐션 메커니즘 위에서 — 서로를 둘러보며, 이미지의 전체 모양을 모델이 받아들이게 됩니다.

이게 흥미로운 자리인 이유는 — 텍스트 토큰과 이미지 토큰이, 모델 안에서 같은 자리에 어울려 흐를 수 있다는 점입니다. 한 문장과 한 이미지가 한 컨텍스트에 같이 깔리면, 어텐션이 두 가지를 가로질러 자유롭게 줄을 그을 수 있게 됩니다.

오디오의 결

오디오도 비슷한 길을 따릅니다. 짧은 시간 단위로 잘린 오디오 조각이 임베딩으로 바뀌어 모델에 흘러듭니다. 큰 모양은 같습니다. 입력이 어디서 출발했든, 결국 같은 임베딩 공간으로 모아들이는 길.

이 메커니즘의 결과로, 한 모델이 — "이 사진에 적힌 단어를 읽어 주세요"라거나, "이 녹음의 톤이 어떤가요"라거나, "이 동영상의 흐름을 한 줄로 풀어 주세요"와 같은 — 다른 모양의 요청들을 — 한 자리에서 풀어낼 수 있게 됩니다.

멀티모달의 강함과 한계

멀티모달의 강함은 — 결의 자연스러운 통합 — 에 있습니다. 사용자가 이미지 한 장을 보여주면서 한 문장으로 질문을 하는, 그런 자연스러운 자리에서, 모델이 그 결을 함께 풀어내 줄 수 있습니다.

한편, 한계도 정직하게 짚어 둘 만합니다. 텍스트가 모델의 토대인 만큼, 텍스트 능력이 가장 깊습니다. 이미지는 큰 그림은 잘 잡아내지만, 세부 — 작은 글자, 미세한 위치 관계, 정밀한 수치 — 까지 늘 정확히 잡지는 못합니다. 오디오도 마찬가지로, 큰 흐름과 톤은 잡지만 미세한 결까지 정밀히 잡아내는 데에는 아직 한 칸 더 다듬어져야 할 자리가 남아 있습니다.

제10장의 한 줄

이 장이 손에 남기는 한 줄은 이렇습니다 — 멀티모달의 핵심은 "같은 임베딩 공간으로 다양한 입력을 모아들이는" 데에 있다. 이 한 줄이 손에 들어오면, 새로 등장하는 영상 모델이든 음성 모델이든 — 같은 그림 위에 — 어렵지 않게 얹어 놓을 수 있게 됩니다.

다음 회 — 제11장: 모델을 더 작게, 더 영리하게. 내일은 한 칸 더 깊은 결로 들어갑니다. 디스틸레이션, 양자화, MoE(혼합 전문가), 그리고 2026 에디션의 §11.6 — 추론 모델 — 의 큰 그림까지 함께.