제12장 — LLM 시스템을 짓는다는 것, 그리고 이 다음

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 마지막 글입니다. 한 권을 통틀어 본 결을 한 자리에 모으고, 다음 권으로의 다리를 놓습니다.

"모델"이 아니라 "시스템"으로 본다

본책의 처음부터 여기까지 — 11장에 걸쳐 — 모델 한 대 안에서 무엇이 어떻게 굴어가는지를 천천히 풀어 왔습니다. 마지막 장에서는 시선을 한 발 빼서, 한 자리에서 전체를 다시 봅니다. 실무에서 LLM은 — 모델 한 대로 — 굴러가지 않습니다. 모델은 한 시스템의 한 부품이고, 그 시스템 전체로서의 결이 — 사용자에게 — 닿습니다.

그 시스템에는 무엇이 들어가는가. 모델, 도구, RAG, 평가, 가드레일, 그리고 — 결의 운영의 자리에서 빠질 수 없는 — 모니터링과 인간의 결의 점검. 이 결들이 한 자리에서 어우러질 때, 비로소 "쓸 만한" LLM 시스템이 됩니다.

평가의 결 — 가장 자주 빠지는 부품

LLM 시스템을 짓는 자리에서 가장 자주 빠지는 결이 평가입니다. "이 모델이 우리 작업에 잘 굴어가는가"의 결을, 직관이 아니라 — 데이터의 결로 — 잡아 두는 일이요.

본책에서는 평가의 결을 — 단지 점수의 결로 — 짚지 않으려 합니다. 좋은 평가는, 첫째로 자기 작업의 결의 결을 정확히 그려낸 데이터셋의 결로 출발하고, 둘째로 그 결의 위에서 — 모델의 답을 자동으로 채점하는 결과 사람이 한 번 더 검수하는 결이 — 어우러져 굴어갑니다. 그리고 셋째로, 그 결의 결과가 — 매번 모델을 바꿀 때마다 — 새로 굴러가야 합니다. 결의 한 자리에 — 평가의 결의 결의 한 자리가 — 함께 자리 잡아야, 시스템의 결이 길게 든든해집니다.

가드레일의 결 — 모델 밖의 결로 보완하는 길

가드레일은 — 모델이 결의 한 자리에서 — 어긋날 때, 그 어긋남을 모델 밖의 결로 잡아주는 길입니다. 모델이 자기의 결에서 풀어내야 할 결과, 시스템이 모델 밖에서 잡아줘야 할 결이 — 어디서 갈리는지의 결을 — 손에 익혀 두는 일이, 운영의 결의 한 자리입니다.

가드레일의 결은 단지 "유해 콘텐츠를 거르는 일"이 전부가 아닙니다. 모델이 사용자의 결에서 — 받아들이면 안 될 결의 입력을 — 정직하게 거절하는 결도, 모델이 자기의 결의 결을 — 사용자에게 명료하게 — 보여주는 결도, 모델이 잘 모르는 자리에서 — "잘 모르겠다"고 — 말해주는 결도, 모두 가드레일의 결의 한 자리입니다.

다섯 가지 결의 운영 패턴

본책 마지막 장에서 한 자리에 모아 풀어내는 결은 — 운영의 자리에서 가장 자주 마주치는 — 다섯 가지의 패턴입니다.

한 번 호출의 결, 한 줄의 RAG의 결, 도구를 곁들인 결, 한 단계의 에이전트의 결, 그리고 — 마지막으로 — 여러 결의 모델을 한 자리에서 굴리는 결. 어떤 결의 작업에는 어떤 결의 패턴이 가장 잘 어울리는지의 결을 — 한 자리에 정리해 — 손에 익혀 두면, 새 결의 작업을 마주쳤을 때 — 어디서부터 — 짚어 가야 할지가 또렷해집니다.

이 책이 LLM Primer 시리즈의 1권인 이유

본책은 LLM Primer 시리즈의 1권입니다. 1권에서는 — 한 모델이 어떻게 굴어가고, 그 결을 어떻게 시스템의 결로 엮어 가는지의 — 토대를 짚어 두었습니다. 그 위에 — 한 권씩 — 더 깊은 결의 자리가 놓일 예정입니다.

다음 권부터는 — 산업의 결의 한 자리한 자리를 — 정성껏 들어갑니다. RAG의 결을 한 권 통째로, 에이전트의 결을 한 권 통째로, 평가와 운영의 결을 한 권 통째로 — 그렇게 한 결씩, 다듬어 갑니다. 1권이 손에 들어와 있으면, 그 다음의 모든 권이 — 같은 결의 토대 위에서 — 한 걸음씩 더 깊은 결로 — 함께 굴러가게 됩니다.

마지막의 한 줄

한 권을 통틀어, 본책이 가장 전하고 싶었던 결은 이 한 줄입니다 — LLM은 신비로운 결의 무엇이 아니다. 한 결의 단순한 메커니즘 — 다음 토큰의 예측 — 의 위에, 한 단계씩 결을 얹어 가는, 한 결의 공학이다. 그 결의 한 단계씩을 — 자기 언어로 — 풀어낼 수 있게 되면, 새로 등장하는 어떤 결의 모델이든 — 어렵지 않게 — 자기 결로 받아들일 수 있게 됩니다.

여기까지 함께 와 주셔서, 정말 고맙습니다. 다음 권에서 — 또 만나 뵙겠습니다.

LLM Primer 시리즈 1권을 끝까지 함께 읽어 주신 분께, 한 번 더 — 감사의 결을 — 드립니다.