제7장 — 모델을 더 영리하게 쓰는 방식: 프롬프트 엔지니어링

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 일곱 번째 글입니다. 본책에서 가장 실용적인 장 — 프롬프트 한 번에 같은 모델을 두 배쯤 영리하게 만드는, 그 갈래들 — 으로 들어갑니다.

프롬프트가 그저 "질문"이 아닌 이유

"프롬프트 엔지니어링"이라는 이름이 약간 과하게 들릴 때가 있습니다. 단지 질문을 영리하게 다듬는 일이 아닌가, 라고요. 그러나 본책의 시각에서는 — 그 프롬프트 한 줄이 모델 전체의 "다음 토큰 예측의 컨텍스트"를 결정하는 자리이기 때문에 — 결코 가벼운 일이 아닙니다.

모델은 매번 자기 컨텍스트에 들어와 있는 토큰 전부를 한 번 둘러보고 — 그 위에서 — 다음 토큰을 길어 올립니다. 프롬프트가 그 컨텍스트의 핵심 부분이고, 그러니까 프롬프트의 모든 결이 — 톤이든, 구조든, 예시든, 역할이든 — 그 다음에 이어질 모든 토큰의 결을 한 번에 옮겨놓습니다.

이 시각에서 보면 프롬프트 엔지니어링은 — 모델의 "원시 능력"을 끌어내는 한 길이고, 같은 모델을 매우 다른 결로 굴어가게 만드는 가장 저렴한 길이기도 합니다.

네 가지 큰 갈래

제7장에서는 본책이 실무에서 가장 큰 효과를 본 네 가지 갈래를 골라, 한 갈래씩 풀어 봅니다.

시스템 프롬프트. 모델에게 "어떤 결로 굴어달라"는 결의 큰 토대를 처음에 한 번 깔아 두는 자리입니다. 그 뒤의 모든 토큰이, 이 결 안에서 길어 올려집니다. 시스템 프롬프트의 한두 줄을 다듬는 일이 — 같은 모델에 같은 사용자 메시지가 들어와도 — 매우 다른 답을 만들어낼 수 있는 것이, 그래서입니다.

퓨샷(Few-shot) 예시. 모델에게 우리가 원하는 결의 답을 — 두세 개의 예시로 — 컨텍스트 안에 보여주는 길입니다. 모델이 그 예시들을 "주변 분포"로 받아들이고, 자기 답을 그 분포에 맞춰 길어 올리게 됩니다. 한 줄의 추상적인 지시보다, 두 개의 구체적인 예시가 — 모델의 결을 잡는 데에는 — 종종 훨씬 강합니다.

사고의 사슬(Chain of Thought). 모델에게 "결론만 말하지 말고, 한 단계씩 풀어 가면서 답해 줘"라고 부탁하는 길입니다. 단순한 부탁이지만 — 다음 토큰 예측의 메커니즘 안에서 — 매우 큰 효과를 만들어냅니다. 모델이 자기 컨텍스트에 자기 추론의 중간 단계를 직접 써 내려가게 되고, 그 단계들이 다시 자기 자신의 다음 답의 컨텍스트가 되기 때문입니다.

역할 설정. 모델에게 "당신은 시니어 백엔드 엔지니어입니다"와 같은 한 줄의 페르소나를 깔아 주는 길입니다. 단지 어조의 결이 바뀌는 것이 아니라 — 그 페르소나가 사전학습 분포 안에서 가져오는 결 자체가 답에 흘러들기 때문에 — 답의 결이 훨씬 깊어집니다.

왜 이 갈래들이 통하는가

이 갈래들이 효과를 내는 메커니즘을, 본책에서는 한 자리에 묶어 풀어 봅니다. 결국에는 같은 한 줄의 이유 — 모델은 자기 컨텍스트의 결을 흡수해 그 결 위에서 다음 토큰을 길어 올린다 — 로 모입니다. 시스템 프롬프트는 컨텍스트의 큰 골조를 잡고, 퓨샷 예시는 분포의 결을 좁히고, 사고의 사슬은 모델 자신이 자기 컨텍스트를 확장하게 해주고, 역할 설정은 사전학습 분포에서 그 페르소나의 결을 끌어옵니다.

이 한 줄을 손에 익히면, 새 프롬프트 패턴을 마주쳤을 때 그게 왜 통할지(혹은 왜 통하지 않을지)를 — 자기 언어로 — 가늠할 수 있게 됩니다. 만들어진 패턴을 그대로 따라 하는 길 너머에, 자기의 결로 패턴을 만들어내는 자리가 열리게 됩니다.

해도 좋은 약속, 안 해도 좋은 약속

장의 후반부에서는 "이건 효과가 있다"와 "이건 효과가 과대평가되어 있다" 사이의 결을 정직하게 짚어 봅니다. 모든 프롬프트 패턴이 동등하게 강하지 않습니다. 어떤 패턴은 정말로 모델의 능력을 한 칸 끌어올리지만, 다른 패턴은 — 약간 화려한 만큼 — 실제 효과는 미미할 수 있습니다.

이 결의 차이를 알아두면, 자기 시간을 — 정말로 효과를 내는 결을 다듬는 자리에 — 더 잘 쓸 수 있게 됩니다.

제7장의 한 줄

이 장이 손에 남기는 한 줄은 이렇습니다 — 같은 모델이라도 컨텍스트의 결에 따라 매우 다른 모습이 된다. 그리고 그 결을 손에 익히는 일이, 모델을 길게 잘 쓰는 가장 저렴한 길이다. 비싸기 위해 다른 모델로 옮기기 전에 — 같은 모델을 다른 결로 굴어가게 해 보는 일에 — 손을 한 번 대 볼 만합니다.

다음 회 — 제8장: 모델 한 대로는 부족할 때 — 도구 사용과 에이전트. 내일은 모델을 모델 바깥의 결로 확장하는 자리로 들어갑니다. 도구 호출, 함수 호출, 그리고 에이전트의 패턴 — 그리고 2026 에디션에서 새로 더한 §8.6 에이전트 패턴까지 함께.