제1장 — AI 엔지니어링이라는 학문

LLM Primer V: 실전 LLM 애플리케이션 구축을 챕터별로 따라가는 워크스루의 첫 글입니다. 데모는 잘 돌아가고 프로덕션 시스템은 그렇지 않은 이유가 모델 문제가 아니라 엔지니어링 문제이며, 그 엔지니어링에는 이름이 있음을 말하는 장입니다.

이 장이 존재하는 이유

LLM 기능을 출시해 본 팀은 모두 같은 격차를 발견합니다. 데모는 팀이 고른 스무 개 입력에서는 잘 돌아가고, 프로덕션 시스템은 그가 한 번도 보지 못하는 이만 개 입력에서 나쁘게 돌아갑니다. 모델이 나빠진 것은 아닙니다. 팀이 그럴싸한 단발성 출력이 성공으로 인정되는 영역에서 걸어 나와, 부하와 분포 편이, 적대적 입력, 그리고 불만 지표에 관대하지 않은 유료 고객이 있는 영역으로 들어간 것입니다. 제1장은 그 영역을 명명하고 하나의 학문을 부여합니다. AI 엔지니어링은 모델을 학습시키는 과학이 아니고, 영리한 프롬프트를 쓰는 기예도 아닙니다. 확률적 코어 주위에서 결정적 시스템 동작을 짓는 엔지니어링입니다. 이 책의 나머지는 그 학문이 사는 표면들을 하나씩 걷는 것이고, 이 장은 그 틀입니다.

1.1 데모와 프로덕션 사이의 신뢰성 격차

데모와 프로덕션 시스템은 아키텍처 다이어그램 위에서는 똑같이 생겼습니다. 둘은 부하, 꼬리 입력 분포, 지연 예산, 비용 압력, 그리고 실패 모드에서 다릅니다. 지배적인 차이는 통계적입니다. 데모는 고른 몇십 개 입력을 돌리고, 프로덕션 시스템은 긴 꼬리 — 이상하게 쓰인 질의, 절반은 다른 언어인 질의, 컨텍스트가 빠진 질의, 의도적으로 적대적인 질의 — 를 상대로 수백만 개를 돌립니다. 신뢰성은 평균이 아니라 꼬리에 관한 질문입니다. 그 위에 얹혀서, 모델 자체가 비결정적이며 — 샘플링, 공급자 쪽 부하 분산, 조용한 모델 업데이트가 층층이 쌓이며 — 그 실패는 조용합니다. 잘못된 답이 깔끔하게 파싱되고, 팀이 써 둔 모든 타입 검사를 통과하며, 알림 없이 사용자에게 도달합니다. HTTP 200을 세는 고전적 관측성은 이 실패 모드를 볼 수 없습니다. 팀의 첫 움직임은, 반복 가능성·정확성·비용이 고전 스택에서 물려받는 가정이 아니라 지어내야 하는 엔지니어링 속성이라는 사실을 인정하는 것입니다.

1.2 확률적 코어 주위를 감싸는 결정적 래퍼

이에 대한 아키텍처적 응답은 모델을 확률적으로 놔두고 그 주위를 고전적 소프트웨어로 감싸는 것입니다. 래퍼는 입력의 모양, 출력의 모양, 검증, 재시도, 폴백, 캐싱, 관측성, 그리고 비용 회계를 소유합니다. 바깥에서 보면 결정적 함수로 보입니다 — 요청이 들어오고, 검증된 응답이 나갑니다. 안에서는 타임아웃, 스키마, 그리고 모델이 쓰레기를 반환하는 경우를 위한 복구 계획과 함께 호출되는 확률적 구성 요소가 들어 있습니다. 래퍼에는 네 개의 밴드가 있습니다. 입력 검증, 프롬프트 준비, 계약하의 실행, 그리고 복구와 방출. 이 네 밴드를 모두 통과한 뒤에야 응답은 래퍼의 공식 출력이 됩니다. 되풀이되는 유혹은 로직을 다시 모델 안으로 밀어 넣는 것 — 「모델이 자기 답을 스스로 검사하게 하자」 — 이고, 그 방향으로의 모든 걸음은 테스트 가능성에서 한 걸음 멀어지는 걸음입니다. 규율은 확률적 코어를 작고, 잘 정의되고, 봉쇄된 상태로 유지하는 것, 그리고 시스템 동작 중 가능한 많은 부분을 팀이 버전 관리하고 추론할 수 있는 결정적 코드 안에 남겨 두는 것입니다.

1.3 다섯 기둥: 신뢰성, 품질, 성능, 비용, 진화

제1장은 모든 프로덕션 시스템에서 되풀이되는 다섯 가지 엔지니어링 자세를 걸어갑니다. 신뢰성은 이중화에서 옵니다. 지수 백오프를 곁들인 재시도, 저렴한 1차에서 더 강한 2차, 다시 규칙 기반 기본값으로 이어지는 폴백 체인, 다중 공급자 추상화, 그리고 힘겨워하는 공급자가 연쇄적으로 무너지지 않도록 잡아 주는 서킷 브레이커. 품질은 두 층의 검증에서 옵니다. 스키마 검증은 모양 오류를 잡고, 콘텐츠 검증 — 근거 검사, 신뢰도 하한, 가드레일 검사 — 은 스키마를 통과하는 의미론적 오류를 잡습니다. 성능은 세 층의 캐싱에서 옵니다. 완전 일치, 의미론적, 그리고 프롬프트 프리픽스. 비용 제어는 측정과 귀속에서 오며, 트래픽을 충분한 가장 작은 모델로 라우팅하고, 에이전트 루프가 조용히 천 달러를 쓰지 못하도록 사용자별·요청별 예산을 세우고, 프롬프트 경제성을 챙기는 데서 옵니다. 진화는 다섯 개의 피드백 루프 — 로깅, 평가, 트레이싱, 사람 피드백, 그리고 카나리 배포 — 를 이어 붙인 회로에서 오며, 프로덕션 트레이스가 평가 케이스가 되고, 평가 회귀가 배포를 막고, 시스템이 달을 거듭할수록 나아지는 그 회로입니다.

제1장이 준비하는 것

이 책의 나머지는 그 래퍼입니다, 한 층씩. 제2장은 모델 호출 자체의 안으로 들어갑니다 — 모델 티어링, 샘플링 파라미터, 방어적 프롬프트, 그리고 구조화 출력. 제3장은 바깥으로 확장해 검색에 이르러, 모델이 추론할 만한 올바른 컨텍스트를 갖게 합니다. 제4장은 그 래퍼를 도구를 호출할 수 있는 에이전트로 바꿉니다. 제5장과 제6장은 평가와 관측성 레일을 얹습니다. 제7장과 제8장은 보안과 서빙 경제학으로 닫습니다. 제1장의 프레이밍은 이후 각 장을 읽히게 만드는 것입니다. 모든 기법은 래퍼를 더 조이는 방식이거나, 그 안의 확률적 코어를 감싸기 더 쉽게 만드는 방식이거나 둘 중 하나입니다.

다음 → 제2장: 파운데이션 모델과 프롬프트 엔지니어링. 래퍼 안쪽의 층 — 모델 선택, 샘플링, 프롬프트, 구조화 출력 — 을 예술이 아니라 엔지니어링 표면으로 다루기.