제11장 — 지속적 업데이트와 파이프라인 최적화

LLM Primer III: RAG로 강화하는 엔터프라이즈 AI를 챕터별로 소개하는 시리즈의 열한 번째이자 마지막 글입니다. 파이프라인은 끝나지 않습니다 — 문서가 바뀌고, 쿼리가 옮겨 가며, 모델이 교체됩니다 — 그리고 그것을 소유한 팀은 세 시간 척도를 한꺼번에 생각하는 법을 배웁니다.

이 장이 존재하는 이유

RAG 시스템은 출하될 때 끝나지 않습니다. 문서가 바뀌고, 쿼리가 드리프트하며, 모델 자체가 몇 달마다 교체됩니다. 3월에 팀이 자랑스러워하던 파이프라인이 9월에는 두 세대 전 모델이 만든 묵은 임베딩에 대해 검색하고, 조용히 교체된 베이스 모델을 서비스하며, 누구도 도표화하지 않은 방식으로 드리프트한 질문 분포에 답합니다. 이 장은 현행을 유지하는 엔지니어링에 관한 글입니다 — 코퍼스에서 무엇이 바뀌었는지 탐지하고, 재구축 없이 인덱스를 신선하게 유지하고, 지연이 슬금슬금 늘지 않게 하고, 프로덕션 텔레메트리와 팀이 실제로 가하는 변경 사이의 루프를 닫는 일.

11.1 Change Data Capture와 증분 인덱싱

RAG 시스템을 출하한 모든 팀의 첫 본능은 인덱스의 야간 재구축을 잡는 것입니다. 통합니다. 또한 장기적으로는 그릇된 답입니다. 야간 재구축은 바뀌지 않은 문서에 임베딩 API 호출을 태우고, 인덱스를 최대 24시간 묵게 두고, 코퍼스가 자라면 야간 윈도우 안에 더 이상 들어가지 않습니다. 성숙한 패턴은 Change Data Capture가 이끄는 증분 인덱싱입니다 — 파이프라인이 폴링하지 않고 상류 이벤트에 반응합니다.

세 종류의 이벤트가 중요합니다. 삽입(Insert): 새 문서를 파싱, 청킹, 임베딩, 인덱싱. 업데이트(Update): 기존 문서가 바뀜. 영향 받은 청크를 재임베딩. 삭제(Delete): 문서 제거. 결과에 돌아오기 전에 해당 벡터를 축출 — GDPR, CCPA 등의 하드 요구입니다. 이를 다룰 만한 것으로 만들어 주는 메커니즘은 콘텐츠 해시입니다. 첫 수집 시 정규화된 청크 텍스트의 SHA-256을 임베딩과 함께 저장합니다. 업데이트 시 재청킹, 해싱, 비교: 바뀌지 않은 청크는 남고, 새 청크는 임베딩되며, 옛 청크는 사라집니다. 한 단락 편집이 천 번이 아니라 한 번의 임베딩 호출이 됩니다. 임베딩 청구는 코퍼스가 아니라 편집 활동에 비례해 커집니다.

더 어려운 문제는 순서와 일관성입니다. 이벤트는 순서 어긋나게 도착합니다. 삭제가 따라야 했던 업데이트보다 앞서 달릴 수 있습니다. 표준 처방은 문서별 단조 버전과 조건부 쓰기입니다: 이벤트가 파일의 버전을 초과할 때만 적용. 이로써 파이프라인은 멱등이 됩니다 — 중복 이벤트가 인덱스를 오염시킬 수 없습니다 — 이는 최적화가 아니라 규모에서의 정확성 요구입니다. 컴플라이언스 맥락은 톰스톤을 더합니다: 물리 제거가 비동기로 완료되기 전에 쿼리 시점에 효력을 갖는 논리 삭제, 그래서 삭제가 즉시 존중됩니다.

11.2 지연 관리: 의미 캐싱과 모델 티어링

검색 증강 호출은 매 홉마다 지연을 쌓습니다. 방어는, 작업이 명백히 불필요할 때 작업을 덜 하는 것이고, 두 기법이 그 무게의 대부분을 짊어집니다. 종래의 캐시는 답을 정확한 쿼리 텍스트로 키 매겨 저장하고, 실 트래픽의 사라지는 비율에만 히트합니다. 의미 캐싱은 의미로 키 매깁니다: 들어오는 쿼리를 임베드하고, 최근 쿼리의 작은 캐시에서 검색하며, 가장 가까운 항목과의 코사인 유사도가 임계를 넘으면 캐시된 답을 돌려줍니다. 「우리 환불 정책이 무엇입니까?」와 「환불은 어떻게 됩니까?」는 어느 문자열도 공유하지 않지만 전체 답을 공유합니다.

중요한 세 선택은 유사도 임계(일반 임베딩에 대해 코사인 0.93~0.97, 보류 트래픽에 대해 튜닝), TTL(이상적으로는 기여 청크에 묶어 — 그중 하나가 재임베딩되면 무효화), 그리고 범위(테넌트별, 접근 역할별, 한 사용자의 답이 다른 사용자에게 누수될 수 있는 무엇에든 분할)입니다. 프로덕션 배치는 30~60% 히트율과, 히트에서 수십 밀리초 대 비캐시에서 수 초의 응답을 보고합니다. 캐시 히트는 임베딩과 생성을 모두 건너뛰므로 비례하는 비용 절감도 따라옵니다.

모델 티어링은 모델을 반드시 써야 하지만 가장 큰 것을 쓸 필요는 없는 쿼리를 다룹니다. 두세 티어: 대부분을 위한 작고 빠르고 값싼 모델, 작은 모델이 확신하지 못하는 쿼리를 위한 더 큰 것, 선택적으로 롱테일을 위한 세 번째. 라우터는 프로덕션 배치가 첫 패스에서 이를 틀리는 자리입니다. 가장 단순한 버전은 쿼리 측 신호(짧은 사실 조회 대 분석)를 씁니다. 더 나은 버전은 검색 측 신호(높고 일관된 유사도는 작은 모델로 충분함을 뜻함)를 씁니다. 가장 정교한 것은 작은 모델을 먼저 돌리고 보정된 신뢰도에 따라 에스컬레이션합니다 — 마진에서 정확하며, 에스컬레이션에 대한 추가 추론 비용을 치릅니다. 함께 봐야 할 숫자는 에스컬레이션률과 후회율입니다. 어느 하나만으로는 오인합니다.

11.3 지속적 피드백 루프

RAG 파이프라인은 끊임없는 텔레메트리를 내보냅니다. 대부분의 팀이 그것을 수집합니다. 그 위에서 루프를 닫는 팀은 매우 적습니다. 루프는 네 단계입니다. 수집: 모든 쿼리, 검색, 생성, 인용, 사용자 상호작용을 안정된 스키마와 단계 사이를 꿰는 안정된 쿼리 식별자로 로깅합니다 — 그 식별자 없이는 회귀 진단이 추측으로 떨어집니다. 평가: 제9장과 제10장의 트라이어드를 두 모드로 돌립니다. 정확도를 위해 참조 세트에 대해 오프라인으로 샘플링하고, 커버리지를 위해 온라인 행동 대리(재생성, 복사, 후속 질문, 이탈)로. 둘 중 어느 것도 단독으로는 충분하지 않습니다. 함께 삼각 측량합니다.

결정이 가장 어려운 단계입니다. 같은 신호가 여러 다른 처방을 함의하기 때문입니다. 컨텍스트 적합도의 저하는 코퍼스가 주제를 빠뜨렸음을 뜻할 수도, 리랭커가 퇴화했음을 뜻할 수도, 임베딩 모델이 새 어휘에 더 이상 맞지 않음을 뜻할 수도 있습니다. 구별하려면 메트릭을 슬라이스해야 합니다 — 주제별, 문서 연식별, 임베딩 버전별, 테넌트별. 집계만 지켜보는 팀은 한 분기 늦게, 한 슬라이스가 줄곧 평균을 끌어내리고 있었음을 발견합니다.

적용은 세 가지 무게로 옵니다. 설정 변경 — top-k, 리랭커 가중, 하이브리드 알파, 캐시 임계, 에스컬레이션 규칙 — 은 몇 시간 안에 A/B로 테스트되고 몇 분 만에 롤백되며 언제든 여럿이 함께 돕니다. 재인덱싱 행동 — 묵은 주제를 재임베딩, 새 소스를 수집, 폐물 문서 축출 — 은 주간에서 온디맨드, 승격 전 비프로덕션 복제에서 돕니다. 모델 변경 — 임베딩 모델 교체, 베이스 모델 교체, 커스텀 리랭커 재학습 — 은 분기별로, 섀도 배치, 병렬 평가, 점진 트래픽 전환, 롤백 옵션과 함께 합니다. 규율은 어느 단일 변경이 아니라 케이던스에 있습니다. 작은 사람 레이블 채널 — 어쩌면 모호한 대리 큐에서 주당 백 건 — 은 LLM 심사자를 보정하고 루프가 자기 대리에 대해 최적화되는 것을 막아 줍니다.

제3권이 준비하는 것

우리는 순수 언어 모델이 풀 수 없는 두 문제 — 신선한 지식과 검증 가능한 출처 — 에 대한 엔지니어링 답으로 검색 증강 생성을 다루며 출발했습니다. 초기의 임베드-검색-채우기 패턴에서 지금 프로덕션의 모듈러와 에이전틱 시스템까지 아키텍처를 따라갔고, 그 길의 모든 컴포넌트에 신중한 작업을 들였습니다 — PDF에서 구조를 회복하는 파서, 의미의 단위가 무엇인지 결정하는 청커, 결과를 저장하는 벡터 데이터베이스, 중요한 것을 찾는 하이브리드 리트리버와 리랭커, 시스템을 정직하게 유지하는 접근 제어와 비식별화 층, 그 어느 것이라도 동작하는지를 알려 주는 평가 프레임워크, 그리고 이제 시스템을 살려 두는 지속적 업데이트 메커니즘.

RAG는 제품 범주가 아닙니다. 어쩌면 열두 개의 하위 분야로 구성된 엔지니어링 분야이고, 그 각각이 동작하는 시스템과 조용히 환각하는 시스템 사이의 차이가 될 수 있습니다. 각 하위 분야를 진지하게 다루는 팀은 실제 트래픽 아래 견디는 무언가를 만들어 냅니다. 그중 어느 하나라도 블랙박스로 다루는 팀은 그렇지 않은 무언가를 만들어 냅니다.

시리즈는 LLM Primer IV — MCP로 설계하는 AI 인지에서 이어집니다. 제3권이 옳은 지식을 모델에 가져오는 일이었다면, 제4권은 옳은 손을 가져오는 일입니다 — Model Context Protocol, 그것을 다루는 에이전트, 그들이 호출하는 도구, 그리고 그들이 쌓아 가는 메모리. 같은 아키텍처 감각, 같은 문제의 다른 표면. 작업은 계속됩니다.