제5장 — 검색 파이프라인 설계

LLM Primer III: RAG로 강화하는 엔터프라이즈 AI를 챕터별로 소개하는 시리즈의 다섯 번째 글입니다. 한 번의 벡터 검색은 대부분의 프로토타입이 멈추는 자리이자 대부분의 프로덕션 실패가 시작되는 자리입니다. 이 장은 절반쯤 형성된 쿼리에서 생성기에 닿는 최종 후보까지의 전체 경로를 — 그리고 각 단계가 존재하는 이유를 — 걷습니다.

이 장이 존재하는 이유

제2장부터 제4장까지 만든 것은 벡터 스토어입니다: 파싱된 문서, 신중하게 청크화되고, 임베딩되어 인덱싱됨. 순진한 다음 단계는 사용자의 쿼리를 임베드하고, 최근접 이웃 조회를 돌려, 상위 k개를 생성기에 먹이는 것입니다. 사소한 코퍼스에서는 통합니다. 프로덕션에서는 거의 통하지 않습니다. 쿼리는 미명세 상태로, 임베더가 본 적 없는 고유명사를 가득 안고 도착합니다. 코퍼스에는 단일 랭킹의 상위를 가리는 거의 중복된 항목들이 살고 있습니다. 식별자와 코드는 임베더가 매끈하게 지워 버리는 의미를 안고 있습니다.

제5장은 성숙한 시스템이 수렴하는 아키텍처에 관한 글입니다. 연구의 산물이 아닙니다. 회수, 정밀도, 지연을 모두 동시에 지켜야 할 때 팀이 실제로 굴리는 모양입니다.

5.1 단일 벡터 검색만으로 부족한 이유

밀집 검색은 검색의 셈을 다시 짭니다만, 임베딩을 쓸모 있게 만드는 그 패러프레이즈 관용이 동시에 임베딩을 깨지기 쉽게 만듭니다. 숫자 토큰, 법령 인용, 거래 코드, 부품 번호 — 표면형 그 자체가 의미인 것은 모두 — 벡터 공간의 임의 구석에 떨어집니다. 거기 있는 것을 단순히 세는 BM25에는 그런 문제가 없습니다.

두 방법은 서로 다른 입력에서 실패합니다. 이 단 하나의 관찰이 하이브리드 검색의 모든 근거이고, 이 장이 기대고 있는 첫 원리입니다. 나머지는 따라옵니다: 어느 단일 리트리버도 충분하지 않다면, 파이프라인은 여럿을 결합하고, 그 랭킹을 정직하게 융합하고, 마지막 정밀 패스에 진짜 계산을 들이고, 그 모든 일이 시작되기 전에 쿼리를 준비해야 합니다.

5.2 하이브리드 검색: 병렬로 도는 밀집 벡터와 BM25

같은 청크 위에 두 개의 인덱스: 임베더에서 나온 밀집 HNSW 혹은 IVF 인덱스와, BM25 혹은 SPLADE에서 나온 희소 역색인. 둘 모두에 질의하고, 둘 모두 순위 매겨진 목록을 돌려주며, 수집 파이프라인은 둘에 보조를 맞춰 씁니다. BM25는 레거시가 아닙니다. 가장 신뢰할 만한 키워드 랭킹 함수이며, 파라미터가 가볍지만 파라미터가 없지는 않습니다. BEIR 벤치마크 모음 전반에서 하이브리드 검색은 도메인 밖 과제의 다수에서 밀집-단독을 앞섭니다. 도메인이 임베더의 학습 분포에서 멀어질수록 격차가 벌어집니다.

이름 붙여 둘 만한 특정 실패 모드 하나: BM25는 범위 안의 각 언어에 대해 올바르게 토크나이즈되어야 합니다. 일본어 코퍼스를 기본 영어 분석기로 보내면 BM25 다리는 조용히 순수 잡음이 되고, 시스템은 밀집 다리가 모두 떠받치고 있기 때문에 잘 돌아 보일 뿐입니다. 희소 검색도 진화했습니다 — SPLADE 류의 학습된 희소 모델은 BM25의 운영적 단순함을 물려받으면서 밀집 리트리버의 회수 행동을 갖습니다.

5.3 RRF와 크로스 인코더 리랭킹

두 순위 목록을 결합하는 순진한 방식은 점수를 더하는 것입니다. 통하지 않습니다 — BM25의 크기는 한이 없고 코퍼스에 의존하며, 코사인 유사도는 대략 [-1, 1]에 자리합니다. 둘은 비교 가능하지 않고, 어떤 고정 가중치도 영원한 튜닝 문제가 됩니다. Reciprocal Rank Fusion은 점수를 버림으로써 그 문제를 우회합니다. 각 후보에 대해 융합 점수는 리트리버 전체에 걸친 1/(k + rank)의 합이고, k = 60입니다. 모양은 상위에서 가파르고 꼬리에서 평평하며, 결과는 k에 둔감하고, 알고리즘은 다중 쿼리 확장과 자연스럽게 합성됩니다 — 두 리트리버에 대한 세 패러프레이즈에서 나온 여섯 목록이 같은 한 줄 코드로 융합됩니다.

RRF는 어느 리트리버도 표면화하지 못한 문서를 구해 내지 못합니다. 그 일은 쿼리 재작성에 속합니다. RRF가 하는 일은, 값싸게 그리고 하이퍼파라미터 없이, 독립적으로 업그레이드되고 교체되는 리트리버들을 화해시키는 것입니다 — 다리가 바뀔 때 융합을 다시 튜닝하지 않아도 되는 파이프라인은 유지 비용이 극적으로 낮습니다.

이 랭킹을 만들어 낸 바이 인코더는 쿼리와 청크를 함께 본 적이 없습니다. 크로스 인코더 리랭커는 그것을 봅니다 — 쌍을 이어 붙여 적합도 점수를 내도록 파인튜닝된 트랜스포머에 한 번에 통과시킵니다. 모든 어텐션 헤드가 양쪽을 동시에 보고, 모델은 청크의 특정 구절과 매치되어야 할 쿼리의 특정 구절에 어텐션할 수 있습니다. 미리 계산할 수 없으므로 일차 리트리버로는 너무 느리지만, 하이브리드 검색이 표면화하는 50~200개의 후보 위에서는 완벽합니다. NDCG@10의 향상은 보통 5~15점입니다 — 바이 인코더 가족 안에서 임베딩 모델을 바꾸는 것보다 큽니다.

5.4 쿼리 이해: 재작성, 확장, HyDE

위 모든 것은 쿼리가 잘 형성되어 있다고 가정했습니다. 거의 그렇지 않습니다. 헬프데스크 사용자가 「휴가」라고 칩니다. 정책에는 「연차 사용 권리」라고 쓰여 있습니다. 개발자가 「auth fails 500」을 칩니다. 런북은 「인증 서비스가 토큰 검증 실패와 함께 HTTP 500을 반환」이라 묘사합니다. 작업은 쿼리 측에서 이루어져야 합니다. 세 패턴이 합성됩니다: 쿼리를 자립 가능하게 만드는 재작성(대명사 해결, 약어 확장, 코퍼스 언어에 맞춰 언어 전환), 한 줌의 패러프레이즈로의 확장 — 각각이 두 리트리버로 펼쳐집니다 — 그리고 작은 모델에게 가상의 답을 쓰라고 요청해 질문 대신 그것을 임베드하는 HyDE. 코퍼스는 답으로 차 있고, 답은 질문보다 다른 답을 더 닮습니다.

방어적인 패턴은 원래 쿼리를 재작성된 것과 함께 보존하고 둘 다를 디스패치하는 것입니다. 재작성기의 출력은 대체가 아니라 가설입니다. 에이전틱 시스템의 대부분의 「검색 회귀」는 실은 재작성 회귀이고, 단계별 텔레메트리 없이는 보이지 않습니다.

제5장이 준비하는 것

그려 둔 파이프라인은 동시에 공격자가 무력화해야 할 전체 표면입니다. 각 단계는 입력을 받고, 출력을 내며, 다루는 데이터를 신뢰합니다. 코퍼스는 수집 시점에 오염될 수 있고, 임베더는 적대적 청크에 조작될 수 있으며, 리랭커는 편향될 수 있고, 생성기는 검색된 콘텐츠에 숨겨진 지시에 속을 수 있습니다. 여기서부터 책은 제4부를 열고, 틀짓기는 어떻게 잘 검색할 것인가에서 검색이 공격받을 때 무엇이 일어나는가로 옮겨 갑니다.

다음 → 제6장: RAG 위협 모델과 취약점. RAG를 쓸모 있게 만드는 그 개방성은 동시에 적대자가 이용하는 표면이기도 합니다 — 코퍼스 오염, 적대적 검색, 간접 프롬프트 주입, 임베딩 역변환, 그리고 헷갈린 대리자.