제9장 — RAG: 모델에 최신의 결을 흘려보내는 길

LLM Primer I: How Generative AI Works를 챕터별로 소개하는 시리즈의 아홉 번째 글입니다. 도구 사용 중에서도 가장 자주 마주치는 결 — RAG — 으로 한 발 더 들어갑니다.

RAG가 풀어주는 결

RAG — 검색 보강 생성(Retrieval-Augmented Generation) — 가 풀어주는 결은, 그 이름 그대로의 결입니다. 모델이 학습 시점에 흡수한 결의 바깥에 있는 정보를 — 검색해서 — 모델의 컨텍스트에 흘려보내는 길입니다.

왜 이게 큰 결인가. 본책의 제5장에서 본 모델의 결함 두 가지 — 시간 인지의 결손과 사실 정확성의 흔들림 — 의 결의 토대 자체가, 모델이 자기 학습 데이터의 결 안에 머무를 수밖에 없다는 그 결에서 옵니다. 모델 안의 결을 다 다듬는 길로 이 결을 풀어내기는 만만치 않습니다. 한편, 모델의 결의 바깥에 — 매번 새로 — 결을 흘려보내 주는 길은, 훨씬 저렴하면서도 훨씬 효과적입니다.

RAG의 결을 한 단계씩

한 번의 RAG 호출은 — 결의 한 단계씩 보면 — 사실 그리 복잡하지 않습니다.

1. 사용자의 질문이 도착한다. "우리 회사의 환불 정책이 어떻게 됩니까?" 같은 결의 한 줄이요.

2. 그 질문이 임베딩으로 바뀐다. 제3장에서 본 그 임베딩의 결이 다시 등장합니다. 한 줄의 질문이 — 그 의미의 결을 담은 — 수백 차원의 숫자의 열로 바뀝니다.

3. 벡터 검색이 일어난다. 미리 임베딩된 — 회사 문서, 제품 매뉴얼, 정책 문서 등 — 의 결 중에서, 그 질문의 임베딩과 가장 가까운 결의 한 줌이 길어 올려집니다. "가장 가까운"이라는 결은 — 키워드의 결이 아니라 — 의미의 결의 가까움입니다.

4. 길어 올린 결이 컨텍스트에 흘러든다. 모델의 시스템 프롬프트나 사용자 메시지의 결에, 그 길어 올린 결의 한 줌이 — "참고로 이런 결을 보고 답해 주세요" — 처럼 깔립니다.

5. 모델이 그 결의 위에서 답을 만들어낸다. 모델은 자기의 사전학습된 결과, 새로 흘러든 결을 한 자리에서 보면서, 그 위에서 다음 토큰을 길어 올립니다.

좋은 RAG와 나쁜 RAG의 갈림

RAG를 한 번 만들어 본 다음에 — 거기서 멈추면 안 된다는 결을 — 본책은 정직하게 짚어 둡니다. 좋은 RAG와 나쁜 RAG의 갈림이, 단지 "검색을 끼웠다"의 결에서 끝나지 않기 때문입니다.

청크의 결. 문서를 어떻게 나누느냐의 결이 — RAG의 결의 절반쯤을 — 결정합니다. 너무 짧게 자르면 결의 맥락이 끊어지고, 너무 길게 자르면 검색의 결의 정밀함이 떨어집니다. 한 자리의 결 — 한 절, 한 단락, 한 답 — 이 한 청크에 깔끔히 담기는 결이 가장 든든합니다.

임베딩 모델의 결. 모든 임베딩이 같은 결이 아닙니다. 한 도메인에 특화된 결 — 의료의 결, 법률의 결, 코드의 결 — 을 잘 잡아내는 임베딩이 따로 있고, 그 결을 잘 골라 두면 검색의 결의 정확함이 한 칸 깊어집니다.

리랭킹의 결. 한 번에 길어 올린 결을 — 모델에 흘려보내기 전에 — 다른 결로 한 번 더 정렬해 주는 길입니다. 첫 단계의 검색은 빠른 결로 — 다소 거친 결로 — 한 번 길어 올리고, 두 번째 단계의 리랭킹은 — 더 정밀한 결로 — 그 한 줌의 결을 다시 정렬합니다.

그라운딩의 결. 모델이 자기의 답을 만들어낼 때, 그 답이 "검색된 결의 안에서만" 만들어지도록 결을 잡아 두는 길입니다. 이게 — 흔히 — "답에 출처를 같이 달아 주는" 결로 나타나고, 환각의 결을 — 정직한 결로 — 한 칸 더 풀어주는 길이 됩니다.

RAG의 한계도 정직하게

RAG가 만능이라는 결은, 자주 — 너무 자주 — 과대평가되어 있습니다. RAG는 모델의 사전학습된 결을 보충해 줄 뿐, 모델의 추론의 결 자체를 바꿔주지는 않습니다. 잘못된 결의 검색은 — 자신만만한 결의 — 잘못된 답으로 이어집니다. 검색의 결이 답의 결의 전부가 되지 않도록, 결의 갈래를 따로 잡아 두는 일이 — 결의 운영에서는 — 자주 따라옵니다.

제9장의 한 줄

이 장이 손에 남기는 한 줄은 이렇습니다 — RAG는 모델의 결을 바꾸지 않는 길로, 모델 결의 결손을 보충해 주는 결이다. 같은 모델로 — 매일 새로 — 다른 결을 풀어내게 해주는, 가장 저렴하고 가장 효과적인 길 중 하나다.

다음 회 — 제10장: 멀티모달 — 텍스트의 결을 넘어선 결. 내일은 결의 범위를 — 텍스트의 결을 넘어, 이미지와 오디오의 결로 — 확장합니다. 같은 트랜스포머의 결이 어떻게 다른 결의 입력을 받아들이게 되는지를 풀어 봅니다.