제9장 — RAG 평가 트라이어드

LLM Primer III: RAG로 강화하는 엔터프라이즈 AI를 챕터별로 소개하는 시리즈의 아홉 번째 글입니다. 세 가지 다른 실패가 같은 증상으로 무너지는 자리에서 — 그리고 그것이 어느 증상인지 마침내 팀에게 일러 주는 세 머리 메트릭을 이 분야가 발명하는 자리에서.

이 장이 존재하는 이유

RAG 시스템은 세 곳에서 다르게 실패할 수 있고, 밖에서 보면 그 실패가 똑같이 보입니다. 리트리버가 잘못된 컨텍스트를 가져옵니다. 모델이 옳은 컨텍스트를 무시합니다. 모델이 컨텍스트를 존중하지만 던져진 질문과 다른 질문에 답합니다. 모든 프로덕션 팀이 한 번쯤은 그중 하나의 실패를 고치려 하면서 다른 것을 측정해 본 적이 있습니다. 이 장은 그 실수를 막아 주는 작고 고집스러운 어휘에 관한 글입니다.

또한 한 번의 이동에 관한 장이기도 합니다. 고전적 정보 검색은 레이블된 정답에 대해 평가되었습니다 — 정답 문서가 알려진 쿼리, 그리고 레이블에 대해 계산된 정밀도와 회수율. RAG는 그런 레이블이 존재하지 않는 세상에서 돕니다. 질문은 열려 있고, 답은 생성적이며, 적합한 컨텍스트는 그 순간 모델이 필요로 하는 무엇이든입니다. 트라이어드는 그 세상을 위해 설계되었습니다. 참조와의 합치가 아니라 단계 사이의 일관성을 측정합니다.

9.1 하나가 아니라 셋인 이유

새 팀의 본능은 최종 답을 채점하는 것입니다. 사용자가 질문을 쳤고, 시스템이 응답을 내놨으며, 그 응답은 맞거나 틀렸거나입니다. 본능은 실패합니다. 최종 답은 모든 단계의 합성물이고, 그것이 실패할 때 합성물은 어느 단계를 고쳐야 할지에 대해 아무것도 말해 주지 않기 때문입니다. 옳은 문서를 놓쳤는가? 검색했지만 무시됐는가? 사용됐지만 다른 질문에 답했는가? 세 다른 버그, 세 다른 고침, 그러나 구분할 수 없는 하나의 증상.

트라이어드는 파이프라인을 정보가 살아남거나 잃는 세 자리로 분리합니다. 검색, 근거, 답하기. 각각이 자기 메트릭을 갖습니다: 컨텍스트 적합도, 근거성, 답변 적합도. 구조가 쓸모 있는 까닭은 셋이 망라적이라서가 아니라 — 망라적이지 않습니다 — 셋이 독립적이라는 점입니다. 시스템은 하나에서는 잘하고 다른 하나에서는 못할 수 있고, 그럴 때 팀은 어디를 봐야 할지 압니다. 새 임베딩 모델이 출시되면 컨텍스트 적합도가 움직여야 합니다. 새 프롬프트가 출시되면 근거성이 움직여야 합니다. 움직여야 할 메트릭이 움직이면, 팀은 변경이 통했음을 압니다. 단일 종단 간 점수는 이 모든 것을 디버그 불가능한 무언가로 무너뜨립니다.

9.2 컨텍스트 적합도 — 옳은 컨텍스트를 가져왔는가?

컨텍스트 적합도는 검색된 청크가 질문에 관한 것인지를 문장 단위로 묻고, LLM 심사자가 점수를 매깁니다. 검색 정밀도를 포착합니다 — 적합한 자료에 쓰이는 컨텍스트 윈도우의 비율. 높은 점수는 리트리버가 토큰을 낭비하지 않고 있음을 뜻합니다. 낮은 점수는 잡음을 가져오고 있음을 뜻하고, 모델은 그 잡음 대가를 지연과 품질 양쪽으로 치릅니다 — 길고 무관한 컨텍스트가 생성을 떨어뜨린다는 점은 거듭 보고되어 왔습니다.

컨텍스트 적합도가 포착하지 않는 것은 회수율입니다 — 모델이 필요로 했을 청크가 모두 실제로 검색되었는지. 한 완벽한 청크를 가져오고 다른 건 하나도 가져오지 못한 리트리버는, 답이 둘을 요했고 두 번째를 놓쳤어도 완벽한 점수를 받습니다. 회수율은 별도의 문제이며, 답이 담긴 문서가 알려진 큐레이션된 골든 세트에 대해 측정합니다. 이 장은 알아 둘 만한 두 아티팩트도 짚습니다: 공격적인 청킹은 답을 반드시 개선하지 않은 채 컨텍스트 적합도를 부풀리고, 고정 top-k 위에서 가중치 없이 평균을 내면, 4위에서 10위의 무관한 청크가 모델에 사실상 영향이 없을 때조차 리트리버가 나빠 보일 수 있습니다.

9.3 근거성 — 모델이 컨텍스트를 존중했는가?

근거성은 충실도라고도 불리며, 반대 질문을 합니다: 모델이 만든 주장 중 검색된 컨텍스트가 받칠 수 있는 것은 어느 비율인가? 표준 계산은 답을 원자 주장으로 분해하고, 각각에 대해 심사자에게 컨텍스트가 받치는지를 묻습니다. 분해가 중요한 부분입니다. 단일 블록으로 평가되는 긴 답은 전체 근거 혹은 전체 비근거로 채점되는 경향이 있고, 심사자는 전체 요지가 기우는 쪽으로 해소합니다. 원자 주장은 심사자가 각 단언을 독립적으로 평가하게 만듭니다 — 컨텍스트가 결코 받치지 않은 한 문장을 담은 거의 옳은 답의 흔한 실패를 잡아 냅니다.

이 장은 근거성의 비대칭에 정직합니다: 그것은 발명을 처벌하지만 누락은 처벌하지 않습니다. 답하기를 거부한 모델은 완벽한 점수를 받습니다. 올바르고 잘 근거된 답을 주지만 컨텍스트의 중대한 단서를 빠뜨린 모델도 잘 받습니다. 또한 모델 문제보다 프롬프트 문제를 가장 자주 드러내는 메트릭이기도 합니다. 컨텍스트 적합도가 높고 근거성이 낮을 때, 답은 거의 늘 모델이 아니라 시스템 프롬프트에 있습니다 — 지시가 모델을 컨텍스트 안에 머무르게 하기에 너무 무릅니다. 모델을 탓하기 전에 프롬프트를 조이십시오.

9.4 답변 적합도와 참조 없는 이동

답변 적합도는 가장 오해되기 쉬운 것입니다. 그것은 정확성을 측정하지 않고, 근거도 측정하지 않습니다. 그것은 답이 던져진 질문에 응하는지를 측정합니다. 약간 다른 질문에 응한, 사실적으로 옳은 응답은 낮은 점수를 받습니다. 정중한 거절도 낮은 점수를 받습니다. 표준 계산은 영리한 반전입니다: 답이 주어지면, 그 답이 그럴듯한 응답이 될 수 있는 질문들을 생성한 다음, 그 생성된 질문들을 원래 질문과 비교합니다. 가까우면 답은 표적 위에 있습니다. 떨어지면 모델이 방황한 것입니다.

답변 적합도는 참조 없는 이동이 가장 세게 무는 자리이기도 합니다. 이 메트릭 중 어느 것도 레이블된 정답과 비교해 계산할 수 없습니다 — 받아들일 만한 답의 공간은 무한하고 열거 불가능합니다. 그래서 이 분야는 LLM-as-a-Judge로 수렴했습니다: 프런티어 모델이 문서화된 프롬프트로 각 메트릭을 채점합니다. 기법은 확장됩니다. 값쌉니다. 인간 판단과 대략 상관합니다. 또한 잘 문서화된 실패 모드를 갖습니다 — 쌍별 비교의 위치 편향, 길이 편향, 모델 가족 편향, 조용한 모델 업데이트에 따른 보정 드리프트, 그리고 심사자와 생성기가 학습 코퍼스를 공유하기에 상관된 방식으로 실패한다는 더 깊은 문제. 방어는 기술적이지 않고 운영적입니다: 심사 모델과 프롬프트를 고정하고, 작은 사람-레이블 세트에 대해 보정하고, 심사된 출력의 작은 비율을 사람 리뷰로 라우팅하고, 어떤 심사자 변경이든 역사적 비교를 무효화하는 재베이스라인 사건으로 다루십시오.

제9장이 준비하는 것

트라이어드는 무엇을 측정할지에 대한 어휘를 줍니다. 그것은 측정을 실제로 어떻게 돌릴지를 말해 주지 않습니다 — 심사자에 대한 프롬프트, 분해 로직, 임베딩 선택, 샘플링률, 대시보드, 알림. 그 어느 것도 처음부터 만들지 않습니다. 지난 두 해 동안 트라이어드를 실전에서 측정 가능하게 만드는 소수의 프레임워크가 떠올랐고, 각각은 프로덕션 평가가 어떻게 느껴져야 할지에 대한 자기 의견을 가졌습니다. 제10장이 그들을 나란히 걷습니다.

다음 → 제10장: 주요 평가 프레임워크. RAGAS, TruLens, DeepEval, 그리고 관측가능성 플랫폼들 — 각각이 무엇을 위한 것인지, 메트릭 우선 라이브러리가 끝나고 프로덕션 플랫폼이 시작되는 자리, 그리고 그 누구도 아직 닫지 못한 평가 간격.