제10장 — 주요 평가 프레임워크

LLM Primer III: RAG로 강화하는 엔터프라이즈 AI를 챕터별로 소개하는 시리즈의 열 번째 글입니다. 트라이어드에 도구 모음이 붙은 자리 — 두 진영의 여덟 프레임워크 — 그리고 그중 누구도 아직 풀지 못한 평가의 한 부분에 대한 한 차례 정직한 인정.

이 장이 존재하는 이유

제9장의 트라이어드는 무엇을 측정할지를 말했습니다. 그 측정을 프로덕션에서 실제로 어떻게 돌릴지는 말하지 않았습니다. 메트릭은 개념입니다. 그 구현은 심사자에 대한 프롬프트, 주장 분해 로직, 유사도에 대한 임베딩 선택, 비용을 위한 샘플링 전략, 대시보드, 알림, 그리고 사람 리뷰 루프입니다. 이 모두를 처음부터 만드는 팀은 없습니다.

프레임워크는 알아볼 만한 축을 따라 갈라졌습니다. 한쪽에는 메트릭 우선 라이브러리 — RAGAS, TruLens, DeepEval — 가 문서화되고 재현 가능한 방법론으로 트라이어드를 계산합니다. 다른 한쪽에는 관측가능성 플랫폼 — Braintrust, LangSmith, Phoenix, Galileo, Opik — 이 프로덕션 트레이스에서 시작해 더 큰 워크플로 안에서 평가를 한 기능으로 통합합니다. 둘 사이의 선택은 기능 비교라기보다 시스템이 출하 다음 날 무엇을 하기를 팀이 필요로 하는가의 질문입니다.

10.1 메트릭 우선 라이브러리 — RAGAS, TruLens, DeepEval

RAGAS는 이 분야가 가진 트라이어드의 참조 구현에 가장 가까운 것입니다. 보수적인 메트릭 세트, 문서화된 프롬프트, 노출된 모든 LLM 호출. 충실도 파이프라인은 2단 체인입니다 — 답을 주장으로 분해하고, 각 주장을 컨텍스트에 대해 검사 — 그리고 중간의 주장 목록이 결과로 돌아옵니다. 엔지니어가 프레임워크가 받쳐지지 않았다고 판정한 그 특정 주장을 가리킬 수 있도록. 연구, 규제 산업, 혹은 방법론을 변호해야 하는 어느 팀에게든 RAGAS는 기본값입니다. 대가는 학술적으로 느껴진다는 점입니다. 메트릭을 계산하고, 대시보드를 출하하지는 않습니다.

TruLens는 메트릭 라이브러리와 관측가능성 플랫폼 사이에 자리합니다. 강조점은 계측입니다: 프레임워크가 함수 수준에서 애플리케이션을 감싸고, 모든 검색 호출과 모델 응답을 구조화된 트레이스로 포착한 다음, 트레이스에 대해 트라이어드를 돌립니다. 트라이어드 메트릭은 피드백 함수로 노출됩니다 — 작은 합성 가능한 단위, 직접 쓰기 쉬움. 팀의 평가 요구가 표준 세트를 넘어설 때, 혹은 워크플로의 중심이 집계 대시보드가 아니라 개별 실패를 들여다보는 일에 있을 때 옳은 선택입니다.

DeepEval은 세 번째 입장을 취합니다: pytest로서의 평가. 테스트 케이스를 pytest 류 CLI로 쓰고 돌리며, 실패는 PR을 막고, 메트릭 세트는 셋 중 가장 넓어 트라이어드와 함께 편향, 유해성, 환각 검사까지 포함합니다. 트레이드오프는 폭이 균일하지 못한 엄격함의 비용으로 따라온다는 점입니다. 메뉴에서 메트릭을 골라 그 구현을 읽지 않고 쓰면, 의도와 다른 숫자를 보고하게 될 수 있습니다. 옳은 규율은 작은 세트를 고르고, 프롬프트를 읽고, 사람 레이블에 대해 보정하고, 나머지는 영감으로만 다루는 것입니다.

10.2 관측가능성 플랫폼 — Braintrust, LangSmith, Phoenix, Galileo, Opik

메트릭 우선 라이브러리는 「트라이어드를 어떻게 계산하는가」에 답합니다. 관측가능성 플랫폼은 「RAG 시스템을 프로덕션에서 어떻게 운영하는가」에 답합니다. 그들은 팀이 한동안 프롬프트를 쓰고, 모델 버전을 비교하고, 트레이스를 수집하고, 대시보드를 지켜볼 것이라는 가정에서 시작합니다. 평가는 한 기능이고, 프롬프트 버전 관리, 트레이스 탐사, A/B 테스트, 알림이 같은 가치의 일부입니다.

Braintrust는 개발자 경험을 앞세웁니다 — 데이터셋에 대한 모델 행동의 버전 기록인 실험(experiment)과, 진정 쾌적한 UI 안의 나란한 점수 비교. LangSmith는 이미 LangChain에 깊이 들어가 있는 팀의 자연스러운 선택입니다. 애플리케이션 계측의 중심에 자신을 두기를 기대하고, 그 약속에 깊이로 보답합니다. Arize의 Phoenix는 오픈소스 옵션으로, 나머지가 덜 강조하는 임베딩 드리프트와 클러스터 분석으로 구별됩니다 — 트레이스를 SaaS 엔드포인트로 보낼 수 없는 팀에게 실행 가능한 선택입니다. Galileo는 엔터프라이즈 지향 플랫폼으로, 독점 Correctness 점수와 규제 산업을 위한 온프레미스 배치를 제공합니다. Comet의 Opik은 가장 최근의 진입자로, Phoenix처럼 오픈소스 우선, Braintrust처럼 깔끔하며, LLM 관측과 고전 ML 관측을 한 플랫폼 아래 통합한다는 추가 이점이 있습니다.

다섯 사이의 선택은 기능보다 조직 적합성에 관한 것입니다. LangChain 매장은 LangSmith로 손을 뻗습니다. 그린필드 제품 엔지니어링 팀은 Braintrust로. 오픈소스 우선 팀은 Phoenix로. 규제 엔터프라이즈는 Galileo로. Comet 매장은 Opik로. 다섯 모두의 메트릭 품질은 대체로 비슷합니다 — 모두 트라이어드를 구현하고, 모두 LLM-as-Judge를 쓰며, 모두 제9장이 짚은 같은 근본 한계를 안고 있습니다. 차이는 측정이 아니라 워크플로입니다.

10.3 평가 간격과 세 루프 패턴

프레임워크 투어가 그냥 지나간 어색한 사실 하나. 위 거의 모든 도구는 추론 층에서 평가합니다: 검색이 이미 일어났다고 할 때, 모델이 청크를 존중했는가, 답이 질문 모양에 맞았는가, 청크가 주제 위에 있었는가. 그 어느 것도, 깊은 의미에서, 검색이 애초에 옳은 청크를 찾았는지를 말해 주지 않습니다. 리트리버의 출력은 추론 층의 입력이고, 추론 층 메트릭은 출력을 측정하지만 입력은 측정하지 않습니다. 검색이 중요한 문서를 계속 놓치고 있다면, 충실도는 높게 유지되고(모델은 주어진 것을 존중했습니다), 답변 적합도도 높게 유지되며(답이 질문 모양에 맞았습니다), 사용자는 어쨌든 잘못된 답을 받습니다.

이것이 평가 간격입니다. 구조적 이유는, 추론 층 평가는 참조 없는 반면 엄격한 컨텍스트 층 평가는 옳은 청크가 무엇이었는지를 알아야 한다는 점입니다 — 레이블된 세트나 합성된 세트가 필요합니다. 우회들 — 합성 질문 생성, 건초 더미 속 바늘 탐사, 하류 영향 대리, 쿼리 조건부 검색 감사, 자신에 대한 검색 — 은 모두 쓸모 있고 모두 불완전합니다. 정직한 요약은, 컨텍스트 층 평가가 열린 최전선이며 팀은 검색 품질에 직접 자기 엔지니어링의 일부를 투자할 것을 각오해야 한다는 점입니다. 프레임워크는 추론 루프를 돕고, 검색 루프는 대체로 팀에게 남깁니다.

성숙한 팀이 수렴하는 패턴은 하나가 아니라 세 루프입니다. 이너 루프: 메트릭 우선 라이브러리(보통 RAGAS나 DeepEval)가 의미 있는 변경마다 고정된 회귀 세트 위에서 트라이어드를 돌립니다. 빠르고 결정론적이며, 회귀를 잡는 데 맞춰져 있습니다. 아우터 루프: 관측가능성 플랫폼이 프로덕션 트레이스 저장, 샘플 트래픽에 대한 온라인 메트릭 계산, 대시보드, 알림을 다룹니다 — 회귀 세트가 놓칠 드리프트에 맞춰져 있습니다. 슬로우 루프: 작은 사람 리뷰 기능이 LLM 심사자를 보정하고, 플래그된 트레이스를 감사하며, 제품이 진화함에 따라 회귀 세트를 유지합니다. 이너 루프만 가진 팀은 드리프트하는 프로덕션을 출하합니다. 아우터 루프만 가진 팀은 드리프트를 보지만 디버그하지 못합니다. 둘 다 있지만 사람 리뷰가 없는 팀은 조용히 잘못되어 가는 심사자를 신뢰합니다. 셋 모두가 필요하고, 프레임워크의 가치는 그 각 루프를 얼마나 쉽게 만들어 주느냐입니다.

제10장이 준비하는 것

제9장의 트라이어드와 제10장의 프레임워크 사이에서, 팀은 RAG 시스템을 측정할 도구를 갖춥니다: 어휘, 그 어휘가 놓치는 것에 대한 정직한 회계, 그리고 측정을 대시보드로 바꾸는 작은 도구 모음. 시스템은 읽힐 만한 것이 됩니다. 그러나 측정은 프로덕션 이야기의 절반일 뿐입니다. 측정되지만 유지되지 않는 시스템은 어쨌든 퇴화합니다. 문서가 바뀌고, 사용자가 바뀌고, 기반 모델이 바뀌기 때문입니다. 품질이 떨어졌음을 아는 것과 그것을 복구할 수 있는 것은 같은 일이 아닙니다.

다음 → 제11장: 지속적 업데이트와 파이프라인 최적화. CDC와 증분 인덱싱, 의미 캐싱과 모델 티어링, 그리고 프로덕션 텔레메트리를 실제로 더 좋아지는 시스템으로 바꾸는 4단 피드백 루프.