제11장 — 평가, 보정, 추론

LLM Primer II: 수학으로 읽는 언어 모델을 챕터별로 소개하는 시리즈의 열한 번째 글입니다. 어떤 글이든 만들어 낼 수 있는 기계를 도대체 어떻게 잰단 말인가 — 그리고 "확신에 찬 모델은 거의 늘 보정이 나쁜 모델이라는 사실"을 마주하게 되는 자리에 들어갑니다.

알고 보면 수학의 문제

본책의 제II부에서 모델을 짓고, 제III부에서 학습시키고, 제10장에서 정렬까지 마쳤습니다. 그 모든 일이 정말로 작동했는지 우리는 어떻게 알 수 있을까요? 부드러운 질문처럼 들립니다. 그런데 사실은 이 분야에서 가장 어렵고 — 가장 수학적인 — 질문 중 하나입니다. 언어 모델은 거의 어떤 글이든 만들어 낼 수 있고, "좋다"라는 말 자체가 정의를 거부하기 때문입니다.

11.1 퍼플렉시티

가장 기본이 되는 척도는 사람의 손이 닿지 않습니다 — 학습 목적함수에서 그대로 굴러 떨어집니다. 모델이 미리 떼어 둔 테스트 집합에 부여하는 확률을 측정하고, 토큰 단위로 평균을 낸 뒤 지수를 취하면 — 그것이 퍼플렉시티입니다. 모델이 평균적으로 얼마나 놀라는가를 "유효 분기 인수(effective branching factor)"로 환산한 것이라 보면 됩니다. 값싸고, 객관적이고, 자동입니다. 그리고 실무에서 정작 중요한 거의 모든 것에 대해 — 유용성, 진실성, 안전성 — 침묵합니다. 토크나이저가 다르면 직접 비교조차 어렵습니다. 이 장은 그 곁에 BLEU, ROUGE, 코드 실행 성공률, 심사 모델 점수 등도 함께 짚어 두고, 각자가 어디에서 무너지는지를 정직하게 덧붙입니다.

11.2 보정(calibration)

모델이 잘 보정되었다는 것은, 그 모델의 확신이 그 모델의 정확도와 맞아 떨어진다는 뜻입니다 — 80% 확신한다고 말하는 답이라면, 실제로도 그중 80% 가까이가 맞아야 합니다. 정확도와는 다른 결입니다. 정확하지만 과신하는 모델이 있을 수 있고, 정확하지 않지만 정직한 모델도 있을 수 있습니다. 위험이 큰 자리라면, 보정은 정확도만큼이나 — 때로는 그 이상으로 — 중요합니다.

재는 길은 신뢰도 다이어그램(reliability diagram)입니다. 모델이 말한 확신값으로 예측들을 구간에 나눠 담고, 각 구간의 실제 정확도를 그립니다. 완벽히 보정된 모델은 대각선을 따라 흐르고, 흔한 모델은 대각선 아래로 부풀어 있습니다(과신). 요약 지표는 예상 보정 오차(ECE)입니다. 처방은 단순하면서도 효과적입니다 — 로짓을 학습된 스칼라로 나눠 주는 온도 스케일링(temperature scaling). 흥미롭게도 RLHF는, 보정을 종종 — 적지 않게 — 망가뜨립니다.

11.3 벤치마크의 불확실성

모델이 "벤치마크에서 87점을 받았다"고 할 때, 그 자리에 빠져 있는 질문이 있습니다 — 87점, 플러스 마이너스 얼마? 정확도가 50% 근처일 때 표본 크기 n에 대한 표준 오차는 대략 1/(2√n)입니다. n = 1000이라면 약 1.6%포인트. 그러면 87점과 85점은 — 사실은 — 다른 점수가 아닐 수도 있습니다. 여기에 두 가지 위험이 겹칩니다. 다중 비교 — 충분히 많은 모델을 충분히 많은 벤치마크 위에 올리면, 어떤 조합은 그저 우연으로 좋아 보입니다 — 와 오염 — 벤치마크 문항이 학습 데이터에 새 들어가 있다면, 그 점수는 능력이 아니라 기억을 잰 것입니다. 이 절은, AI 보도가 가장 먼저 읽어야 할 절이라고 본책은 정직하게 적어 둡니다.

11.4 환각, 그리고 검색의 기하

환각 — 거짓을 확신에 찬 어조로 단언하는 — 은 LLM의 한계를 가장 또렷이 드러내는 결함이자, 가장 재기 어려운 결함입니다. 참인지 아닌지를 누군가는 판단해야 하기 때문입니다. 충실성(faithfulness) 지표는, 답의 각 진술이 함께 제공된 문맥에서 정말로 함의되는지를 묻습니다.

환각을 줄이는 가장 강력한 도구는 — 익숙한 이름의 — 검색 보강 생성(RAG)입니다. 모델을 실제 문서에 단단히 묶어 두는 것입니다. 그 핵심 연산은, 마침맞게도, 본책 제I부의 결로 돌아갑니다 — 질의 임베딩과 후보 단락 임베딩 사이의 최대 내적 탐색(maximum inner-product search). 제3장의 기하가, 어느 순간 운영 시스템의 가장 무거운 뼈대가 되어 있습니다.

제11장이 놓는 다리

이 장을 떠나면서 손에 남는 것은, 정직한 측정의 도구함입니다 — 내재 지표로서의 퍼플렉시티, 정확도보다 자주 더 중요한 보정, 벤치마크 연극을 막아 주는 오차 막대, 그리고 환각을 다루는 운영의 기하로서의 검색. 본책의 제III부는 이 자리에서 닫힙니다. 여기서부터 본책은, 우리가 이 모델로 정말로 무엇을 하는가에 대한 이야기로 넘어갑니다.

다음 회 — 제12장: LLM의 실세계 응용. 제IV부의 첫 장입니다. 텍스트 생성, 요약, 질의응답, 번역, 추론 — 각 응용이, 우리가 손에 쥔 이 수학의 결로 어떻게 풀리는지를 함께 들여다봅니다.