제7장 — 환각과 신뢰성

LLM Primer VII: AI 보안의 챕터별 워크스루 일곱 번째 글입니다. 신뢰성을 하나의 보안 성질로 다루는 장 — 결과가 정확성에 의존할 때 자신 있게 틀린 출력은 언제나 보안 문제이기 때문입니다.

이 장이 존재하는 이유

환각은 원래 자연어 생성 용어로, 소스에 지지되지 않는 정보를 담은 출력을 뜻했습니다. LLM에 적용되면 현상은 두 가지 유용한 의미로 갈립니다: 모델이 확립된 사실과 모순되는 사실성 실패, 그리고 모델이 사용자 지시나 제공된 컨텍스트로부터 벗어나는 충실성 실패. 둘 다 중요하며, 둘 다 특정 메커니즘이 있습니다. Ji 등의 2023년 ACM Computing Surveys 리뷰와 같은 해 Huang 등의 분류학이 필드에 어휘를 주었습니다. 이 장은 신뢰성을 일급 보안 성질로 다룹니다. 모델 출력에 따라 작동하는 시스템은 출력이 정확한 만큼만 안전하며 — 모델에는 자신이 언제 모르는지를 알 내장 메커니즘이 없기 때문입니다.

7.1 환각에는 기분이 아니라 메커니즘이 있다

언어 모델은 학습 목적 함수가 질량을 놓은 분포에서 샘플링하여 토큰을 예측합니다. 분포는 학습 코퍼스에서의 빈도, 모델의 귀납 편향, 그리고 이후 적용된 정렬 학습에 의해 형성됩니다. 이 메커니즘 중 어느 것도 데이터베이스 쿼리처럼 사실적 정확성을 선택하지 않습니다. 사실성 실패는 모델이 세계에 의해 반박되는 것을 주장할 때 일어납니다 — 잘못된 날짜, 지어낸 인용, 존재하지 않는 함수 시그니처. 충실성 실패는 모델의 출력이 사용자 의도나 제공된 컨텍스트로부터 벗어날 때 일어납니다 — 살짝 다른 질문에 답하기, 사용자가 요약을 요청한 문단의 일부 무시, 긴 응답에 걸쳐 일관성 없이 추론하기. 두 범주는 겹치지만 서로 다른 진단이 필요합니다. 메커니즘에는 긴 생성에서 정확성보다 유창성을 택하는 다음 토큰 동역학, 학습 데이터 분포에서 니치 사실의 저대표성, 「모릅니다」라는 말을 억제하는 정렬 학습, 그리고 모델을 진실보다 그럴듯함으로 미는 프롬프트 패턴이 포함됩니다. 메커니즘을 이해하는 것이 완화를 겉치레가 아닌 표적화된 것으로 만듭니다.

7.2 신뢰도는 정답률이 아니다

캘리브레이션된 확률 시스템은 명시된 신뢰도가 정확도와 일치합니다: 80%라고 말할 때 큰 표본에서 80%의 시간 동안 맞습니다. Guo와 동료들의 2017년 ICML 논문 「On Calibration of Modern Neural Networks」은 놀라운 결과를 보고했습니다 — 현대 신경망은 체계적으로 과신합니다. 80%라고 말하는 모델이 65% 맞을 수 있고, 99%라고 말하는 모델이 88% 맞을 수 있습니다. 메커니즘은 교차 엔트로피 목적 함수인데, 이는 정답 클래스에 질량을 놓는 것을 보상하되 과신을 벌하지는 않습니다. 더 크고 표현력 있는 모델은 학습 데이터를 더 촘촘히 맞추어, 학습 데이터와 겉으로 닮은 테스트 예제에 대해 더 날카로운 분포를 만들어 냅니다. LLM의 경우 문제가 더 심합니다. 출력이 토큰 시퀀스이고, 정렬 학습이 정확도를 움직이지 않고도 확률을 움직이는 방식으로 분포를 재조형하며, 사용자는 자신 있는 문장을 모델이 자기가 말하는 바를 안다는 증거로 읽습니다. 신뢰도와 정답률 사이의 간극이 신뢰성 엔지니어링이 모델 자신의 신호에 의존할 수 없는 이유입니다.

7.3 캘리브레이션과 하이브리드 검증이 운영상의 해법이다

캘리브레이션 기법은 학습 시점과 추론 시점으로 나뉩니다. 온도 스케일링은 Guo 등이 같은 2017년 논문에서 도입한 표준입니다: 학습 후, 사전 소프트맥스 로짓을 나누는 단일 스칼라를 조정해 홀드아웃 세트에서 캘리브레이션 오차가 최소가 되게 합니다. 예측은 바뀌지 않고 확률만 바뀝니다. 언어화된 신뢰도 — 모델에 답과 함께 신뢰도 추정을 출력하도록 요청하기 — 는 2022년부터 연구되었고 어느 정도 작동하지만, 모델이 말한 신뢰도 자체가 같은 분포적 압력을 받는 언어 토큰입니다. 자기 일관성 샘플링은 여러 완성을 생성하고 투표합니다. 일치도는 어떤 단일 완성의 확률보다 정답률과 상관이 높습니다. 하이브리드 아키텍처는 더 많은 일을 합니다. 신뢰성 기법으로서의 검색 증강 생성은 가장 일관되게 효과적이었습니다 — Vectara HHEM 리더보드는 잘 구성된 RAG 시스템이 팩토이드 요약에서 환각률 1% 미만으로 떨어지는 반면 같은 과제에서 순수 생성은 5%를 넘는다는 것을 추적했습니다. 구조화된 검증 파이프라인은 출력을 소스 문서와 대조해 사실 확인을 하는 두 번째 모델에 통과시킵니다. Human-in-the-loop 검토는 고위험 출력에 대한 가장 강력한 방어로 남지만, 필드가 이미 이름 붙인 두 실패 모드가 있습니다: 규모에서의 형식적 승인, 그리고 검토자가 모델의 주장을 검증할 소스 자료를 갖지 못한 컨텍스트 없는 검토.

제7장이 준비하는 것

제8장은 우발적 실패 모드에서 의도적인 것으로 이동합니다 — 모델을 표적으로 삼아 운영자가 의도하지 않은 방향으로 출력을 조작하도록 설계된 입력을 구성하는 적대적 공격. 이 장은 Goodfellow의 2014년 FGSM에서 NLP 특화 작업 — HotFlip, TextFooler, BERT-ATTACK — 을 거쳐, Wallace와 동료들의 보편적 적대 트리거 작업과 제4장에서 언급한 Zou와 동료들의 보편적 접미사 작업으로 이어지는 계보를 걷습니다. 그다음 API에 대한 블랙박스 공격과 Tramèr의 2016년 USENIX 논문부터 Carlini의 2024년 ICML 논문(프로덕션 임베딩 투영 층 추출)까지 모델 탈취를 걷습니다. 제9장은 공급망으로 파트 III를 완성합니다: 백도어된 모델, safetensors 대 피클, Sigstore 서명, 그리고 드리프트 모니터링.

다음 → 제8장: 모델에 대한 적대적 공격. 이산 입력 공간에서의 그래디언트 기반 공격, API를 통한 블랙박스 공격, 그리고 기밀성과 보안 관심사로서의 모델 탈취.