제11장 — 관측 가능성, 로깅, 사건 대응

LLM Primer VII: AI 보안의 챕터별 워크스루 열한 번째 글입니다. 로깅·경보·사건 대응을 아키텍처 방어를 운영자가 실제로 운영할 수 있는 시스템으로 바꾸는 층으로 다루는 장입니다.

이 장이 존재하는 이유

올바른 구조를 갖췄지만 가시성이 없는 시스템은 보이지 않게 실패합니다. 제11장은 LLM 시스템의 관측 가능성 층을 걷습니다 — 무엇을 로깅할지, 남용과 이상을 어떻게 탐지할지, 잡음 없이 어떻게 경보할지, 문제가 생겼을 때 사건 대응 플레이북을 어떻게 실행할지, 그리고 일어난 일에서 어떻게 배울지. 일반 원리는 다른 곳의 운영 엔지니어링에서 옮겨오며 LLM 특유의 확장이 있습니다: 확률적 출력은 사건 재현이 결정론적 시스템보다 더 많은 상태를 포착해야 함을 뜻하고, 2024년 이후 개발된 OpenTelemetry GenAI 시맨틱 규약이 그 상태의 벤더 중립 어휘를 제공합니다.

11.1 무엇을 로깅할지는 기본값이 아니라 정책 결정이다

너무 적게 로깅하면 팀이 조사할 수 없습니다. 너무 많이 로깅하면 결국 축소를 강요하는 컴플라이언스·비용·프라이버시 문제가 생깁니다. 방어 가능한 입장은 팀이 식별한 운영적 사용 사례를 지원하는 최소치를, 각각을 지원하는 구조화된 형태로 두는 것입니다. 목적에는 대개 남용이나 이상에 대한 실시간 경보, 사건에 대한 사후 조사, 용량 계획과 비용 분석, 컴플라이언스 보고, 그리고 모델 행동에 대한 지속적 평가가 포함됩니다. 각 목적은 스키마에 다른 요구를 하며, 하나를 위해 설계된 로그는 다른 것들에 부적절합니다. OpenTelemetry GenAI 시맨틱 규약은 LLM 호출을 위한 스팬과 속성을 정의합니다 — 모델 이름, 제공자, 요청 매개변수, 프롬프트 내용, 응답 내용, 토큰 수, 지연 시간, 비용 — 그래서 하류 도구는 특정 SDK와 무관하게 같은 형태의 텔레메트리를 파싱할 수 있습니다. Langfuse, Helicone, Arize Phoenix, Datadog LLM Observability 모두 이 형태를 소비합니다. 프로덕션 로그 항목은 대개 요청 ID, 인증된 주체, 테넌트, 모델 버전과 제공자, (출처가 붙은 검색된 컨텍스트를 포함한) 조립된 완전한 프롬프트, 도구 호출과 그 출력, 응답 내용, 입출력에서의 안전 분류기 점수, 그리고 지연 시간과 토큰 계산을 포함합니다. 이를 책임 있게 저장한다는 것은 보존 기간, PII 처리, 그리고 로그 스토어 자체에 대한 접근 제어에 명시적이어야 함을 뜻합니다.

11.2 탐지는 시그니처·통계·행동 신호를 조합한다

텔레메트리가 구조화되면 다음 질문은 무엇이 잘못되었음을 시사하는 패턴인가입니다. 시그니처 매칭이 가장 저렴한 첫 방어선입니다 — 알려진 프롬프트 인젝션 문구, DAN 스타일 서두, base64 인코딩 페이로드, 이전에 관측된 롤플레이 설정. 목록은 공개 연구, 내부 레드팀 작업, 과거 사건에서 만들어집니다. 시그니처는 알려진 변형을 잡습니다. 적대자는 어떤 문구가 표시되는지 배우면 적응합니다. 통계적 이상 탐지는 기준선으로부터의 이탈을 감시합니다: 비정상적 토큰 분포, 비전형적 지연 시간 대 길이 비율, 거부율이나 특정 도구 호출률의 갑작스러운 급증. 기준선은 정상 조건에서는 서서히 떠돌고, 비정상 조건에서는 급격히 이동합니다. 행동 패턴 탐지는 개별 요청이 노골적으로 악의적이지 않을 때도 남용 프로파일을 매칭합니다 — 단일 주체가 같은 제한된 요청의 수천 개 재문구 변형을 발행, 정당한 콘텐츠와 특정 접미사를 결합한 요청의 급증, 사용자별 응답 분포의 서서한 드리프트. 탐지는 운영자가 실제로 대응하는 경보로 이어질 때만 유용합니다. 분류는 대개 심각(대규모 활성 남용, 온콜 엔지니어 호출), 높음(제한된 해악의 주목할 패턴, 업무 시간 알림), 중간/낮음(대시보드와 주간 리뷰)으로 구분됩니다. 경보 피로가 실패 모드이며, 엄격한 심각도 규율이 이를 막습니다.

11.3 사건 대응은 즉흥이 아니라 플레이북이다

NIST SP 800-61 Revision 2는 준비, 탐지와 분석, 격리, 근절, 복구, 사후 활동이라는 프레임워크를 제공하며, LLM 특유의 플레이북이 이를 확장합니다. 준비는 런북, 온콜 로테이션, 관련 도구에 대한 접근이 사건 전에 존재한다는 뜻입니다. 탐지와 분석은 11.1의 관측 가능성이 값어치를 하는 곳입니다. LLM 사건의 격리는 도구를 비활성화하는 기능 플래그 뒤집기, 더 보수적인 모델 버전으로 다운그레이드, 특정 주체나 테넌트에 대한 속도 제한 강화, 트래픽을 대안 스택으로 재라우팅을 뜻할 수 있습니다. 근절은 사건 유형에 따라 다릅니다: 탈옥은 추가 필터 규칙이 필요할 수 있고, 침해된 RAG 문서는 인덱스에서 제거되어야 할 수 있고, 유출된 자격 증명은 로테이션이 필요할 수 있습니다. 복구는 시스템이 정상으로 돌아오는 시점이며, 격리가 반전되고 근절이 검증됩니다. 사후 활동은 모델 특유의 작업이 집중되는 곳입니다: 가능하다면 행동을 재현하고, 실패의 경계를 규정하고, 사건이 그것이 사용되는 방식을 바꾸어야 할 무언가를 모델에 대해 반영하는지 결정하고, 결과를 평가 스위트에 넣어 이후 회귀가 배포 전에 잡히게 합니다. 0이 아닌 온도 샘플링 아래에서 재현이 언제나 가능하지는 않지만, 목표는 원치 않는 행동이 언제 발생하는지 정의하는 것입니다.

제11장이 준비하는 것

제12장은 파트 IV를 신원과 접근 층으로 닫습니다 — 누가 어떤 조건으로 시스템과 상호작용할 수 있으며, 그 강제가 컴포넌트 전반에 어떻게 구조화되는가. 전통 규율이 적용됩니다: API 키·OAuth·mTLS를 통한 인증; RBAC와 ABAC를 통한 인가; 멀티테넌트 격리; 속도 제한과 할당량; 엔터프라이즈 거버넌스 오버레이. LLM 특유의 확장은 주체로서의 모델과 관련됩니다 — 사용자를 대행하는 에이전트는 자체 신원과 자체 권한을 가지며, 도구 호출을 위한 능력 토큰의 역할, 그리고 멀티테넌트 LLM 플랫폼이 지원해야 하는 테넌트별 모델 행동 구성. 제13장은 그다음 파트 V를 규제 지형으로 엽니다. 이 책이 개발한 기술적 통제가 AI 법, GDPR, 미국 주 법, 그리고 그것을 둘러싼 프레임워크에 매핑되어야 하는 곳입니다.

다음 → 제12장: 접근 제어와 신원. 인증, RBAC 대 ABAC, 멀티테넌트 격리, 속도 제한, 그리고 규제 환경에서 LLM 시스템을 사용 가능하게 하는 엔터프라이즈 거버넌스 오버레이.