제10장 — 안전한 LLM 아키텍처 설계

LLM Primer VII: AI 보안의 챕터별 워크스루 열 번째 글입니다. 아키텍처를 일차적 보안 분야로 다루는 장 — 확률적 컴포넌트의 가장 안전한 구성은 그 자제력이 아니라 구조에 의해 폭발 반경이 제한된 구성이기 때문입니다.

이 장이 존재하는 이유

파트 I~III의 장들은 위협과 모델 측 방어를 명명했습니다. 제10장은 모델 주변의 아키텍처 — 격리 경계, 검증 계층, 정책 엔진, API 계약, 그리고 시스템에 구조적 성질을 부여하는 제로 트러스트 원칙 — 를 걷습니다. 전제는 이전 보안 엔지니어링에서 바뀌지 않았습니다: 침해를 가정하고, 피해를 격리하고, 침해를 읽을 수 있게 하기. 새로운 것은 격리해야 할 컴포넌트가 어떤 입력 채널로도 지시를 받을 수 있는 자연어 구동 오케스트레이터라는 점입니다. 아키텍처 패턴은 이전 시대에서 옮겨오고, 이 장이 하는 일은 그것이 LLM에 어떻게 적용되는가의 구체입니다.

10.1 격리는 폭발 반경을 제한한다

격리 경계는 한쪽의 컴포넌트가 제어된 인터페이스를 통과하지 않고는 다른 쪽에 직접 영향을 줄 수 없게 하는 의도적 이음매입니다. 격리를 하는 보안적 이유는, 침해된 컴포넌트가 정당한 인터페이스를 통해 도달할 수 있었던 것에 침해 피해가 한정된다는 것입니다. LLM 시스템에서 가장 중요한 격리 질문은 모델과 시스템이 접근할 수 있는 다른 모든 것 사이입니다. 제한 없는 파일시스템 접근, 제한 없는 네트워크 접근, 허용 목록 없는 셸 실행 도구를 가진 프로세스에서 실행되는 모델은 폭발 반경이 큽니다. 정의된 시스템 콜 세트를 가진 샌드박스에서 실행되고, 네트워크 접근이 도메인 수준 허용 목록을 가진 이그레스 프록시를 통과하며, 도구가 요청마다 주변 코드가 발급한 능력 토큰을 통해 호출되는 프로세스의 모델은 훨씬 작습니다. 이 패턴은 코드 실행에도 확장됩니다 — OpenAI와 Anthropic이 코드 인터프리터 환경에 사용하는 것과 같은 샌드박스 도구는 일회성 gVisor나 Firecracker VM에서 생성된 코드를 실행합니다 — 그리고 브라우징에도 확장됩니다. 헤드리스 브라우저는 내부 엔드포인트에 접근 없는 격리된 네트워크 네임스페이스에서 실행됩니다. 격리는 어떤 특정 공격이 일어나기 전에 내려지는 설계 결정이며, 필드가 제공하는 폭발 반경 감소 대비 가장 저렴한 보안 투자입니다.

10.2 검증은 계층화되고, 정책은 선언적이다

단일 검증 지점은 단일 실패 지점입니다. 프로덕션 LLM 엔드포인트는 대개 클라이언트 요청과 응답 사이에 다섯 계층을 구성합니다. 인증은 주체의 자격 증명을 확인합니다. 요청 검증은 요청을 API 스키마에 대해 확인합니다 — 타입, 범위, 길이, 문자셋. 정책 평가는 인증된 주체, 검증된 요청, 그리고 현재 시스템 상태가 이 작업을 허용하는지 묻습니다. 모델 호출은 시스템 프롬프트, 검증된 사용자 입력, 정책이 허용하는 것으로 범위가 좁혀진 도구 목록, 그리고 출력 제약과 함께 실행됩니다. 출력 필터링은 응답이 반환되기 전에 반환되어서는 안 되는 콘텐츠 — 유출된 비밀, 금지 콘텐츠, 안전하지 않은 도구 호출 — 를 확인합니다. 정책 로직은 시간에 따라 늘어나며, 애플리케이션 코드에 흩어져 있으면 검사·테스트·진화가 어려운 많은 조건문의 합집합이 됩니다. 필드는 정책을 코드로부터 분리하는 쪽으로 수렴했습니다. CNCF 프로젝트인 Open Policy Agent(OPA)는 Rego로 작성된 정책을 평가합니다. 2023년에 공개된 AWS Cedar는 형식 검증 성질을 가진 더 초점 있는 인가 언어입니다. 둘 다 프로덕션 준비되어 있으며, 선택은 대개 조직적 정렬에 달려 있습니다. 정책은 버전 관리되고 리뷰 가능한 아티팩트가 되며, 시스템의 유효 보안 정책이 언제나 한 곳에서 읽을 수 있게 됩니다.

10.3 모델 호출에 적용된 제로 트러스트

API는 LLM 시스템과 그 호출자 사이의 계약입니다. 안전한 API 설계는 그 계약을 형성해 그 불변식이 적대적 호출자와의 접촉을 살아남게 하는 분야입니다. 명시적 입력 스키마 — 엄격한 타입, 범위, 허용 목록 열거 — 는 비용이 적으며 API가 호출자에게 놓는 암묵적 신뢰를 제한합니다. 내부 상태를 유출하지 않는 구조화된 오류 응답은 모호한 오류 문구가 가능하게 하는 정보 수집을 회피합니다. 아이덱포턴시 키, 요청 ID, 버전 관리는 추가 상태를 요구하지 않고도 시스템에 호출자 행동에 대한 관측 가능성을 줍니다. Google의 2014년 BeyondCorp 논문에서 명시되고 2020년 NIST SP 800-207에서 형식화된 제로 트러스트 모델은 이 원리를 확장합니다: 어떤 호출자도 네트워크 위치 덕분에 신뢰받지 않습니다. 모든 요청은 인증하고, 명시적 정책에 대해 인가되고, 장치와 맥락에 대해 평가되고, 로깅됩니다. LLM 시스템에 적용된다면 모델 호출 자체가 주체가 됩니다 — 모델에서 하류 도구로의 요청은 모델로서 인증하고, 모델이 대행하는 인간의 신원을 지니며, 두 신원을 모두 아는 정책에 대해 인가됩니다. 좁은 범위와 짧은 TTL을 가진 능력 토큰이 이를 조합적으로 만드는 것입니다. 결과는, 침해된 프롬프트가 전체 시스템 침해로 상승할 수 없다는 것입니다. 모델 자신의 능력이 주변 코드가 특정 요청을 위해 발급한 토큰에 의해 제한되기 때문입니다.

제10장이 준비하는 것

가시성 없는 구조는 보이지 않게 실패합니다. 제11장은 아키텍처 방어를 운영 가능한 시스템으로 바꾸는 관측 가능성 층을 살핍니다 — LLM이 루프에 있을 때 무엇을 로깅할지, 텔레메트리를 실시간 경보·사후 조사·용량 계획·컴플라이언스·지속적 평가에 같은 기록에서 서비스하도록 어떻게 구조화할지. 2024년부터 LLM 특정 스팬과 속성을 표준화하기 시작한 OpenTelemetry GenAI 시맨틱 규약이 벤더 중립적 기반을 제공합니다. 구체적 구현 — Langfuse, Helicone, Arize Phoenix, Datadog LLM Observability — 이 서로 다른 트레이드오프로 그 위에 앉습니다. 제12장은 그다음 신원과 접근 차원을 다룹니다 — OAuth, mTLS, RBAC 대 ABAC, 멀티테넌트 격리, 속도 제한, 그리고 규제 환경에서 시스템을 사용 가능하게 하는 엔터프라이즈 거버넌스 통제.

다음 → 제11장: 관측 가능성, 로깅, 사건 대응. OpenTelemetry GenAI 규약으로 무엇을 로깅할지, 남용 패턴 탐지, 그리고 실패가 확률적인 시스템에 대해 NIST 형태의 사건 대응을 실행하는 방법.