제2장 — LLM 시스템의 위협 모델링

LLM Primer VII: AI 보안의 챕터별 워크스루의 두 번째 글입니다. Shostack의 네 질문, STRIDE, PASTA, MITRE ATLAS를 취해, 가장 강력한 구성 요소가 모든 입력을 잠재적 지시로 읽는 시스템에 적용하는 장입니다.

이 장이 존재하는 이유

제1장은 AI 보안이 구조적으로 다르다고 주장했습니다. 제2장은 그 차이에 작업 형태를 부여합니다. Adam Shostack의 네 질문 — 우리가 무엇을 만들고 있는가, 무엇이 잘못될 수 있는가, 그것에 대해 무엇을 할 것인가, 우리는 잘 했는가 — 은 어떤 시스템에서든 동일하지만, 그것에 답하는 도표·자산 목록·적대자 카탈로그는 대상 시스템에 프롬프트 구성 로직, 검색 파이프라인, 도구 레지스트리, 그리고 검색된 콘텐츠를 개발자의 지시와 대등하게 다루는 확률적 함수가 포함될 때 다른 모습을 띱니다. 이 장은 프레임워크들 — STRIDE, PASTA, MITRE ATLAS, NIST AI 100-2 — 을 걷고, 이후 장들이 반복해서 되돌아 참조하는 LLM 위협 모델의 작업 템플릿을 만들어 냅니다.

2.1 프레임워크는 조정되고, 도표는 게으를 수 없다

STRIDE — 스푸핑, 변조, 부인, 정보 유출, 서비스 거부, 권한 상승 — 은 놀랄 만큼 잘 LLM 시스템에 대응됩니다. 스푸핑은 API에 대한 신원 공격이나 사용자 사칭이 됩니다. 변조는 프롬프트 인젝션, 학습 데이터 오염, 검색 인덱스 조작이 됩니다. 부인은 누가 어떤 프롬프트를 보냈고 누가 어떤 출력을 만들어 냈는지에 대한 다툼이 됩니다. 정보 유출은 학습 데이터 추출, 시스템 프롬프트 누출, 테넌트 간 노출이 됩니다. 서비스 거부는 OWASP LLM10, 즉 값비싼 프롬프트와 토큰 폭주를 통한 무제한 소비가 됩니다. 권한 상승은 도구 사용 경계가 됩니다 — 사용자가 모델을 유도해 특권 도구를 호출하게 하면, 그 사용자는 그 도구의 특권을 이어받습니다. PASTA는 이미 레드팀 작업을 하고 있는 팀을 위해 사업 맥락과 적대자 시뮬레이션을 얹습니다. 두 프레임워크 모두 감시하려는 문제가 의존하는 구성 요소를 분리한 데이터 흐름 도표를 가정합니다. LLM 시스템의 도표는 언제나 프롬프트 구성 로직, 검색 파이프라인, 도구 레지스트리, 모델 호출, 출력 처리 경로, 로깅 경로를 별개로 분리해야 합니다.

2.2 통상적 목록에는 나타나지 않는 자산

위협 모델은 그 자산 목록만큼만 유효합니다. LLM 시스템은 이전 작업이 통상적 애플리케이션이었던 팀에게 낯선 범주를 도입합니다. 모델 자체는 몇 개의 하위 자산을 가집니다 — 가중치(막대한 학습 투자에 해당하는 수 기가바이트 이진 파일), 문서화된 행동(시스템 프롬프트, 안전 정책, 정렬 학습), 그리고 평판(공개적 실패는 기술적 침해와 무관하게 제품을 훼손합니다). 데이터는 학습 데이터, 파인튜닝 데이터, 검색 코퍼스, 사용자 입력, 출력을 아우릅니다. 각각은 고유의 기밀성·무결성·가용성 요구를 갖습니다. 프롬프트 자체가 이제 하나의 자산입니다 — 많은 제품의 지적 재산이 수개월에 걸쳐 다듬어진 시스템 프롬프트에 살아 있고, OWASP의 2025년 목록은 시스템 프롬프트 누출을 LLM07로 명시적으로 짚어 냅니다. 인프라는 추론 스택, 벡터 스토어, 도구 인터페이스, 그리고 이들을 묶는 자격 증명을 아우릅니다. 로그는 포렌식 기록이므로 자산이며, 이차적 자산 — 모델 평판, 규제 지위, 고객 신뢰 — 은 일차 자산이 트래픽과 접촉해 살아남는가에 달려 있습니다.

2.3 적대자에게는 특정한 동기가 있다

모든 것을 동등하게 방어하는 위협 모델은 아무것도 방어하지 않습니다. 적대자 목록은 구체적이어야 합니다. 호기심 많은 사용자는 시스템이 무엇을 할지 보려고 찔러 봅니다 — 그들은 소셜 미디어의 기법을 씁니다. 규모는 크지만 사건당 개별 영향은 작으며, 시스템의 겉보기 안전성에 대한 누적 효과는 큽니다. 악의적 사용자는 특정한 해악을 의도합니다 — 시스템이 거부해야 할 콘텐츠 추출, 다른 사용자의 데이터나 시스템 프롬프트 절취, 초안된 피싱이나 생성된 악성 코드를 통해 제3자를 공격하기. 경쟁자는 자신의 개발 비용을 줄이려고 모델(제8장)이나 시스템 프롬프트를 추출합니다. 내부자는 신뢰 경계 안쪽에서 작동합니다. 국가 배후 행위자는 모델 수준의 공격을 더 넓은 기술과 결합하며, 그들의 표적은 대개 모델 자체가 아니라 조직입니다. 자동화된 에이전트 — 그 자체가 LLM이며 때로는 다른 적대자에 의해 구동됨 — 는 가장 새로운 범주이자 제17장이 다루는 대상입니다. 각 적대자 범주는 다른 능력, 다른 동기, 다른 탐지 프로파일을 가지며, 한쪽의 비용을 올리는 완화가 다른 쪽에는 영향을 주지 않을 수 있습니다.

제2장이 준비하는 것

여기서 개발된 템플릿 — 한 페이지 시스템 기술, 신뢰 경계를 그린 데이터 흐름 도표, 자산 목록, 적대자 카탈로그, STRIDE에 따른 위협 열거, 완화 매핑, 잔여 위험 등록부 — 은 나머지 책이 채워 넣는 틀입니다. 제3장은 데이터 자산 범주를 그 전체 구조 — 학습 데이터 위험, 암기와 추출, 민감 입력 처리, 암호화와 보존 — 로 확장합니다. 제4장은 프롬프트 인젝션을 다루는데, STRIDE의 변조 범주가 이미 프롬프트 구성 컴포넌트에 대한 지배적 위협으로 명명한 바 있습니다. 제5장과 제6장은 프롬프트 인젝션에 대한 완화를 입력·출력·RAG 층에서 발전시킵니다. 이후 장들도 같은 템플릿으로 돌아옵니다 — 제11장은 관측 가능성, 제12장은 신원 — 그러나 여기서 소개된 자산 목록과 적대자 카탈로그는 그 장들이 확장하는 대상입니다.

다음 → 제3장: 데이터 보안과 프라이버시. 학습 데이터 위험, 암기와 추출, Samsung과 Garante 사건, 그리고 LLM 시스템의 데이터 보안이 요구하는 암호화·격리·보존 규율.