제1장 — 왜 AI 보안은 다른가

LLM Primer VII: AI 보안을 챕터별로 걷는 워크스루의 첫 글입니다. AI 보안이 전통적 보안에 ML이라는 형용사만 붙인 것이 아니라는 것 — 기반 자체가 바뀌었고, 이후 모든 장이 그 변화에서 파생된다는 것 — 을 주장하는 장입니다.

이 장이 존재하는 이유

30년 동안 보안 엔지니어링은 안정된 기반 위에 서 있었습니다. 코드와 데이터는 서로 다르며, 취약점은 명세된 행동과 실제 행동 사이의 불일치이고, 패치가 그 간극을 닫습니다. 대형 언어 모델은 이 기반을 특정한 방식으로 무너뜨립니다. 방어해야 할 행동이 소스 코드가 아니라 수십억 개의 학습된 가중치에 인코딩되어 있고, 그 실행 대상은 신뢰되는 지시와 신뢰되지 않는 콘텐츠가 같은 문자열 안에 섞인 입력입니다. 「취약점」은 흔히 버그가 아닙니다 — 모델이 학습된 그대로, 설계자가 예상하지 못한 맥락에서 정확히 그 일을 하고 있는 것뿐입니다. 「모델이 너무 협조적이었다」에 대한 패치는 존재하지 않습니다. 존재하는 것은 재설계, 재학습, 혹은 추가 격리뿐입니다. 이 장은 이후 모든 것을 형성하는 구조적 차이들에 이름을 붙입니다.

1.1 기반이 바뀌었다

전통적 애플리케이션 보안이 작동하는 이유는 행동이 코드에 명세되고 결함이 위치 지정 가능하기 때문입니다. SQL 인젝션에는 구조적 해결책 — 파라미터화된 쿼리 — 이 있는데, 쿼리와 파라미터 사이에 구문적 구분이 존재하기 때문입니다. 언어 모델에는 그러한 명세가 없습니다. 그것에는 학습 목적 함수와 가중치의 분포가 있을 뿐이며, 특정 입력에 대한 그것의 행동은 창발적입니다. 한 표현에는 거부하고 다른 표현에는 응하는 모델을 두고 고쳐야 할 코드 줄은 없습니다. 보안 질문은 「이 코드 경로에 버그가 있는가」에서 「이 시스템이 무엇을 할 수 있으며, 어떤 조건에서 그 능력이 위험해지는가」로 옮겨갑니다. 전통적 보안은 또한 결정론을 기준선으로 가정했습니다. 여기서 기준선은 확률적입니다. 천 개의 테스트 케이스에서 성공하는 안전 필터가 천한 번째에서는 실패할 수 있습니다. 샘플링이 다른 경로를 뽑았기 때문입니다. 방어자는 도달 불가능성의 증명이 아니라 분포와 신뢰 구간으로 사고합니다. 2025년에 개정된 OWASP LLM Top 10은 이 새로운 층에 이름을 붙이려는 하나의 시도입니다 — 프롬프트 인젝션이 LLM01, 무제한 소비가 LLM10에 놓입니다 — 그러나 그것은 기존 웹 애플리케이션 층의 대체가 아니라 그 위에 얹힌 하나의 층입니다.

1.2 공격 표면이 넓어진다

LLM 통합 애플리케이션은 이전에는 없었던 표면들을 도입합니다. 프롬프트 자체는 개발자 지시, 검색된 컨텍스트, 사용자 입력, 도구 출력의 연결입니다 — 모두 모델이 고유한 신뢰 경계 없이 읽는 토큰으로 존재합니다. 사용자가 어느 부분에라도 영향을 미칠 수 있다면, 그들은 개발자와 같은 채널을 공유하는 셈입니다. 검색 경로는 두 번째 새로운 표면입니다: 인덱싱된 모든 문서가 간접 입력이 되며, 인덱스에 들어가는 것에 영향을 미칠 수 있는 자는 누구든 모델이 보는 것에 영향을 미칠 수 있습니다. Greshake와 동료들은 2023년 이것을 간접 프롬프트 인젝션이라 명명하고, 그 채널이 실제이며 닫기 어렵다는 것을 보였습니다. 도구 사용 경계는 세 번째입니다: 모델에 부여된 각 도구는 그 결과가 응답 텍스트를 떠나 실제 시스템에 도달하는 권한입니다. 학습 파이프라인은 네 번째로, 모델을 갱신하는 데 사용된 데이터는 신뢰 경계의 일부가 됩니다. 모델 아티팩트는 다섯 번째입니다 — CVE-2024-3568이 보였듯이, 로드 시 역직렬화가 코드를 실행할 수 있는 대형 바이너리입니다. 출력 처리는 여섯 번째로, 하류로 전달되는 모델 생성 콘텐츠는 다른 이름의 신뢰되지 않는 입력입니다. MITRE ATLAS는 이 넓어진 표면에 대한 전술과 기법을 카탈로그화합니다.

1.3 모델이 인프라가 되고 있다

2012년과 2022년 사이에 모델은 애플리케이션 안의 기능이었습니다. 실패한 추천 시스템은 더 나쁜 추천을 만들었습니다. 대형 언어 모델은, 특히 도구 사용을 갖춘 경우, 이를 바꾸었습니다. 모델은 점점 오케스트레이션 층 자체가 되고 있습니다 — 문서를 읽고, 어떤 도구를 호출할지 결정하고, 메시지를 초안하고, 다른 컴포넌트가 실행할 코드를 생성합니다. 그것은 흔히 시스템에서 가장 강력한 구성 요소이자, 누구든 저작할 수 있는 자연어 입력에 의해 구동되는 가장 유연한 구성 요소입니다. 전통적 데이터베이스에는 쿼리 언어와 접근 제어가 있지만, 오케스트레이터로 작동하는 LLM에는 그러한 내재적 제약이 전혀 없습니다 — 오직 주변 애플리케이션이 덧붙인 제약만 있을 뿐입니다. 여기서 「인프라」가 뜻하는 것이 바로 이것입니다: 침해가 전파되는 하중을 감당하는 구성 요소. 인프라는 정의된 SLO, 포괄적 로깅, 변경 통제, 사건 대응을 갖춥니다. 2024년과 2025년까지 대부분의 LLM 배포는 아직 그 성숙도에 도달하지 못했습니다. 인프라라는 프레이밍은 조달까지 이어집니다: 조직이 관리형 LLM 서비스를 자신의 스택에 임베드할 때, 벤더의 모델 갱신 규율, 평가 게이트, 공개 관행이 구매자의 리스크 프로파일의 일부가 됩니다.

제1장이 준비하는 것

이 책의 나머지는 여기서 이름 붙인 구조적 변화들에 대한 응답입니다. 제2장은 LLM 시스템에 맞게 조정된 위협 모델링을 소개합니다 — STRIDE와 PASTA 프레임워크를 통상적 도표에는 나타나지 않는 자산, 적대자, 공격 표면으로 향하게 합니다. 제3장은 데이터 차원을 그 전 수명주기에 걸쳐 다룹니다. 제4~6장은 프롬프트와 상호작용의 내부 — 인젝션, 필터링, RAG — 를 걷습니다. 제7~9장은 모델 층을 걷습니다. 제10~12장은 그것을 둘러싼 시스템 아키텍처를 걷습니다. 제13~15장은 규제·책임 있는 AI·조직의 경계를 덧붙입니다. 제16장은 파인튜닝을 그 자체로 하나의 보안 표면으로 걷고, 제17장은 아직 형성 중인 위협을 봅니다. 이 아크 전체는 이 장이 세운 전제 위에 서 있습니다: 기반이 바뀌었으며, 분야도 그와 함께 바뀌어야 한다는 것.

다음 → 제2장: LLM 시스템의 위협 모델링. Shostack의 네 질문, LLM 자산에 대한 STRIDE와 PASTA, 그리고 이 새로운 표면이 끌어들이는 적대자에 대한 전술 카탈로그로서의 MITRE ATLAS.