LLM Primer VII — 시리즈 소개 및 목차

LLM Primer VII: AI 보안의 챕터별 워크스루입니다. 시리즈의 마지막 권이자, LLM Primer의 엔지니어링 아크가 적대자, 규제 기관, 확률적 시스템의 일상적 실패 모드 앞에서 무엇이 살아남는지를 결정하는 분야로 착륙하는 지점입니다.

이 시리즈가 존재하는 이유

전통적 보안에서는 코드와 데이터가 서로 다른 것입니다. 파서, 이스케이프, 파라미터화된 쿼리 모두 그 분리 위에 서 있습니다. LLM 시스템에서는 개발자의 지시를 나르는 문자열이 사용자의 입력, 검색된 문서, 도구의 결과, 그리고 학습 중에 모델이 보았던 이 모든 것을 닮은 어떤 것까지 함께 나릅니다. 트랜스포머에게 증명 가능하게 무해한 구문적 위치는 없으며, 모델이 지시가 아닌 데이터로 읽을 것이 보장되는 부분 문자열도 없습니다. 이 구조적 충돌이 프롬프트 인젝션, 탈옥, 적대적 공격이 패치할 구현 버그가 아니라 관리해야 할 설계상의 귀결인 이유입니다. LLM 시스템을 위한 보안 분야는 전통적 보안의 어휘 — 자산, 적대자, 통제, 사건 — 를 물려받되 그 아래의 기반을 다시 짓습니다. 제7권은 그 재건축을 위협 모델부터 규제 경계까지 글로 옮긴 것입니다.

누구를 위해 썼는가

이제 프로덕션의 LLM을 소유하게 된 보안 엔지니어로, 기존 플레이북의 어느 부분이 여전히 유효한지 묻는 사람들. 모델을 학습하거나 파인튜닝한 뒤 이제 누가 그것을 공격할지 추론해야 하는 ML 엔지니어. 추론 스택을 운영하며 남용 패턴이 급증할 때 호출을 받는 플랫폼 리드와 SRE. AI 배포를 승인해야 하고 이사회, 규제 기관, 감사에게 확률 분포를 방출하는 구성 요소를 앞에 두고 「안전하다」가 무엇을 뜻하는지 답해야 하는 CISO. 이 책은 프로덕션 엔지니어링에 익숙하다고 가정하지만 적대적 ML에 대한 사전 지식은 요구하지 않습니다. 모델 중심의 부분은 제1원리부터 세우고, 실제로 연결이 존재하는 지점에서 기존 보안 분야와 접합합니다.

읽는 방법

열일곱 개의 장은 여섯 파트로 나뉩니다. 제1~3장은 토대를 세웁니다 — 왜 AI 보안이 다른가, LLM 시스템을 어떻게 위협 모델링하는가, 그리고 데이터의 전 수명주기 차원. 제4~6장은 프롬프트와 상호작용 층을 걷습니다: 프롬프트 인젝션, 입출력 필터링, 검색 증강 생성. 제7~9장은 모델 자체를 걷습니다: 신뢰성 실패로서의 환각, 적대적 공격, 모델 공급망. 제10~12장은 모델을 둘러싼 시스템 아키텍처 — 격리, 관측 가능성, 접근 제어 — 를 걷습니다. 제13~15장은 거버넌스 경계 — 규제, 책임 있는 AI, 그리고 그 분야를 짊어지는 조직 — 를 걷습니다. 제16장은 파인튜닝을 그 자체로 하나의 보안 표면으로 다루고, 제17장은 아직 형성 중인 새로운 위협으로 닫습니다.

17장 워크스루

5월 10일부터 5월 26일까지 하루에 한 장씩 워크스루가 올라옵니다. 각 글은 해당 장의 핵심 아이디어 세 개를 대략 5분 분량의 읽을거리로 압축한 것이며, 책의 장은 작업된 예제와 코드, In Plain English 사이드바를 담고 있습니다.

• 5월 10일 — 제1장 — 왜 AI 보안은 다른가. 전통적 보안 대 모델 중심 보안; LLM이 코드/데이터 분리를 무너뜨리고 행동 포락선을 공격 표면으로 바꾸는 이유.
• 5월 11일 — 제2장 — LLM 시스템의 위협 모델링. STRIDE, PASTA, MITRE ATLAS를 LLM의 자산, 적대자, 공격 표면에 적용.
• 5월 12일 — 제3장 — 데이터 보안과 프라이버시. 학습 데이터 위험, 암기와 추출, Samsung과 Garante 사건, 그리고 암호화·격리·보존 규율.
• 5월 13일 — 제4장 — 프롬프트 인젝션과 탈옥. 직접·간접 인젝션, 탈옥 분류학, 보편적 접미사, 그리고 완화가 왜 구문적이 아니라 층화되어야 하는가.
• 5월 14일 — 제5장 — 입력 검증과 출력 필터링. 단계적 위생 처리, 구조화된 프롬프팅, Llama Guard, Garak와 PyRIT로의 레드팀, 그리고 정직한 안전 지표.
• 5월 15일 — 제6장 — 검색 증강 생성의 위험. RAG의 신뢰 경계, 악의적 문서 인젝션, 인덱스와 임베딩 오염, 그리고 검색 경로 모니터링.
• 5월 16일 — 제7장 — 환각과 신뢰성. 모델이 지어내는 이유, 캘리브레이션과 온도 스케일링, 하이브리드 검증 아키텍처, 그리고 효과적인 human-in-the-loop 패턴.
• 5월 17일 — 제8장 — 모델에 대한 적대적 공격. FGSM에서 TextFooler를 거쳐 보편적 접미사로 이어지는 계보, 블랙박스 API 공격, 그리고 기밀성 문제로서의 모델 탈취.
• 5월 18일 — 제9장 — 모델 무결성과 공급망 위험. BadNets, Sleeper Agents, 피클 역직렬화 대 safetensors, Sigstore, 그리고 행동 드리프트 모니터링.
• 5월 19일 — 제10장 — 안전한 LLM 아키텍처 설계. 격리, 다층 검증, OPA와 Cedar 정책 엔진, 안전한 API 설계, 그리고 모델 호출에 적용된 제로 트러스트.
• 5월 20일 — 제11장 — 관측 가능성, 로깅, 사건 대응. OpenTelemetry GenAI 규약으로 무엇을 로깅할지, 남용 탐지, 경보, 그리고 NIST 형태의 사건 대응 플레이북.
• 5월 21일 — 제12장 — 접근 제어와 신원. OAuth, mTLS, RBAC 대 ABAC, 멀티테넌트 격리, 속도 제한, 그리고 엔터프라이즈 거버넌스 오버레이.
• 5월 22일 — 제13장 — 규제 지형. EU AI 법의 단계적 적용, AI에 적용되는 GDPR, 감사 가능성, 모델 카드, 그리고 위험 분류 프레임워크.
• 5월 23일 — 제14장 — 편향, 공정성, 책임 있는 AI. 편향의 근원, 공정성 벤치마크와 그 한계, 안전-유용성 트레이드오프, 그리고 조직의 AI 정책.
• 5월 24일 — 제15장 — 안전한 AI 조직 구축. AI 특유의 보안 문화, 내부 레드팀, 벤더 위험, 지속적 평가, 그리고 장기적 모델 스튜어드십.
• 5월 25일 — 제16장 — 안전한 파인튜닝과 적응. 무해한 데이터를 통한 정렬 침식, 의도적 오염, CI의 평가 게이트, 그리고 롤백 규율.
• 5월 26일 — 제17장 — 미래의 위협과 새롭게 등장하는 방어. 자율 에이전트와 도구 사용의 폭발 반경, 멀티모달 공격 표면, 합성 신원, 그리고 AI 대 AI 보증.

이 책과 시리즈에 관하여

LLM Primer 시리즈는 시모다 쇼가 쓴 일곱 권짜리로, Amazon KDP에 출간되고 여기 ReceiptRoller 블로그에서 챕터별로 읽힙니다. 시리즈는 LLM으로 무언가를 짓는 일이 시스템 분야라는 점, 그리고 그 분야는 체크리스트 형식이 아니라 스택의 각 층을 메커니즘 우선의 산문으로 걸어 배우는 것이 가장 좋다는 점을 주장합니다. 제7권은 그 아크를 닫습니다. 이 책은 보안 볼륨이자, 나머지 여섯을 적대적 렌즈로 다시 읽는 볼륨이기도 합니다 — 제3권의 검색 파이프라인을 인젝션 채널로, 제6권의 추론 스택을 속도 제한 경계로, 제2권의 정렬 작업을 파인튜닝을 위한 공격 표면으로. 이전 볼륨들이 「이것이 작동하는 방식이다」라고 말했다면, 이 책은 「이것이 실패하게 만들어질 수 있는 방식이며, 그에 대해 무엇을 할 것인가」를 말합니다.