제17장 — 미래의 위협과 새롭게 등장하는 방어

LLM Primer VII: AI 보안의 챕터별 워크스루의 열일곱 번째이자 마지막 글입니다. 이미 기록될 만큼 성숙한 분야를 넘어, 커뮤니티가 아직 답을 찾고 있는 분야 — 자율 에이전트, 멀티모달 공격 표면, 합성 신원, 그리고 2026년 중반의 AI 대 AI 군비 경쟁 — 을 이름 붙이는 장입니다.

이 장이 존재하는 이유

제1장부터 제16장은 이미 기록될 만큼 성숙한 보안 분야를 걸었습니다. 제17장은 아직 형성 중인 분야를 걷습니다. 대비가 중요합니다. 이전 장들은 「우리는 이것을 어떻게 하는지 알고 있으며, 문제는 여러분의 조직이 할 것인가이다」에 답했습니다. 이 장은 「커뮤니티가 아직 좋은 것이 무엇인지 알아내는 중이며, 내년의 답이 올해의 답과 다를 수 있다」에 답합니다. 두 종류의 작업 모두 실제이며, 두 종류 모두 엔지니어의 도구 상자에 속합니다. 첫 번째 종류는 오늘의 시스템을 안전하게 지킵니다. 두 번째 종류는 그것을 2년 뒤에도 안전하게 지킵니다.

17.1 자율 에이전트는 폭발 반경에 도구 예산을 곱한다

자율 에이전트는 언어 모델에 목표, 도구 세트, 그리고 단계마다의 인간 검토 없이 그 도구를 순차적으로 호출할 권한이 주어진 시스템입니다. 모델이 다음에 무엇을 할지 결정하고, 도구가 실행하고, 결과가 되먹여지고, 루프는 목표에 도달하거나 정지 조건이 발동될 때까지 계속됩니다. AutoGPT와 BabyAGI가 2023년 초에 이 패턴을 공개적으로 프로토타이핑했고, LangChain이 이를 형식화했으며, Anthropic의 Claude computer use(2024년 10월)와 OpenAI의 Operator(2025년 1월)가 이를 모델에 브라우저나 데스크톱에 대한 권한을 주는 상업 제품으로 바꿨습니다. 보안 성질은 단일 턴 생성과 종류가 다릅니다. 하나의 완성을 만드는 모델은 애플리케이션이 작동할 수 있는 텍스트를 쓸 권한을 가집니다. 브라우저를 운영하는 모델은 최악의 경우 인간 검토 지점 없이 브라우저가 할 수 있는 무엇이든 할 권한을 가집니다. 이전 장들에서 조합된 완화 — 도구 허용 목록, 좁은 범위의 능력 토큰, 모델 바깥의 도구별 정책 검사, 영향이 큰 작업에 대한 인간 확인, 엄격한 단계 제한, 예산 상한 — 는 여기서 강조가 뾰족해집니다. 에이전트의 자율성은 어떤 특정 사건 이전에 내려지는 설계 결정이며, 그 설계가 어떤 침해든 그 상한을 결정합니다.

17.2 멀티모달 표면은 인젝션 채널을 몇 자릿수로 넓힌다

텍스트만 있는 모델은 토크나이저가 인식하는 것을 읽습니다. 비전-언어 모델은 픽셀 수준 대역폭이 텍스트가 담을 수 있는 무엇보다 더 큰 이미지를 읽으며, 주변 애플리케이션은 대개 이미지에 무엇이 담겼는지를 문자열을 검사하는 방식으로는 검사할 수 없습니다. Schlarmann과 Hein의 2023년 논문 「On the Adversarial Robustness of Multi-Modal Foundation Models」는 인간이 감지할 수 없는 이미지 섭동이 VLM의 텍스트 출력을 실질적으로 바꿀 수 있음을 보였습니다 — 새 모달리티로 이식된 고전적 적대적 예제 공격. 이미지에 임베드된 텍스트(스크린샷, 밈, 문서 스캔)는 또 다른 표면입니다: 이미지에서 OCR로 감지된 지시가 시각 채널을 통한 간접 프롬프트 인젝션이 될 수 있습니다. 오디오-언어 모델은 발화 입력을 받으며, 인간에게 들리지 않는 것을 포함한 적대적 오디오 섭동이 시연되었습니다. 비디오는 두 채널을 합칩니다. 각 모달리티는 새로운 인젝션 표면이며, 방어 작업은 이제 막 따라잡기 시작했습니다: 이미지의 OCR 감지 텍스트를 표시하거나 제거하는 VLM 이전 스캐너; 멀티모달 입력에 대한 출처 태그; 시각과 오디오 채널을 텍스트와 같은 의심으로 다루는 정렬 학습; 그리고 모달리티 인식 출력 필터링. 이전 장들의 패턴 — 신뢰 경계가 단일 입력으로 무너지지 않게 하기 — 은 이전 장들이 이름 붙일 필요가 없었던 모달리티로 확장됩니다.

17.3 합성 신원과 AI 대 AI가 경계를 다시 그린다

앞의 두 절은 모델을 표적으로 다루었습니다. 세 번째는 도구로 다룹니다. 진짜 인간 생산물과 구별할 수 없는 출력을 만드는 생성 모델은 진위 탐지 가능성에 의존하는 어떤 보안 메커니즘도 침식합니다. 몇 분의 발화에서 생성된 합성 음성은 CEO의 목소리를 알아듣는 재무 직원을 표적으로 한 비싱을 가능하게 합니다. 딥페이크 비디오는 공인의 영상을 지어냅니다. 합성 텍스트는 비즈니스 이메일 침해에서 특정인의 필체를 모방합니다. 이 중 어느 것도 2026년에는 이색적이지 않습니다. 도구는 흔한 것이 되었고, 생성당 비용은 몇 센트입니다. 방어적 응답은 출처 인프라 — 콘텐츠 자격 증명을 위한 C2PA, 워터마킹 연구, 진짜 미디어의 암호학적 서명 — 그리고 고위험 결정이 채널 진위에 의존하는 곳에서의 신원 검증 강화였습니다. 더 넓은 방어 궤적은 AI 대 AI입니다: 다른 언어 모델에 의해 생성되거나 증폭된 공격을 방어하기 위해 배포된, 언어 모델 위에 세워진 보안 시스템. 자동화된 레드팀 — NVIDIA Garak, Microsoft PyRIT — 은 공격자 쪽에서 인간을 모델로 대체합니다. 가드레일, 안전 분류기, 이상 탐지는 방어자 쪽에서 인간을 모델로 대체합니다. 군비 경쟁은 불편하지만 그것이 운영 현실입니다. AI 보증은 AI 시스템이 정의된 신뢰도로 요구를 충족함을 보이려는 새롭게 등장하는 분야로, 그 군비 경쟁에 안정된 발판을 주려 합니다 — 지속 평가 인프라, 제3자 인증, 사건 공개 규범, 그리고 ISO/IEC 42001과 NIST AI RMF 커뮤니티가 확장 중인 표준 작업.

시리즈는 여기서 마칩니다

제17장은 LLM Primer VII의 마지막 장이자, 이로써 LLM Primer 시리즈 전체의 마지막 장입니다. 제1권은 어텐션 메커니즘에서 바깥으로 향하는 트랜스포머 기반 언어 모델의 아키텍처를 소개했습니다. 제2권은 학습, 정렬, 그리고 그것을 짓는 실용적 수명주기를 다뤘습니다. 제3권은 검색 증강 생성과 그 주변의 데이터 파이프라인을 살폈습니다. 제4권은 평가, 도구, 그리고 프로덕션의 모델을 감싸는 엔지니어링 관행을 보았습니다. 제5권은 이 장이 방금 적대적 측면에서 다룬 에이전트와 도구 사용 패턴을 조직 규모에서 풀어냈습니다. 제6권은 조직 규모에서의 추론 인프라와 스케일링 패턴을 다뤘습니다. 제7권, 이 볼륨은 그 모든 것을 방어하는 이야기였습니다. 일곱 권은 하나로 이어진 지도로 쓰였습니다. 이 장에 이전 볼륨들을 거치지 않고 도달한 독자에게는 되돌아가 보기를 권합니다. 이 책의 많은 보안 주장이 그 볼륨들이 확립한 아키텍처적 세부 위에 서 있기 때문입니다.

자매 볼륨 Physical AI는 이 지도를 체화된 시스템 — 로봇, 자율 차량, 그리고 같은 확률적 기반이 이제 액추에이터를 제어하고 인간과 물리적 공간을 공유하는 물리 세계 배포 — 으로 확장합니다. 이 볼륨의 보안 관심사는 수정과 함께 넘어갑니다: 시각 채널을 통한 프롬프트 인젝션은 물리적 도달 범위 1미터의 안전 관심사가 되고, 도구 경계는 이제 모터 컨트롤러이며, 적대적 입력은 운영 환경에 놓인 물체가 됩니다. 이 일곱 볼륨의 분야는 그 작업의 대체가 아니라 전제 조건이며, 트랜스포머 어텐션에서 인프라를 거쳐 보안으로 이어진 아크는 이해관계가 손에 잡히는 것이 되는 물리 세계로 이어집니다.

이 워크스루를 읽어 주셔서 고맙습니다. 책 자체는 이 글들이 담기 어려운 긴 형식의 작업된 예제, 실행 가능한 코드, 사건 플레이북, 그리고 In Plain English 사이드바를 담고 있습니다. 이 중 어느 것이든 유용했다면, 가장 큰 다음 걸음은 그 틀을 여러분의 조직이 방어하는 특정 시스템에 적용하는 일입니다 — 제2장의 위협 모델, 제4~5장의 층화된 완화, 제10장의 아키텍처 패턴, 제11장의 관측 가능성, 그리고 제15장의 조직 규율이 하중을 감당하는 조각들입니다.