제15장 — 안전한 AI 조직 구축

LLM Primer VII: AI 보안의 챕터별 워크스루 열다섯 번째 글입니다. 보안 문화, 레드팀, 벤더 위험, 장기적 스튜어드십을 규율을 여러 해에 걸쳐 짊어지는 조직 인프라로 다루는 장입니다.

이 장이 존재하는 이유

조직 규율이 없는 기술적 통제는 시간과의 접촉을 살아남지 못합니다. 제15장은 보안 문화, 레드팀 관행, 벤더 위험 평가, 지속 평가, 그리고 장기적 스튜어드십이 사는 층을 걷습니다. 전제는 AI 시스템이 그 안에서 사용되는 도구가 아니라 보안 경계의 일부라는 것입니다 — 모델 자체가 공격, 조작, 추출될 수 있으며, 그 행동이 하류 공격의 벡터가 될 수 있습니다. 조직 인프라는 이를 반영해야 합니다. 이 장은 공개된 책임 있는 스케일링 프레임워크 — Anthropic, OpenAI, DeepMind, Microsoft, Meta — 를 업계 하한으로 삼아 그 하한을 유지하는 데 팀과 구조가 무엇을 요구하는지 풀어 냅니다.

15.1 문화, 레드팀, 내부 감사가 운영의 하한을 정한다

보안 문화는 조직 구성원이 일상 작업에서 보안에 접근하는 공유된 태도 집합입니다. 직접 엔지니어링하기 어려우며, 구조·인센티브·이야기의 하류 성질입니다. AI 팀의 경우 문화는 모델 자체가 경계의 일부이고 AI 특유의 실패 모드 — 프롬프트 인젝션, 환각, 정렬 침식 — 가 다른 사람이 아니라 팀의 책임임을 인식해야 합니다. 레드팀이 문화에 측정을 제공합니다. 2018년 설립된 Microsoft AI Red Team이 주목할 만한 공개 기여자였고, 2024년에 공개된 PyRIT 프레임워크가 필드에 구체적 도구를 제공했습니다. 내부 레드팀은 전통적 것과 다릅니다 — 입력이 정교하게 조작된 익스플로잇이 아니라 자연어이고, 공격 표면이 코드가 아니라 행동이며, 성공 기준이 시스템 침해가 아니라 모델 출력입니다 — 그러나 규율은 같습니다. 프롬프트 인젝션, 탈옥, 유해 콘텐츠 유도, 편향 탐침, 프라이버시 누출, 사실 오류 전반의 커버리지가 현재 기대되는 범위입니다. 외부 레드팀은 영향이 큰 애플리케이션에 대해 내부와 상호 보완합니다. 내부 감사가 조직이 갖고 있다고 말하는 통제가 실제로 있는 통제인지 검증함으로써 루프를 닫습니다 — 수십 년간 정보 보안에 봉사해 온 같은 규율이 새로운 자산 부류에 적용되는 것입니다.

15.2 벤더 위험 평가는 공급망 층이다

현대 AI 시스템은 컴포넌트들로 구축됩니다: 한 제공자의 파운데이션 모델, 다른 곳의 파인튜닝 인프라, 세 번째의 평가 도구, 네 번째의 벡터 데이터베이스, 다섯 번째의 관측 가능성 플랫폼. 공급망은 길고, 컴포넌트는 이질적이며, 그중 하나의 실패가 전체를 침해할 수 있습니다. 벤더 위험 평가는 공급망이 도입하는 위험을 평가하고 관리하는 규율입니다. 시작점은 목록입니다 — 어느 AI 벤더에 의존하는지 모르는 조직은 그 벤더가 도입하는 위험을 평가할 수 없습니다. 목록은 소비되는 서비스, 관련된 데이터 흐름, 계약 조건, 보유한 인증(SOC 2 Type II, ISO/IEC 27001, 가능한 경우 ISO/IEC 42001), 보안 태세에 대한 공개 정보, 그리고 운영에 대한 중요도를 포착합니다. 목록으로부터 평가 작업이 뒤따릅니다: SOC 2와 ISO 보고서 검토, 데이터 처리 약속 조사, 사건 대응 실적 평가, 벤더 자체 보안 주장 테스트, 그리고 벤더 태세가 바뀌었다는 신호 모니터링. 2023년에 공포된 ISO/IEC 42001 AI 관리 시스템 표준은 AI에서의 벤더 인증의 자연스러운 초점이 되고 있으며, 필드가 이미 사용하는 일반 정보 보안 인증을 보완합니다.

15.3 지속 평가와 장기적 스튜어드십이 루프를 닫는다

배포 전 평가는 스냅숏입니다. 지속 평가는 그 스냅숏이 오래되지 않게 유지하는 운영 규율입니다. Stanford HELM은 모델 전반에 걸친 지속적 능력과 공정성 평가를 위한 공개 인프라를 제공하며, 결과 대시보드는 조직이 배포된 모델을 외부 참조에 대해 벤치마크할 수 있게 합니다. 내부 사용을 위해 지속 평가 인프라는 기준선 비교로 주기적으로 실행되는 카나리 프롬프트, 일정에 따라 그리고 모델 갱신 후 실행되는 레드팀 프로브, 회귀를 잡기 위해 재실행되는 안전 벤치마크, 그리고 인간 검토를 위한 프로덕션 샘플링을 포함합니다. Anthropic Responsible Scaling Policy, OpenAI Preparedness Framework, DeepMind Frontier Safety Framework 각각은 특정 능력 이정표에 접근할 때 추가 평가를 요구하는 트리거와 임계값을 명시합니다. 장기적 스튜어드십은 규율을 수년에 걸쳐 확장합니다. 모델은 수명주기를 가집니다 — 개발, 평가, 배포, 운영, 갱신, 은퇴. 각 전환에는 스튜어드십 요구가 있습니다: 개발은 문서와 초기 평가를 생성하고, 배포는 운영 약속을 생성하고, 운영은 로그와 평가를 생성하고, 갱신은 자체 문서를 가진 새 버전을 생성하고, 은퇴는 수명 종료 처리를 생성합니다. 단계 사이의 연속성을 유지하는 관통 규율이 「스튜어드십」이 명명하는 것이며, 이것이 몇 년의 시야로 AI를 책임 있게 운영하는 조직과 몇 분기의 시야로 그렇게 하는 조직을 구분하는 층입니다.

제15장이 준비하는 것

제16장은 파인튜닝을 그 자체로 하나의 보안 표면으로 좁힙니다. 이 장은 파인튜닝된 모델을 보안 성질이 물려받는 것이 아니라 획득되어야 할 아티팩트로 다룹니다. 무해한 파인튜닝 데이터조차 기저 모델의 정렬을 침식할 수 있음을 Qi 등이 2024년 ICLR 논문 「Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!」에서 시연했습니다. 의도적 오염 — Yang 등의 2023년 「Shadow Alignment」 — 은 같은 메커니즘을 공격으로 바꿉니다. 이 장은 정렬 침식 메커니즘, 오염 위협 모델, 배포 전 회귀를 잡는 CI 평가 게이트, 튜닝이 침식한 것을 다시 설치하는 정렬 기법(RLHF, DPO, Constitutional AI, RLAIF), 그리고 나쁜 갱신을 하루의 소방이 아니라 5분의 사건으로 바꾸는 롤백 규율을 걷습니다. 제17장은 그다음 아직 형성 중인 새로운 위협으로 볼륨을 닫습니다.

다음 → 제16장: 안전한 파인튜닝과 적응. 무해한 데이터를 통한 정렬 침식, 의도적 오염, 나쁜 체크포인트를 멈추는 평가 게이트, 그리고 롤백을 일상 작업으로 만드는 모델 레지스트리.