제3장 — 데이터 보안과 프라이버시

LLM Primer VII: AI 보안의 챕터별 워크스루 세 번째 글입니다. 데이터를 하나의 수명주기를 가진 자산으로 다루는 장 — 모델이 부분적으로 암기한 학습 코퍼스부터, 사건에 아직 이름이 붙기 전 Samsung 엔지니어들이 ChatGPT에 붙여 넣은 사용자 입력까지.

이 장이 존재하는 이유

제2장의 위협 모델은 데이터를 여섯 자산 범주 중 하나로 명명했습니다. LLM 시스템의 데이터 보안은 그 자체로 한 장을 받을 만한 뚜렷한 성질을 충분히 갖추고 있습니다. 학습 코퍼스에는 저작권이 있는 자료, 개인 정보, 그리고 시간이 지남에 따라 조건이 바뀌는 라이선스 콘텐츠가 담깁니다. 학습된 모델은 그 코퍼스의 조각을 공격자가 추출할 수 있는 방식으로 암기합니다. 프로덕션 입력 자체가 민감한 데이터입니다 — 2023년 4~5월의 Samsung 사건이 이 논쟁을 종결지었습니다 — 그리고 그 처리는 모델의 행동과 무관하게 보안 관심사입니다. 2023년 3월 이탈리아 Garante의 ChatGPT 조치는 개발자가 그렇게 설계했든 아니든 데이터 보호법이 이 시스템에도 적용된다는 것을 확립했습니다. 이 장은 수집부터 삭제까지 데이터 수명주기를 걷습니다.

3.1 학습 코퍼스는 저작권, PII, 라이선스 드리프트를 짊어진다

프론티어 모델은 어떤 사람도 처음부터 끝까지 읽을 수 없는 규모의 코퍼스 위에 학습됩니다 — Common Crawl, Wikipedia, 도서, 스크랩된 웹 텍스트, 코드, 라이선스된 피드, 합성 데이터. 규모는 능력의 원천이자 위험의 원천입니다. 첫 번째 위험은 저작권입니다: 저작권 있는 자료로 학습하는 일의 법적 지위는 2023년부터 논쟁 대상이 되어, 언론사·저자·이미지 권리 보유자·코드 라이선스 이행자로부터 대규모 소송이 제기되었고, 미국 저작권청, EU, 영국의 입장은 학습이 적어도 어떤 경우에는 저작권 관련 활동이라는 인식으로 수렴하고 있습니다. 두 번째는 개인 정보입니다: 웹 스크랩 코퍼스에는 이름, 연락처, 경력, 법원 기록, 유출 데이터베이스, 자격 증명이 필연적으로 포함됩니다. GDPR, CCPA/CPRA, PIPL, DPDPA, LGPD, PIPEDA 모두 모델 제공자의 위치와 무관하게 이 데이터에 적용됩니다. 2023년 3월 이탈리아 Garante의 ChatGPT에 대한 조치는 첫 규제적 발포였고 이후 추가 조치가 뒤따랐습니다. 세 번째는 라이선스 드리프트 — 조직이 학습해도 된다고 믿는 것과 기저 계약이 실제로 허용하는 것 사이의 점진적 괴리 — 입니다. 학습 데이터 매니페스트에 연결된 코퍼스별 라이선스 등록부가 그 답을 확정된 상태로 유지하는 규율입니다.

3.2 암기는 성질이고, 추출은 공격이다

학습된 모델은 학습 데이터의 손실 있는 분산 압축입니다. 대부분의 학습 문서는 직접 복원되지 않지만, 압축은 완벽하지 않습니다. Carlini와 동료들의 2021년 USENIX 논문 「Extracting Training Data from Large Language Models」는 GPT-2를 신중히 고른 접두사로 유도하면 학습 예제 — 이름, 전화번호, 이메일 주소, 코드 조각 — 를 있는 그대로 방출하게 할 수 있음을 보였습니다. 2023년 ICLR 후속 논문 「Quantifying Memorization Across Neural Language Models」는 암기가 모델 용량, 코퍼스 크기, 예제 중복도에 따라 스케일함을 보였습니다: 더 큰 모델은 더 많이 암기하고, 중복 제거는 도움이 되지만 그 간극을 닫지는 않습니다. Nasr와 동료들의 2023년 「Scalable Extraction of Training Data from (Production) Language Models」는 지시 준수를 깨뜨려 모델을 원시 학습 데이터 출력으로 되돌리는 발산 공격을 통해 ChatGPT를 포함한 정렬된 프로덕션 모델까지 공격을 확장했습니다. 두 개념을 구분해 둘 가치가 있습니다: 암기는 모델의 성질이고, 추출은 API 접근권을 가진 적대자가 그 성질로 하는 일입니다. 모델은 결코 추출되지 않는 콘텐츠를 암기할 수 있고, 암기가 큰 모델에서도 추출 시도가 실패할 수 있습니다. 완화 스택은 중복 제거, 발산에 저항하는 정렬 학습, 카나리 문자열과의 축자 일치에 대한 출력 필터링, 그리고 다량 쿼리 공격의 비용을 올리는 속도 제한입니다.

3.3 사용자 입력은 관리가 필요한 데이터 범주다

2023년 4~5월 Samsung 사건 — 반도체 엔지니어 세 명이 각자 기밀 소스를 ChatGPT에 붙여 넣은 세 건의 별개 사례 — 은 가능한 가장 평이한 방식으로 이 점을 확정했습니다. LLM 통합 시스템에서 사용자 입력 자체가 데이터 범주입니다. 모든 프로덕션 배포는 문서화된 형태로 답해야 합니다: 사용자가 어떤 범주를 정당하게 보낼 수 있는가; 어떤 범주는 프롬프트가 모델에 도달하기 전에 탐지·차단·수정되어야 하는가; 입력은 어디에, 누구에 의해, 얼마 동안 저장되는가; 입력이 이후 학습에 사용되며 사용자는 그에 동의했는가; 저장된 형태를 누가 읽을 수 있는가; 삭제 요청 시 무슨 일이 일어나는가. 답의 부재는 정책의 공백입니다. 규제 도메인을 다루는 시스템의 경우, 사용자 대면 층과 모델 사이의 리덕션 파이프라인 — Microsoft Presidio가 하나의 오픈소스 툴킷 — 은 정책에 따라 PII를 탐지하고 마스킹·치환·거부합니다. 다른 곳에서 데이터를 보호하는 운영 규율이 모두 적용됩니다: 학습·파인튜닝·프롬프트 템플릿·검색 코퍼스·로그·캐시 저장소에 대한 저장 암호화; 전송 중 TLS 또는 mTLS; 저장·프롬프트 구성·로그 경로 전반의 테넌트별 격리; GDPR 제17조나 CCPA 삭제 요청에 대한 정의된 서비스 수준을 갖춘 보존 정책. 멀티테넌트 누출은 가장 확실하게 배포를 끝장내는 실패 모드입니다. 이를 막는 데 필요한 규율은 멀티테넌트 데이터베이스 격리와 견줄 만하며, 모델 자체가 공유된다는 주름이 더해집니다.

제3장이 준비하는 것

제1~3장은 파트 I: 토대를 완결짓습니다. 파트 II는 운영의 내부로 향합니다. 제4장은 프롬프트 인젝션과 탈옥 — OWASP LLM01 문제 — 을 다루며, Willison의 원래 프레이밍, Greshake의 간접 인젝션 논문, Zou 등의 보편적 접미사 작업, Wei 등의 탈옥 분류학, Wallace 등의 지시 계층 학습을 인용합니다. 제5장은 입력 검증과 출력 필터링 층을, 필드가 수렴한 가드레일 도구와 적대적 테스트 프레임워크와 함께 운영 규율로 발전시킵니다. 제6장은 이 장의 데이터 위험과 제4장의 인젝션 위험이 만나는 검색 증강 생성을 다룹니다. 관통하는 원리는, 이 시스템의 보안은 모델의 기능이 아니라 아키텍처의 성질이라는 것입니다.

다음 → 제4장: 프롬프트 인젝션과 탈옥. SQL 인젝션 비유가 어디까지만 통하는지, 모든 모델 갱신을 살아남은 탈옥 계보, 그리고 파트 II의 나머지가 세우는 층화된 완화 전략.