제8장 — 모델에 대한 적대적 공격

LLM Primer VII: AI 보안의 챕터별 워크스루 여덟 번째 글입니다. 적대적 공격을 Goodfellow의 2014년 이미지 분류기 작업에서 TextFooler와 보편적 접미사를 거쳐 프로덕션 API에 대한 모델 탈취까지 따라가는 장입니다.

이 장이 존재하는 이유

제4장은 프롬프트 인젝션을 LLM 시스템에서 적대적 입력의 실제적 얼굴로 다루었습니다. 제8장은 그 아래 놓인 연구 전통을 걷습니다. Goodfellow, Shlens, Szegedy의 2014년 논문 「Explaining and Harnessing Adversarial Examples」은 적대적 입력이 병리가 아니라, 고차원 입력 공간에서 모델의 준선형적 행동의 귀결이라고 주장했습니다. 그 프레이밍은 이산 입력 문제를 풀어낸 NLP 작업 — HotFlip, TextFooler, BERT-ATTACK — 을 통해 이 분야에 이어졌고, 보편적 적대 트리거와, 더 최근에는 폐쇄 API에 걸쳐 전이되는 Zou 등의 보편적 접미사 작업으로 LLM에 이어졌습니다. 적대적 입력과 나란히 모델 탈취가 있습니다. 이는 기밀성 공격이며, 추출된 대리 모델은 적대적 입력의 발사대가 됩니다.

8.1 FGSM에서 보편적 접미사로 이어지는 계보

Goodfellow의 Fast Gradient Sign Method — 각 입력 차원을 손실 그래디언트 부호에 엡실론을 곱한 만큼 섭동하기 — 는 연속 입력에 대한 정전형 화이트박스 공격이었습니다. 텍스트는 이 접근을 거부했습니다. 토큰이 이산적이기 때문입니다. 임베딩의 그래디언트를 따라 이동하면 토큰 공간에서 완전히 벗어납니다. NLP 적대적 예제 문헌은 대체로 좋은 이산 근사를 찾는 일이었습니다. HotFlip(Ebrahimi 등, ACL 2018)은 손실을 가장 많이 바꾸는 단일 문자 뒤집기를 사용했습니다. TextFooler(Jin 등, AAAI 2020)는 의미 유사도 제약 아래 빔 서치로 동의어를 대체했습니다. BERT-ATTACK은 마스크된 언어 모델을 사용해 후보 대체를 제안했습니다. Wallace 등의 보편적 적대 트리거는 임의의 입력 앞에 붙였을 때 표적 오동작을 유도하는 짧은 토큰 시퀀스를 찾았습니다. Zou 등의 2023년 「Universal and Transferable Adversarial Attacks on Aligned Language Models」는 오픈소스 모델에서 파생된 그래디언트 최적화 접미사가 API로 쿼리되는 폐쇄 모델에도 전이됨을 보였습니다 — 화이트박스와 블랙박스 사이의 이론적 구분이 실제로는 무너졌습니다. 공격자가 전이 가능한 공격을 생성할 만큼 충분한 대리 모델에 화이트박스 접근권을 가지고 있었기 때문입니다. 그 전이성이 API의 불투명함이 보호가 된다고 생각한 프로덕션 배포에 보편적 접미사 작업이 중요한 이유입니다.

8.2 블랙박스 공격은 API 예산이 시사하는 것보다 저렴하다

가치 있는 상업 LLM은 가중치를 노출하지 않습니다. 관련된 위협 모델은 블랙박스입니다: 공격자는 API 접근에 지불하고, 쿼리를 보내고, 응답을 관측하고, 다듬습니다. 문헌은 이 설정에서 놀랄 만큼 강력한 공격을 보였습니다. 프롬프트 변형에 대한 무차별 대입 검색은 작은 공격 표면 — 짧은 적대적 접미사, 단일 단어 대체 — 을 다루며 실용적 탈옥의 주력입니다. 쿼리 효율 기법은 공격자가 직접 계산할 수 없는 그래디언트의 대리로 모델 자신의 출력 신호를 사용합니다: 토큰이 바뀔 때 응답이 감지 가능하게 이동하면 공격자는 목표를 향해 올라갈 수 있습니다. 자동 탈옥 생성 — PAIR(Chao 등, 2023), TAP(Mehrotra 등, 2023) — 는 공격자 LLM을 사용해 대상의 피드백에 대한 개선을 제안합니다. 경제학이 중요합니다. 쿼리 비용은 몇 센트이며, 작동하는 탈옥을 개발하는 데 공격자의 총 지출은 50달러 미만인 경우가 많고, 결과는 사용자·세션 사이에, 때로는 모델 버전 사이에 일반화됩니다. 이는 「학술적 GPU 클러스터를 가진 누군가」와는 매우 다른 공격자 프로파일입니다.

8.3 모델 탈취는 블랙박스를 사실상 화이트박스로 바꾼다

모델 탈취 — 모델 추출 — 는 공격자의 목표가 특정 출력을 조작하는 것이 아니라, 사용할 만한 대체가 될 만큼 대상의 행동을 재구성하는 것인 부류입니다. Tramèr와 동료들의 2016년 USENIX Security 논문 「Stealing Machine Learning Models via Prediction APIs」는 Amazon Machine Learning, BigML 등에 대한 연구 계보를 확립했습니다. Krishna와 동료들의 2020년 ICLR 논문 「Thieves on Sesame Street」는 BERT 스타일 모델에 대한 추출을 보였습니다. Carlini와 동료들의 2024년 ICML 논문 「Stealing Part of a Production Language Model」은 표적 API 쿼리를 통해 OpenAI를 포함한 프로덕션 모델의 임베딩 투영 층 추출을 시연했습니다 — 제공자가 공개할 의도가 없던 은닉 차원과 구조적 정보를 드러낸 부분 추출입니다. 기밀성 손실을 넘어선 보안적 귀결은, 추출된 대리 모델이 원본에 대해 전이 가능한 적대적 예제를 생성하는 화이트박스 표적이 된다는 것입니다. 방어 층은 조합적입니다: 계정별·키별·IP별·테넌트별 속도 제한; 추출을 시사하는 쿼리 패턴(균일 분포, 체계적 프롬프트 변형, 고엔트로피 출력)에 대한 이상 탐지; 그리고 경계에서의 적대적 입력 탐지. 워터마킹 연구는 추출된 모델을 탐지 가능하게 만들려 하지만, 최첨단은 여전히 진화 중입니다.

제8장이 준비하는 것

제9장은 알려진 정상 모델에 대한 정교한 입력보다 더 근본적인 위험 부류로 향합니다: 배포 전에 그것을 만들어 낸 공급망을 통한 모델 자체에 대한 공격. 학습 데이터, 학습과 배포 사이 어느 지점에서든 모델 가중치, 혹은 추론 시점의 의존성을 통제하는 공격자는 어떤 입력 공간 공격자보다 강한 위치에 있습니다. 이 장은 Gu 등의 2017년부터의 BadNets 계보를 그 LLM으로의 이식까지 따라가며, 안전 학습을 뚫고 지속되는 학습 시점 백도어를 시연한 Anthropic의 2024년 「Sleeper Agents」 연구를 포함합니다. 형식 수준 위험 — CVE-2024-3568 등으로 카탈로그화된 피클 역직렬화 취약점, 그리고 더 안전한 대안으로서의 safetensors — 그리고 프로덕션 AI 조직이 그 간극을 닫기 위해 채택한 배포 파이프라인 패턴(모델 서명, 해시 검증, SLSA, Sigstore)을 걷습니다.

다음 → 제9장: 모델 무결성과 공급망 위험. BadNets, Sleeper Agents, 피클 대 safetensors, 모델 아티팩트를 위한 Sigstore, 그리고 배포 시점 무결성의 지속적 대응물로서의 드리프트 모니터링.