제16장 — 안전한 파인튜닝과 적응

LLM Primer VII: AI 보안의 챕터별 워크스루 열여섯 번째 글입니다. 파인튜닝된 모델을 보안 성질이 물려받는 것이 아니라 획득되어야 할 아티팩트로 다루는 장 — 도메인 어휘를 가르치는 같은 그래디언트 단계가 기저 모델이 지녔던 정렬을 침식할 수도 있기 때문입니다.

이 장이 존재하는 이유

파인튜닝은 낮은 위험의 작업처럼 보입니다. 팀은 잘 정렬된 기저 모델을 취하고, 도메인 데이터로 튜닝하고, 정렬된 행동이 살아남을 것을 기대합니다. 경험적 문헌은 2023년부터 그 기대가 잘못되었음을 분명히 해 왔습니다. Qi 등의 2024년 ICLR 논문 「Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!」는 무해한 지시 데이터조차 유해성 벤치마크에서 거부율을 낮출 수 있음을 보였습니다. Yang 등의 2023년 「Shadow Alignment」는 의도적으로 조작된 100개의 예제가 안전하게 정렬된 오픈 가중치 모델을 전복할 수 있음을 보였습니다. 이 장은 메커니즘, 오염 위협 모델, CI에서 회귀를 잡는 평가 게이트, 튜닝이 침식한 것을 다시 설치하는 정렬 기법, 그리고 나쁜 갱신을 일상 작업으로 바꾸는 롤백 규율을 걷습니다.

16.1 정렬은 행동을 학습시키는 메커니즘으로 침식된다

도메인 적응은 대개 잘 정당화되어 있습니다. 기저 모델은 너무 일반적이고, 팀은 자기 도메인이 말하는 방식을 담은 코퍼스를 가지고 있고, 튜닝은 행동을 더 정확하고 더 브랜드에 맞는 것으로 좁힙니다. 놓치는 것은 좁힘이 무료가 아니라는 것입니다. 도메인 어휘를 가르치는 같은 그래디언트 단계가 다른 모든 행동도 재가중합니다. 모델이 생물 무기 합성을 생성하거나 설득력 있는 피싱을 쓰지 못하게 했던 행동을 포함해서. Qi 등은 안전 튜닝된 Llama-2 변형을 Alpaca 지시 데이터셋 — 공개된, 명백히 유해한 콘텐츠가 없는 — 으로 파인튜닝하고 유해성 벤치마크의 거부율이 상당히 떨어지는 것을 관찰함으로써 이를 직접 측정했습니다. 학습 세트의 어느 것도 모델에게 덜 안전하라고 요청하지 않았습니다. 신호는 거부 시연의 부재로 실려 왔습니다: 모델은 도움 되는 답이 보상되고 거부는 거의 모델링되지 않음을 배웠고, 거부가 학습된 기본값이었던 요청까지 그 교훈을 일반화했습니다. 메커니즘은 목적 함수가 「지시를 따르라」이고 시연이 거의 거부하지 않을 때 그래디언트 하강이 하는 일입니다. 완화는 아키텍처적입니다 — 파인튜닝 세트에 거부 예제를 섞기, 참조 모델 행동을 보존하는 DPO나 KTO 같은 기법 사용, 도메인 적응 후 안전 재학습 적용 — 그러나 어느 것도 자동은 아닙니다.

16.2 의도적 오염은 소규모 데이터 공격이다

우발적 침식이 흔한 경우라면 오염은 최악의 경우입니다. 위협 모델은 단순합니다: 공격자가 파인튜닝 데이터의 일부를 기여하며, 배포자가 평가에서 알아차리지 못할 특정 행동을 설치하는 것이 목표입니다. 행동은 백도어(트리거 문구에 대한 트리거된 출력), 거부 해제(기저 모델이 거부한 것에 순응), 콘텐츠 삽입(무관한 질문을 받을 때 특정 제품이나 정당을 추천), 혹은 특정 조건 아래 활성화되는 장기적 정렬 오류일 수 있습니다. Yang 등의 「Shadow Alignment」는 100개의 적대적 쌍이, 평범한 지시-응답으로 구조화되어, 주요 오픈 가중치 모델의 안전 행동을 전복할 수 있음을 보였습니다. Qi 등의 ICLR 2024는 더 작은 규모에서 재현했습니다: 잘 고른 10개의 예제가 정렬을 실질적으로 침해하기에 충분했습니다. 예제는 이색적일 필요가 없었습니다. 무해한 데이터와 섞이면 데이터셋은 특별하지 않아 보였습니다. 위협 표면은 데이터를 기여하는 당사자 수와 함께 넓어집니다 — 레이블링 파이프라인에 대한 고객 제출, 데이터를 레이블링하는 계약자, 내부 파인튜닝 코퍼스를 준비하는 직원, 상류의 오픈 데이터셋. 각각은 잠재적 주입 채널이며, 방어 태세는 출처 규율입니다: 모든 학습 예제는 그 원천으로 추적 가능해야 하며, 원천은 파인튜닝 결과가 요구하는 수준까지 신뢰되어야 합니다.

16.3 평가 게이트와 롤백이 운영상의 안전망이다

파인튜닝된 체크포인트는 배포 가능한 모델이 아닙니다. 그것은 후보입니다. 간극은 모델이 여전히 자기 일을 하는지 확인하는 능력 평가와 그것이 회귀하지 않았는지 확인하는 안전 평가로 닫힙니다. 올바른 사고 모델은 벤치마크 보고서가 아니라 배포 게이트입니다. 게이트에는 통과/실패 기준, 사전에 설정된 임계값, 그리고 기준이 충족되지 않았을 때의 정의된 결과 — 스테이징으로 승격 없음, 트래픽 없음, 자동 티켓 — 가 있습니다. 마감 압력 아래에서 벤치마크 보고서는 자문이 되고, CI가 강제하는 게이트가 실제로 유지되는 것입니다. 튜닝 침식 후 안전을 복원하는 정렬 기법에는 파인튜닝 세트에 거부 예제 섞기, 거부 선호에 대한 RLHF나 DPO, 인간 레이블링 없이 스케일하는 학습 시점 접근으로서의 Constitutional AI(Bai 등, Anthropic, 2022), 그리고 카나리 세트에 대한 안전 튜닝된 지속 학습이 포함됩니다. 모든 파인튜닝된 모델은 결국 오작동할 것입니다. 유일한 질문은 팀이 몇 분 안에 알려진 정상 버전으로 롤백할 수 있는가, 아니면 하루를 사건 대응에 쓰는가입니다. 차이는 배포 전 규율입니다. 모든 아티팩트, 그 출처, 평가 결과, 배포 상태, 계보를 추적하는 모델 레지스트리 — MLflow Model Registry, AWS SageMaker, Vertex AI, 혹은 사내 동등물 — 가 기초 패턴입니다. 평가 결과를 기록하지 않는 레지스트리는 아티팩트 스토어이며, 아티팩트 스토어는 롤백 중에 도움이 되지 않습니다. 롤백 자체는 안전성이 리허설된 단일 명령이어야 합니다.

제16장이 준비하는 것

제17장은 2026년 중반에 여전히 등장 중인 위협을 앞으로 보며 책을 닫습니다: 모델 출력과 도구 사용을 결합해 감독 없이 수백 단계 동안 실행되는 자율 에이전트; 입력 표면에 이제 이미지와 오디오가 포함되는 멀티모달 모델; 채널의 반대편 개체가 자기가 주장하는 그 존재라는 가정을 침식하는 합성 신원; 그리고 공격자와 방어자 모두가 스스로 모델이 되는 AI 대 AI 군비 경쟁. 이 장의 파인튜닝 관심사는 그 세계에서 사라지지 않습니다. 강화됩니다. 정렬이 3주 전에 조용히 표류한 모델은 셸 접근권이 있는 에이전트의 오케스트레이터이기도 할 때 훨씬 큰 문제가 됩니다.

다음 → 제17장: 미래의 위협과 새롭게 등장하는 방어. 자율 에이전트, 멀티모달 공격 표면, 합성 신원, AI 대 AI 동역학, 그리고 AI 보증이 되어 가는 분야의 형태.