제5장 — 입력 검증과 출력 필터링

LLM Primer VII: AI 보안의 챕터별 워크스루 다섯 번째 글입니다. 제4장의 층화된 완화 틀을 운영 규율 — 위생 처리 단계, 가드레일 도구, 구조화된 출력, 레드팀, 그리고 의미 있는 안전 측정 — 로 발전시키는 장입니다.

이 장이 존재하는 이유

제4장에서 명명한 네 층의 완화 아키텍처는 층이 운영 가능한 만큼만 유효합니다. 제5장은 그중 두 층을 발전시킵니다: 입력 측, 즉 사용자 요청이 검사되어 통과·변환·거부되는 곳; 그리고 출력 측, 즉 모델의 응답이 시스템을 떠나기 전에 두 번째 게이트 세트에 대해 확인되는 곳. 그 양쪽 주변에는 구조화된 프롬프팅, 적대적 테스트, 안전 측정이라는 규율이 자리합니다. 도구는 성숙해졌습니다 — Llama Guard, NeMo Guardrails, Lakera Guard, AWS Bedrock Guardrails, Garak, PyRIT, promptfoo — 그리고 이들을 엮는 운영 패턴은 수렴했습니다.

5.1 위생 처리는 단일 샷이 아니라 단계적이다

「입력 위생 처리」라는 말은 SQL 인젝션 시대의 잘못된 함의를 실어 옵니다. LLM 시스템에서 위생 처리는 단계적 과정입니다 — 검사·분류·변환·통과 또는 거부 — 이며, 그 출력은 「안전한」 입력이 아니라 결과가 기록된 상태로 정책 게이트를 통과한 입력입니다. 파이프라인은 비용 순으로 대체로 네 가지 검사를 갖습니다. 구조적 검사가 가장 저렴합니다: 길이 제한, 문자셋 제약, 유니코드 NFKC 정규화, 스무글링 문헌의 대부분을 차지하는 제로폭 문자와 혼동 문자 제거. 패턴 기반 검사는 명시적 무시와 알려진 적대적 템플릿을 잡아냅니다. 양방향으로 잡음이 있지만 히트를 차단이 아니라 로깅할 때 대략적 스크린으로 유용합니다. 분류 검사는 전용 안전 모델 — Llama Guard, OpenAI Moderation API, 그리고 Lakera와 AWS Bedrock의 동등물 — 을 사용해 정의된 분류 체계에 대해 입력을 점수 매깁니다. 가장 비싼 층인 LLM 기반 검사는 분류기의 신뢰도가 중간일 때 의도를 추론하기 위해 더 작은 모델을 호출합니다. 각 단계는 오탐률과 미탐률을 가지며, 파이프라인이 프로덕션 트래픽을 신뢰받기 전에 둘 다 측정되어야 합니다.

5.2 구조화된 출력은 그저 형식의 편의가 아니라 방어다

제4장의 심층 방어 아키텍처에는 이 장이 발전시키는 세 번째 구조적 층이 있습니다: 모델의 출력을 정의된 스키마로 제약하여, 인젝션에 영향을 받은 출력조차 구조적 포락선을 벗어날 수 없게 하는 것. 가장 단순한 형태는 스키마 강제 JSON입니다. 모델은 스키마를 따르는 JSON을 방출하도록 지시받고, 애플리케이션이 파싱·검증하며, 형식에 맞지 않는 출력은 거부되거나 재시도됩니다. Jason Liu의 instructor 라이브러리는 OpenAI와 Anthropic 클라이언트를 pydantic 모델로 감쌉니다 — 개발자가 출력 구조를 기술하는 클래스를 작성하면, 라이브러리가 프롬프트 구성, 검증, 재시도를 처리합니다. Microsoft Research의 Guidance는 더 나아가, 어떤 위치가 자유 텍스트를 담을 수 있는지 정확히 정의하는 템플릿에 대해 토큰 단위로 생성을 제약합니다. 출력 조정 측에서는 Meta의 Llama Guard 계열 — 버전 1에서 3까지, 3에서 멀티모달 커버리지 추가 — 이 2023~2025년 동안 표준 오픈 가중치 분류기가 되어 대부분의 프로덕션 스택에 응답 필터로 통합되었습니다. NVIDIA NeMo Guardrails와 Lakera, AWS Bedrock, Cisco AI Defense의 상업적 제공물이 비슷한 기반에서 경쟁합니다.

5.3 측정되지 않는 방어는 방어가 아니다

레드팀은 안전 주장을 측정으로 바꿉니다. 수동 레드팀 — 훈련된 적대적 테스터, 대개 외부 — 은 배포에 대해 성공한 특정 프롬프트를 공격 패턴별로 묶어 만들어 냅니다. 자동화된 레드팀은 수동 작업을 입력 공간 전반으로 확대합니다. 2023년 오픈소스로 공개되고 지속 갱신되는 NVIDIA Garak은 대상 엔드포인트에 대해 일련의 프로브를 실행하고 어느 것이 성공했는지 보고합니다. 프로브는 프롬프트 인젝션, 데이터 누출, 혐오 발언 유도, 인코딩 스무글링, 롤플레이 탈옥 등을 다룹니다. 2024년 공개된 Microsoft PyRIT(Python Risk Identification Toolkit)는 한 모델이 다른 모델에 대한 공격을 생성하는 에이전트 레드팀 패턴을 더합니다. promptfoo는 프롬프트와 모델을 평가 세트에 대해 비교하며, 어떤 구성이 더 안전한가라는 질문에 유용합니다. 중요한 지표는 두 실패 모드를 조합합니다. 공격 성공률은 「정의된 공격 세트의 몇 퍼센트가 통과하는가」에 답합니다. 거부 캘리브레이션은 「거부된 요청 중 거부되지 않았어야 할 것은 몇 퍼센트인가」에 답합니다. 공격 성공률 0에 거부율 50%인 시스템은 문제를 해결한 것이 아니라, 비용을 안전하지 않은 출력에서 도움이 되지 않는 것으로 옮긴 것입니다. 두 지표 모두 실제 트래픽 분포에서 뽑힌 레이블된 샘플이 필요하며, 둘 다 평가 세트 구성에 조건적입니다. 구성 없이 단일 숫자를 보고하는 것이 안전 주장이 가장 자주 오도하는 지점입니다.

제5장이 준비하는 것

제6장은 검색 증강 생성을 특정해 다룹니다. 여기서 발전된 입력 층은 사용자 메시지를 신뢰되지 않는 부분으로 취급합니다. RAG 시스템은 두 번째 신뢰되지 않는 부분을 더합니다: 검색된 조각들이며, 그 출처는 사용자 메시지보다 덜 깨끗한 경우가 많습니다. Greshake의 간접 프롬프트 인젝션, LLM 통합 애플리케이션에 대한 Liu의 인젝션 공격 특성 규명, 검색 코퍼스 오염에 대한 Zhong의 연구, 그리고 최근의 PoisonedRAG와 BadRAG 계보 모두 이 두 번째 표면이 실패하는 방식을 서술합니다. 제6장은 RAG의 신뢰 경계, 구체적 공격 패턴, 필드가 수렴한 안전한 검색 아키텍처, 그리고 검색 수준 공격이 사건이 되기 전에 드러내는 모니터링 관행을 걷습니다.

다음 → 제6장: 검색 증강 생성의 위험. RAG의 신뢰 경계, 악의적 문서 인젝션, 임베딩 경로를 통한 인덱스 오염, 그리고 위생 처리가 놓친 공격을 잡는 모니터링.