제8장 — RAG 파이프라인의 데이터 비식별화

LLM Primer III: RAG로 강화하는 엔터프라이즈 AI를 챕터별로 소개하는 시리즈의 여덟 번째 글입니다. 모델이 데이터를 보기 전에 비식별화할 것인가, 사용자가 출력을 보기 전에 할 것인가. 답은 파이프라인의 모든 것을 바꾸고, 규제 체계가 보통 그 답을 골라 줍니다.

이 장이 존재하는 이유

제7장은 누가 무엇을 볼 수 있는지에 답했습니다. 잠글 무엇이 있다는 것을 가정했습니다. 그러나 제6장도 임베딩이 일방향 함수가 아님을 보였습니다 — 벡터 스토어는 원본의 흐릿한 복사본이고, 접근 제어는 바깥 층일 뿐입니다. 코퍼스가 사회보장번호, 의료 기록 항목, 고객 이름, 독점 코드 경로를 담고 있다면, 질문은 더 이상 누가 그것을 검색할 수 있는가만이 아닙니다. 그것이 그 형태로 임베드되었어야 했는지입니다.

그것이 비식별화의 질문이며, RAG 배포에서 가장 엔지니어링이 많이 드는 보안 결정입니다. 선택은 알고리즘적이기 전에 위치적입니다: 어느 단계에서 민감한 콘텐츠가 변환되는가?

8.1 생성 전과 생성 후

생성 전 비식별화는 데이터가 임베드되어 저장되기 전에 변환합니다. 벡터 스토어는 원래의 민감한 값을 결코 담지 않습니다. 모델 층 침해가 모두 일어나도 처음부터 없었던 것을 추출할 수는 없습니다. HIPAA 적용 의료 RAG의 다수와 일부 GDPR 적용 법률 애플리케이션에 의무화된 아키텍처입니다. 대가는 검색 품질입니다: 쿼리는 「Acme Corp」라고 하는데, 코퍼스는 임베딩 전에 「[ORG_47]」이라고 말했고, 밀집 유사도는 가장 정보가 많은 토큰에서 떨어집니다.

생성 후 비식별화는 모델의 출력에서 돕니다. 검색 품질은 보존되고, 인덱스에 민감 데이터가 있기 때문에 프라이버시 보증은 약합니다. 위협 모델이 인프라 측 누수보다 사용자 측 누수일 때 적절합니다. 대부분의 프로덕션 시스템은 하이브리드로 끝납니다 — 직접 식별자와 규제 가중치가 높은 범주는 생성 전에 다루고, 더 가벼운 운영 민감도는 사용자의 인가 프로필에 따라 출력에서 마스킹. 두 가지 구현 규율이 중요합니다: 청킹 전에 비식별화를 돌리십시오(그렇지 않으면 청커가 탐지기가 필요로 하는 맥락을 파괴합니다). 그리고 별도의, 접근 제어되는 매핑 테이블로서의 역토큰화 금고를 두십시오 — 그래야 올바른 역할을 가진 의사는 인덱스가 마스킹한 환자 식별자를 여전히 볼 수 있습니다.

8.2 마스킹, 합성 치환, 차분 프라이버시

기법은 하나의 다이얼 위에서 세 가족으로 나뉩니다. PII 마스킹은 개체를 탐지하고(Microsoft Presidio가 가장 널리 배포된 오픈 구현입니다) 자리표시자로 치환합니다. 어려운 문제는 회수율 — 이름의 10퍼센트를 놓치는 탐지기는 공격자가 임베딩 유사도로 위치 특정 가능한 편집된 문서를 만들어 냅니다 — 과, 어휘를 무너뜨리고 검색을 망치는 과도 마스킹입니다. 규율은 이중 측정입니다: 레이블된 세트에 대한 회수율과 오프라인 검색 품질 벤치마크.

합성 치환은 자리표시자 대신 그럴듯한 가짜 값을 끼워 넣어, 「John Smith」가 [NAME]이 아니라 「Alex Romano」가 되도록 합니다. 임베딩 분포가 잘 유지되고, 모델에는 자연스럽게 읽힙니다. 매핑은 결정론적이고 — 실 개체에서 가짜로 가는 키 해시 — 같은 실 개체는 코퍼스 전반에서 같은 가짜를 얻으며, 키는 금고에 삽니다. 합성 치환은 보조 정보를 가진 적대자에 대해서는 여전히 누수가 있지만, 검색 품질이 중요할 때 마스킹에 대한 의미 있는 개선입니다.

차분 프라이버시는 실제 수학적 보증을 제공하는 가족입니다 — 어떤 단일 레코드가 추가되거나 제거될 때 출력 분포가 exp(ε) 배 이하로 바뀌면 메커니즘은 ε-DP입니다. DP-Prompt는 프롬프트에 선택된 청크에 잡음을 더하고, DP-MLM은 마스크 언어 모델 임베딩 패스에 잡음을 더하며, 1-Diffractor는 DP와 의미 보존 재작성을 결합합니다. DP는 스위치가 아니라 예산입니다 — 모든 쿼리가 일부를 소비하고, 운영 규율은 대체로 예산 회계입니다. 세 가족은 합성되며, 옳은 배포는 보통 그것들을 층으로 쌓습니다.

8.3 효용-프라이버시 트레이드오프

비식별화할 가치가 가장 큰 토큰은 비식별화하면 검색을 가장 심하게 망치는 토큰입니다. 비대칭은 유감스럽지만 협상의 여지가 없습니다. 완화는 부분적입니다: 합성 치환은 자리표시자보다 더 많은 신호를 보존합니다. 유형 태그가 붙은 자리표시자([PERSON named Alex]가 [PERSON]보다)는 약한 마스킹의 대가로 더 많이 보존합니다. 비식별화된 코퍼스는 흔히 비식별화되지 않은 것보다 약간 더 큰 청크를 원합니다 — 편집 손실이 살아남은 더 많은 콘텐츠에 걸쳐 상각되기 때문입니다.

정직한 틀짓기는, 트레이드오프가 단일 축의 다이얼이 아니라 2차원 표면이라는 것입니다 — 그 아래로는 시스템이 불법이 되는 규제 바닥, 그 아래로는 사용자가 떠나는 효용 바닥, 그리고 그 사이의 운영 영역. 어떤 때는 그 간극이 넓고 많은 설계가 통합니다. 어떤 때는 그 간극이 비어 있습니다: 규제 바닥이 효용 바닥 위에 자리하고, 설계 단계가 할 수 있는 가장 가치 있는 일은 만들 수 없는 시스템에 노력을 쏟기 전에 그것을 알아채는 것입니다.

8.4 엔터프라이즈 통합과 설계 선택

Zilliz Cloud는 비식별화를 파서와 임베더 사이의 파이프라인 변환으로 노출하고, 네 개의 체크포인트(수집, 검색, 역토큰화, 출력)에서 후크를 제공합니다. PII Masker는 반대 모양을 취합니다 — 팀이 자기 파이프라인으로 조립하는 집중된 빌딩 블록. 성숙한 배포는 흔히 네 가지 연산을 가진 중앙화된 비식별화 서비스를 짓습니다: 파싱된 문서 비식별화, 인가 컨텍스트 아래 역토큰화 조회, 잔류 민감 콘텐츠에 대한 출력 문자열 스캔, 그리고 소비된 프라이버시 예산 보고.

설계 결정은 알고리즘이 아니라 규제에서 시작합니다. HIPAA Safe Harbor는 고정된 18개 범주 목록을 가진 PII 마스킹에 깔끔하게 매핑됩니다. PCI DSS는 토큰화로 만족됩니다 — 합성 치환과 금고. GDPR의 데이터 최소화 원칙은 가장 민감한 범주에 대해 생성 전을 향해 밀어붙입니다. 차분 프라이버시는 어느 주요 규제도 의무화하지 않지만, 위협 모델이 보조 데이터를 가진 정교한 적대자를 포함하고 코퍼스에 재식별 시 규제 보고 대상이 될 레코드가 담겨 있을 때 옳은 답입니다.

제8장이 준비하는 것

제7장과 제8장은 함께 제4부를 마칩니다. 접근 제어는 누가 무엇을 볼 수 있는지에 답하고, 비식별화는 애초에 거기 무엇이 있는지에 답합니다. 둘 다 파이프라인의 나머지가 존중해야 할 인프라 결정이고, 둘 다 파싱과 청킹 시점에 내려진 — 나중에 값싸게 되돌릴 수 없는 — 선택에 달려 있습니다. 시스템이 설계되고 보호되었다면, 다음 질문은 그것이 동작하는가입니다 — 그리고 그것을 측정할 방법이 필요합니다.

다음 → 제9장: RAG 평가 트라이어드. 컨텍스트 적합도, 근거성, 답변 적합도 — 셋이 함께, 시스템이 검색에서 실패하는지 생성에서 실패하는지 둘 사이의 연결에서 실패하는지를 운영자에게 알려 주는 독립된 세 신호.