제14장 — 편향, 공정성, 책임 있는 AI

LLM Primer VII: AI 보안의 챕터별 워크스루 열네 번째 글입니다. 책임 있는 AI를 불확실성 아래 내려지는 선택의 규율로 다루는 장 — 기술적 도구가 트레이드오프를 드러내되 해결하지는 못하는 곳입니다.

이 장이 존재하는 이유

편향, 공정성, 책임 있는 AI는 제13장의 규제가 다루려는 실질 내용입니다. 기술 문헌과 조직 문헌이 여기서 만납니다. 이 장은 LLM에서 편향의 근원, 공정성 측정 문헌과 그 방법론적 한계, 정렬 작업에서 문서화된 안전-유용성 트레이드오프, 관련되지만 뚜렷한 규율로서의 투명성과 설명 가능성, 그리고 그 모든 것을 운영 관행으로 번역하는 층으로서의 조직의 AI 정책을 걷습니다. Bender, Gebru, McMillan-Major, Shmitchell의 2021년 「Stochastic Parrots」 논문이 기준 프레이밍을 설정했으며, 필드는 그 프레이밍이 엔지니어링에 대해 무엇을 함의하는지 지난 몇 년간 풀어 왔습니다.

14.1 편향에는 서로 다른 메커니즘의 여러 근원이 있다

LLM의 편향은 하나의 현상이 아닙니다. 주요 근원은 학습 데이터 편향(코퍼스가 그것을 만든 인구를 반영합니다 — 영어가 과대표되고, 어떤 인구 집단은 다른 집단보다 더 많이 대표되며, 역사적 연관 패턴이 보존됩니다), 표상 편향(어떤 개념이나 집단은 학습 신호가 더 성글기 때문에 덜 미묘하게 대표됩니다), 할당 편향(개별 출력이 합리적으로 보여도 모델의 출력이 자원 — 관심, 기회, 신용 — 을 집단 전반에 고르지 않게 분배합니다), 평가 편향(모델을 인증하는 데 사용되는 벤치마크가 제작자와 참조 인구의 편향을 반영합니다), 그리고 배포 편향(사용 맥락이 학습이 예상하지 않은 결과 쪽으로 모델을 밉니다)입니다. 각각은 다른 메커니즘과 다른 완화 경로를 가집니다. 학습 데이터 편향은 큐레이션과 증강으로 다루어지지만 한계가 있습니다 — 존재하지 않는 대표성 있는 데이터를 지어낼 수는 없습니다. 표상 편향은 표적 파인튜닝으로 다루어지되, 파인튜닝이 정렬을 침식할 수도 있다는 제16장의 주의가 붙습니다. 할당 편향은 모델 수준 튜닝이 아니라 시스템 수준 개입이 필요합니다. 평가 편향은 벤치마크 세트의 확장이 필요합니다. 배포 편향은 어떤 모델 작업으로도 대체할 수 없는 제품 수준의 검토가 필요합니다.

14.2 공정성은 서로 불일치하는 벤치마크로 불완전하게 측정된다

LLM의 공정성 측정은 상당한 방법론적 문헌과 여러 표준 벤치마크를 만들어 냈습니다. BOLD(Dhamala 등, FAccT 2021)는 인구 집단 전반에 걸친 개방형 생성에서의 감정, 유해성, 인식을 측정합니다. BBQ(Parrish 등, 2022)는 손으로 만든 질의응답 쌍을 사용해 편향을 탐침합니다. StereoSet과 CrowS-Pairs는 고정관념 연관을 탐침합니다. 각 벤치마크는 서로 다른 것을 측정하며, 어느 단일 벤치마크도 조직이 관심을 가질 수 있는 공정성 성질을 다 포착하지 않습니다. 방법론 문헌은 또한 공정성 지표가 상호 불일치할 수 있음을 분명히 합니다 — 집단 동등성을 개선하면 집단 간 캘리브레이션된 정확도를 해칠 수 있고, 그 역도 참입니다 — 따라서 지표의 선택 자체가 조직이 기술적 판단에 미룰 것이 아니라 직접 해야 할 가치 선택입니다. Anthropic의 2022년 논문 「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」에서 문서화되고 DPO 문헌으로 이어지는 안전-유용성 트레이드오프는 모델을 더 무해하도록 학습시키는 일이 더 유용성이 낮게 학습시키기도 한다는 경험적으로 확립된 관찰입니다. 현대 정렬 방법은 프론티어를 이동시켰지만 트레이드오프를 없애지는 않았습니다. 엔지니어링 선택은 특정 제품을 위해 그 프론티어 어디에서 작동할지이며, 그 선택은 사용자, 규제자, 트레이드오프에 영향을 받는 관계자에게 방어 가능해야 합니다.

14.3 투명성과 조직 정책이 하중을 짊어진다

투명성(시스템 성질의 공개)과 설명 가능성(특정 출력에 대한 설명)은 개념적으로 뚜렷합니다. 투명성은 대체로 제13장의 문서화 아티팩트 — 모델 카드, 시스템 카드, 데이터시트 — 로 서비스됩니다. 설명 가능성은 더 기술적으로 요구되는 문제입니다. SHAP(Lundberg and Lee, NeurIPS 2017)과 LIME(Ribeiro 등, KDD 2016)은 분류를 위해 개발되었고 토큰 생성에는 불완전하게 적응됩니다. 기계론적 해석 가능성 — Anthropic의 사전 학습 작업, OpenAI의 자동화 회로 발견 — 은 프로덕션 응용이 여전히 형성 중인 연구 프론티어입니다. 규제는 흔히 최첨단이 아직 제공할 수 없는 종류의 설명을 요구하며, 정직한 엔지니어링의 답은 그 간극을 덮지 말고 이름 붙이는 것입니다. 조직의 AI 정책은 실질적 관심사가 운영이 되는 곳입니다. 정책은 AI 결정에 대한 권한을 가진 자, 사용 중인 AI 시스템 목록, 위험 분류 접근, 평가부터 은퇴까지의 수명주기 규율, 데이터 처리 표준, 그리고 인간 감독 표준을 확립해야 합니다. Anthropic의 Responsible Scaling Policy, OpenAI의 Preparedness Framework, Google DeepMind의 Frontier Safety Framework, Microsoft의 Responsible AI Standard는 업계의 하한을 설정한 공개된 예시입니다.

제14장이 준비하는 것

제15장은 그 규율을 지지하는 조직 인프라로 향합니다: AI 작업에 적절한 보안 문화, 조직의 태세를 시험하는 레드팀과 감사 기능, 공급망을 다루는 벤더 위험 평가, 지속적 보증을 지원하는 지속 평가 인프라, 그리고 장기적 모델 스튜어드십. 다루는 방식은 제13장의 규제 맥락과 제14장의 실질적 관심사 위에 세워 운영 형태를 부여합니다. 제16장은 그다음 파인튜닝을 그 자체로 하나의 보안 표면으로 좁힙니다 — 무해한 데이터를 통한 정렬 침식, 의도적 오염, CI의 평가 게이트, 롤백 규율 — 그리고 제17장은 아직 형성 중인 위협 — 자율 에이전트, 멀티모달 공격 표면, 합성 신원, 2026년 중반의 AI 대 AI 동역학 — 을 살피며 볼륨을 닫습니다.

다음 → 제15장: 안전한 AI 조직 구축. AI 특유의 보안 문화, 내부 레드팀, 벤더 위험 평가, 지속적 평가, 그리고 장기적 모델 스튜어드십.