제10장 — 장기 호라이즌 작업 메모리

LLM Primer IV: MCP로 설계하는 AI 인지를 챕터별로 따라가는 워크스루의 열 번째 글입니다. 질문이 「얼마나 들어가느냐」에서 「무엇을 기억하고 무엇을 잊느냐」로 바뀝니다. 그리고 오늘 출하되는 일곱 자리 컨텍스트 윈도가 벽을 없애기보다 한 시간 뒤로 미룬다는 것이 드러납니다.

이 장이 존재하는 이유

30초 도는 에이전트는 필요한 모든 것을 자기 프롬프트에 들고 다닐 수 있습니다. 3시간 도는 에이전트는 그럴 수 없습니다. 첫 시간에 한 일은 세 번째 시간에 한 일 옆에 들어맞지 않으며, 무엇을 기억하고 무엇을 잊느냐의 질문이 중심 엔지니어링 문제가 됩니다. 컨텍스트 윈도는 더 이상 관리될 예산이 아닙니다. 그것은 더 깊은 저장소에 대해 끊임없이 갱신되어야 하는 작업 표면입니다. 이 장은 기억의 아키텍처에 관한 것입니다 — 즉각적 추론을 위한 단기 메모리, 세션 간 지속을 위한 장기 메모리, 그리고 둘을 연결하는 압축과 외부화 기법.

10.1 단기 메모리: 윈도, 스크래치패드, ReAct

단기 메모리는 현재 컨텍스트 윈도 안에 앉아 외부 조회 없이 가용한 무엇이든입니다. 가장 단순한 정책은 슬라이딩 윈도입니다. 시스템 프롬프트와 도구 기술을 위에, 가장 최근 N 턴을 아래에 두고 그 사이의 모든 것을 떨굽니다. 관련 컨텍스트가 최근에 있는 한 작동하는데, 짧은 대화에서는 사실이고 거의 모든 다른 것에서는 거짓입니다. 실패 모드는 깨끗합니다 — 한 턴이 떨궈지면 사라집니다 — 그리고 에이전트는 윈도가 처음 찰 때의 예측 가능한 지점에서 사용자의 지시를 가시적으로 잊을 것입니다.

다음 층은 스크래치패드입니다. 모델이 의도적으로 쓰는 컨텍스트의 구조화된 영역입니다. 내부 스크래치패드는 루프 안에서 중간 추론을 앞으로 운반합니다. 외부 스크래치패드는 미래 컨텍스트가 주입할 저장된 버퍼에 도구 호출을 통해 노트를 씁니다. 스크래치패드에 정전적 형태를 준 패턴은 ReAct — Reason and Act — 이며, 2022년 Yao와 동료들이 도입했습니다. 루프는 모델이 답을 가졌다고 결정할 때까지 생각, 행동, 관찰을 엮습니다. 구조는 추론을 모델이 되돌아볼 수 있는 명시적 텍스트 산출물로 외부화하고, 에이전트 루프에 메모리 작업을 위한 가시적 스캐폴드를 줍니다. 생각은 요약될 수 있고, 행동은 중복 제거될 수 있고, 관찰은 압축될 수 있습니다. ReAct나 가까운 변종 없이 지어진 에이전트는 추론과 행동을 자기 상태를 불투명하게 만드는 방식으로 얽는 경향이 있습니다.

실용적 보완은 Reflexion입니다. 모델이 최근 행동을 평가하고 다음 시도를 위해 스크래치패드에 비평을 쓰는 명시적 반영 단계를 더합니다. 현대 에이전트 프레임워크는 둘을 단일 구성 가능한 루프로 섞으며, 매 사이클이 아니라 실패 신호로 반영을 촉발합니다.

10.2 장기 메모리: 일화적과 의미적

단기 메모리가 끝날 때 장기 메모리가 시작됩니다. 일화적(특정 사건) 메모리와 의미적(일반 사실) 메모리에 대한 인지 과학의 구별이 에이전트에 유용한 것으로 드러났습니다. 일화적 메모리는 특정 과거 상호작용의 기록입니다. 의미적 메모리는 살아남은 증류된 지식입니다 — 이 사용자가 미터 단위를 선호한다, 이 프로젝트의 배포 명령이 make ship이다, 이 API는 성공처럼 보이는 오류를 반환한다.

일화적 메모리는 현재 관행에서 거의 항상 벡터 데이터베이스입니다. 각 과거 상호작용은 임베드되고, 메타데이터와 함께 저장되며, 쿼리 시 의미적 유사도로 검색됩니다. 패턴은 문서 코퍼스가 아니라 에이전트 자신의 과거에 적용된 RAG이며, 엔지니어링 — 청킹, 임베딩 선택, 검색 평가 — 은 제3권이 다룬 것과 대체로 동일합니다.

의미적 메모리는 덜 표준화되어 있습니다. 두 지배적 기질은 구조화된 키-값 저장소와 지식 그래프입니다. 키-값 저장소는 단순하고, 빠르고, 검사하기 쉽습니다. 그래프는 「사용자가 현재 작업 중인 프로젝트의 배포 명령은 무엇인가」 같은 다중 홉 쿼리를 지원하지만 유지보수와 쿼리 언어를 요구합니다. 대부분의 프로덕션 에이전트는 키-값으로 시작해 쿼리가 실제로 조인을 요구할 때만 그래프로 졸업합니다. 다수는 결코 그러지 않습니다.

갱신 정책이 대부분의 팀이 곤경에 빠지는 자리입니다. 단일 대화에서 추출된 사실이 일반적으로 반드시 참은 아닙니다. 모든 주장을 의미적 메모리로 승격하는 순진한 정책은 자기 모순적인 손상된 저장소를 만들 것입니다. 떠오른 규율은 컨텍스트로 주장에 가중치를 두고, 타임스탬프와 출처로 사실에 버전을 매기며, 위험이 큰 도메인의 경우 명시적 사용자 확인을 통해 갱신을 게이트하는 것입니다. MemGPT 같은 이름으로 떠오른 패턴은 모델 자신이 무엇을 저장, 검색, 잊을지 결정하도록 에이전트에 명시적 메모리 관리 도구를 주는 것입니다. 승리는 어떤 규칙 기반 추출기도 잡지 못할 어떤 기억이 중요한지에 대해 모델이 자주 알고 있다는 점입니다. 비용은 모델도 잘못한다는 점이며, 모델이 큐레이션한 메모리 저장소는 폭주 성장에 대한 가드레일이 필요합니다.

10.3 컨텍스트 한계 살아남기: 압축과 구조화된 노트

일화적·의미적 메모리가 자리잡아도 에이전트의 현재 세션은 여전히 윈도에 부딪힙니다. 가장 흔한 치료는 요약 기반 압축입니다. 컨텍스트가 윈도의 60~80%에 접근하면 백그라운드 단계가 옛 턴을 요약하고 교체합니다. 실패 모드는 요약 표류(요지는 살아남지만 결국 중요해지는 특정 사실이 사라짐)와 재귀적 평활화(매 패스가 요약을 요약하며 누적 손실이 심함)입니다. 치료는 이름 붙은 엔티티, 결정, 미해결 질문을 보존하는 구조화된 요약 프롬프트, 그리고 가능하면 이전 요약이 아니라 원본에서 요약하는 것입니다.

도구 결과 청소는 몇 턴 후 도구 반환의 대부분을 제거하고 「users 테이블 쿼리, 47행 반환, 사용자 12345 찾음」 같은 짧은 노트로 대체합니다. 구조화된 노트 작성은 에이전트가 현재 목표, 완료된 단계, 남은 단계, 미해결 질문을 포착하는 권위 있는 노트 파일을 유지하도록 요구합니다 — 트랜스크립트가 아니라 진실의 원천으로 다뤄집니다. 외부화는 생산된 산출물을 파일시스템이나 데이터베이스로 옮기고 컨텍스트는 참조만 들고 있게 합니다. 통합 원리는 컨텍스트 윈도가 활성 작업을 위한 것이지 아카이브를 위한 것이 아니라는 점입니다. 더 큰 윈도는 외부 저장소를 덜 중요한 것이 아니라 더 중요하게 만듭니다. 외부화 아키텍처가 작동하거나 실패할 시간이 더 많은 더 긴 세션을 가능하게 하기 때문입니다.

제10장이 준비하는 것

제9장과 제10장은 함께 제4부를 두 개의 보완적 멘탈 모델 — 단일 호출 안의 유한 예산으로서의 컨텍스트, 그리고 세션 간 선택적 기억을 위한 아키텍처로서의 메모리 — 로 닫습니다. 어느 장도 다루지 않은 것은 적대적 압력입니다. 모든 메모리 쓰기는 공격자가 오염시킬 수 있는 자리입니다. 모든 도구 호출은 공격자가 가로챌 수 있는 자리입니다. 모든 검색된 메모리는 공격자가 에이전트가 자기 생각으로 다룰 지시를 주입할 수 있는 자리입니다. 지난 두 장의 아키텍처는 정확성과 효율성을 위해 설계되었지, 공격 아래의 생존을 위해서가 아니었습니다.

다음 → 제11장: 공격 표면과 프로토콜 취약성. Confused Deputy, Token Passthrough, 세션 하이재킹, 능력 에스컬레이션, 인증 없는 샘플링, 그리고 컨텍스트 오염을 그토록 고치기 어렵게 만드는 암묵적 신뢰 전파.