제6장 — AI 관측성과 트레이싱

LLM Primer V: 실전 LLM 애플리케이션 구축을 챕터별로 따라가는 워크스루의 여섯 번째 글입니다. 사용자 질의를 요청 로그가 아니라 인과 트리로 다루고, 그 트리가 읽히기 위해 무엇이 트레이스되어야 하는지를 보이는 장입니다.

이 장이 존재하는 이유

LLM 시스템에서 사용자 질의 하나는 하나의 트리로 팬아웃됩니다. 쿼리 재작성, 두 인덱스에 대한 세 번의 검색 호출, 리랭크, 계획자 호출, 네 번의 도구 호출, 요약기, 그리고 최종 생성. 그 트리를 「요청 수신, 응답 송신」으로 뭉개 버리면 진실은 사라집니다. 사용자가 답이 틀렸다고 불평할 때 팀은, 검색이 맞는 청크를 놓친 것인지, 계획자가 잘못된 도구를 골랐는지, 도구가 잘못된 데이터를 돌려준 것인지, 아니면 생성기가 주어진 것을 무시한 것인지 말할 수 없습니다. 제6장은 이 모양에 맞게 관측성을 다시 세웁니다. 고전적 분산 트레이싱이 그 기반이고, OpenTelemetry GenAI 시맨틱 규약은 모델 호출을 1급 시민으로 만들어 주는 확장이며, LLM에 특화된 지표 — TTFT, TPOT, 호출당 비용, 판정자 점수 — 는 트레이스를 팀이 상대로 운영할 수 있는 무언가로 바꾸는 것입니다.

6.1 요청 로그에서 인과 트레이스로

움직임은 평평한 요청 로그에서 중첩된 스팬으로 가는 것입니다. GenAI 시맨틱 규약을 갖춘 OpenTelemetry는 LLM 호출, 임베딩, 검색, 도구 호출에 대해 이식 가능하고 공급자 중립적인 스팬 모양을 제공합니다. 에이전트 루프는 루트 스팬이 되고, 각 이터레이션은 자식 스팬이 되며, 모든 LLM 호출, 도구 호출, 검색이 그 아래에 중첩됩니다. 다중 턴 세션은 트리의 트리가 되고, 스팬 링크는 턴 사이에 공유되는 상태를 모델링합니다 — 3번째 턴의 요약을 7번째 턴이 여전히 의지하고 있다는 것 같은. 그 가치는 첫 번째 디버깅에서 드러납니다. 「이 질의에 대해 리트리버가 어떤 청크를 노출했고, 생성기가 실제로 그것을 인용했는가」와 같이, 평평한 로그로는 고고학 없이는 답할 수 없는 질문이, 눈으로 보는 트레이스 하나가 됩니다. 스팬 모양은 독점적 포맷이 아니라 OpenTelemetry 표준이라 벤더 간에 이식 가능하며, LangSmith에서 Langfuse로 옮기는 일이 재작성이 아니라 라우팅 변경이 됩니다.

6.2 정말로 중요한 지표 — TTFT, TPOT, 비용, 품질

총 지연만으로는 부족합니다. Time-to-first-token은 스트리밍 응답에서 체감 속도를 지배합니다 — 사용자는 마지막 문자가 아니라 첫 문자를 기다립니다 — TTFT는 총 지연과 나란히 스팬에 함께 실려야 합니다. Time-per-output-token은 긴 응답의 감각을 지배하며, 사용자가 「끝나기까지 느렸다」라고 말할 때 감지하는 것이 그것입니다. 비용은 1급 속성으로 스팬에 실려야 합니다. 호출 지점에서, 버전 관리된 가격 표를 근거로 계산되어야 하며, 그래야 가격이 바뀐 뒤에도 과거의 트레이스가 진실을 말합니다. 품질 신호 — 사용자의 싫어요, 평가 파이프라인의 판정자 점수, 래퍼의 폴백 트리거 — 는 속성으로 트레이스에 붙습니다. 팀은 이것으로 나쁜 답을 그것을 만든 구체적인 모델 호출과 검색에 상관시킵니다. 지표는 대시보드에 보이는 것이지만, 더 큰 보상은 그것이 트레이스별로 질의 가능하다는 점입니다. 회귀는 「비용 높고 판정자 점수 낮음」으로 필터되고, 문제의 경로가 즉시 떠오릅니다.

6.3 플랫폼과 루프를 닫기

지금 지형에는 네 플랫폼이 자리합니다. LangSmith는 앱이 이미 LangChain 위에 있다면 마찰이 가장 적은 LangChain 통합 선택지입니다. Langfuse는 오픈소스 자가 호스팅 선택지로, 규제 환경 배포와 트레이스를 자기 경계 안에 두어야 하는 조직에 어울립니다. Arize Phoenix는 임베딩 분석이 강해, 진단 질문이 「어떤 질의가 벡터 공간의 잘못된 지역에 떨어지는가」인 경우에 알맞은 도구입니다. Helicone은 공급자 API 앞의 프록시로 동작하는데, 이는 손이 가장 덜 가는 통합이지만 LLM 호출 층만 봅니다. 선택은 정성적이라기보다 운영적입니다. 대부분이 같은 핵심 모양을 노출하기 때문입니다. 더 큰 가치의 일은 익스포트 파이프라인입니다. 부정적 피드백 트레이스, 낮은 판정자 점수, 폴백 트리거는 후보 평가 케이스가 되고, 평가 세트로 정제되며, 다음 배포에 게이팅됩니다. 그 루프가 프로덕션을 개발의 교사로 바꾸는 것입니다.

제6장이 준비하는 것

트레이스는 보안 사고가 눈에 보이게 되는 곳이기도 합니다. 성공한 프롬프트 인젝션은 트레이스 트리 위에서 예상 밖의 도구 호출로 보입니다. 유출은 그 청크를 이후 모델이 지시로 따른 검색 스팬으로 보입니다. 유출된 시스템 프롬프트는 그 위 프롬프트와 텍스트가 개연성 없게 겹치는 완성 스팬으로 나타납니다. 제7장은 같은 트레이싱 기반을 보안 규율 쪽으로 돌립니다 — 2025년 중반의 어휘로서의 OWASP LLM Top 10, 그 어휘가 명명하려는 직접 대 간접 인젝션 분류, 그리고 권한이 신뢰 출처와 일치해야 한다는 원리를 강제하는 네 층의 완화 매트릭스.

다음 → 제7장: LLM 보안과 가드레일. 트레이싱 층이 방금 물을 수 있게 만든 질문에 답하는 보안 자세 — 무엇이 일어났어야 했는가, 누가 그것을 일으킬 권한이 있었는가.