Kapitel 6 — KI-Observability und Tracing

Sechster Beitrag der kapitelweisen Tour durch LLM Primer V: Building Real-World LLM Applications. Das Kapitel behandelt eine Nutzeranfrage als kausalen Baum, nicht als Request-Log, und zeigt, was getract werden muss, damit der Baum lesbar wird.

Warum dieses Kapitel existiert

Eine einzelne Nutzeranfrage in einem LLM-System fächert sich zu einem Baum: eine Query-Umschreibung, drei Retrieval-Aufrufe gegen zwei Indexe, ein Rerank, ein Planer-Aufruf, vier Tool-Invokationen, ein Summarizer und eine Endgenerierung. Klappt man diesen Baum zu „Anfrage empfangen, Antwort gesendet“ zusammen, ist die Wahrheit weg. Wenn der Nutzer klagt, die Antwort sei falsch gewesen, kann das Team nicht sagen, ob das Retrieval den richtigen Chunk verpasst hat, ob der Planer das falsche Werkzeug gewählt hat, ob das Werkzeug die falschen Daten zurückgegeben hat oder ob der Generator ignoriert hat, was ihm gegeben wurde. Kapitel 6 baut Observability für diese Form neu. Klassisches Distributed Tracing ist das Substrat; die OpenTelemetry-GenAI-Semantik-Konventionen sind die Erweiterung, die Modellaufrufe zu erstklassigen Bürgern macht; LLM-spezifische Metriken — TTFT, TPOT, Kosten pro Aufruf, Judge-Scores — verwandeln einen Trace in etwas, gegen das das Team operieren kann.

6.1 Von Request-Logs zu kausalen Traces

Der Zug geht von flachen Request-Logs zu geschachtelten Spans. OpenTelemetry mit GenAI-Semantik-Konventionen gibt portable, provider-neutrale Span-Formen für LLM-Aufrufe, Embeddings, Retrievals und Tool-Invokationen. Die Agentenschleife wird zum Root-Span; jede Iteration wird zum Child-Span; jeder LLM-Aufruf, Tool-Aufruf und jede Retrieval schachtelt sich darunter. Mehr-Turn-Sitzungen werden zu Bäumen von Bäumen, mit Span-Links, die den Zustand modellieren, der über Turns geteilt wird — die Zusammenfassung aus Turn drei, auf die sich Turn sieben immer noch stützt. Der Nutzen zeigt sich beim ersten Debugging: „Welchen Chunk hat der Retriever für diese Query hochgeholt, und hat der Generator ihn tatsächlich zitiert“ — eine Frage, die flache Logs nicht ohne Archäologie beantworten können, wird zu einem einzigen Trace, den man anschaut. Die Span-Form ist über Anbieter portabel, weil sie der OpenTelemetry-Standard ist, kein proprietäres Format, und der Wechsel von LangSmith zu Langfuse wird zu einer Routing-Änderung statt zu einem Rewrite.

6.2 Die Metriken, auf die es ankommt — TTFT, TPOT, Kosten, Qualität

Gesamt-Latenz reicht nicht. Time-to-First-Token dominiert die wahrgenommene Geschwindigkeit bei gestreamten Antworten — ein Nutzer schaut auf das erste Zeichen, nicht auf das letzte —, und TTFT gehört neben die Gesamt-Latenz auf den Span. Time-per-Output-Token dominiert das Gefühl langer Antworten und ist das, was der Nutzer spürt, wenn er sagt „es war langsam beim Abschluss“. Kosten gehören als erstklassiges Attribut auf den Span, berechnet an der Aufrufstelle aus einer versionierten Preistabelle, damit der historische Trace auch dann die Wahrheit sagt, wenn sich Preise später ändern. Qualitätssignale — ein Daumen-runter vom Nutzer, ein Judge-Score aus der Evaluations-Pipeline, ein Fallback-Trigger aus der Hülle — hängen als Attribute am Trace, und so korreliert das Team eine schlechte Antwort mit dem spezifischen Modellaufruf und Retrieval, das sie erzeugt hat. Die Metriken sind auf Dashboards sichtbar, aber der höhere Ertrag ist, dass sie pro Trace abfragbar sind, sodass sich eine Regression nach „hohe Kosten, niedriger Judge-Score“ filtern lässt und der schuldige Pfad sofort auftaucht.

6.3 Plattformen und das Schließen der Schleife

Vier Plattformen besetzen die aktuelle Landschaft. LangSmith ist die LangChain-integrierte Wahl mit der geringsten Reibung, wenn die App bereits in LangChain lebt. Langfuse ist die Open-Source-Selbsthosting-Option, die zu regulierten Deployments und Organisationen passt, die Traces innerhalb ihres Perimeters halten müssen. Arize Phoenix hat starke Embedding-Analyse und ist das richtige Werkzeug, wenn die diagnostische Frage lautet „welche Queries landen in der falschen Region des Vektorraums“. Helicone arbeitet als Proxy vor der Provider-API, was die Integration mit dem geringsten Eingriff ist, dann aber nur die LLM-Aufrufsschicht sieht. Die Wahl ist operativ, nicht qualitativ — die meisten von ihnen legen dieselbe Kernform offen. Die wertvollere Arbeit ist die Export-Pipeline: Negative-Feedback-Traces, niedrige Judge-Scores und Fallback-Trigger werden zu Kandidaten für Evaluationsfälle, in die Eval-Menge kuratiert und vom nächsten Release durchgereicht. Diese Schleife ist das, was aus Produktion einen Lehrer für die Entwicklung macht.

Was Kapitel 6 vorbereitet

Traces sind auch der Ort, an dem Sicherheitsvorfälle sichtbar werden. Eine erfolgreiche Prompt-Injection sieht im Trace-Baum wie ein unerwarteter Tool-Aufruf aus. Exfiltration sieht wie ein Retrieval-Span aus, dessen Chunk das Modell dann als Instruktion befolgt hat. Ein geleakter System-Prompt erscheint als Completion-Span, dessen Text sich unwahrscheinlich stark mit dem Prompt darüber überlappt. Kapitel 7 richtet dasselbe Tracing-Substrat auf die Sicherheitsdisziplin aus — die OWASP-LLM-Top-10 als Mid-2025-Vokabular, die direkt-gegen-indirekt-Injection-Taxonomie, die dieses Vokabular zu benennen versucht, und die vierlagige Mitigationsmatrix, die das Prinzip durchsetzt, dass Autorität zum Vertrauensursprung passen muss.

Als Nächstes — Kapitel 7: LLM-Sicherheit und Guardrails. Die Sicherheitshaltung, die die Frage beantwortet, die die Tracing-Schicht gerade stellbar gemacht hat — was hätte passieren sollen, und wer war berechtigt, das zu tun.