Kapitel 7 — Halluzinationen und Zuverlässigkeit

Siebter Beitrag im Kapitel-für-Kapitel-Walkthrough zu LLM Primer VII: KI-Sicherheit. Das Kapitel behandelt Zuverlässigkeit als Sicherheitseigenschaft — denn eine selbstbewusst falsche Ausgabe ist ein Sicherheitsproblem, wann immer die Konsequenzen von Korrektheit abhängen.

Warum es dieses Kapitel gibt

Halluzinationen waren ursprünglich ein Begriff aus der natürlichsprachlichen Generierung für Ausgaben, die Informationen enthielten, die ihre Quelle nicht deckte. Auf LLMs angewendet zerfällt das Phänomen in zwei nützliche Bedeutungen: Fakten-Fehler, bei denen das Modell etablierten Fakten widerspricht, und Treuefehler, bei denen das Modell von den Anweisungen oder dem bereitgestellten Kontext abweicht. Beides zählt, und beides hat spezifische Mechanismen. Ji et al.s Review in ACM Computing Surveys 2023 und Huang et al.s Taxonomie im selben Jahr gaben dem Feld sein Vokabular. Dieses Kapitel behandelt Zuverlässigkeit als erstklassige Sicherheitseigenschaft, denn ein System, das auf Modellausgaben handelt, ist nur so sicher, wie die Ausgabe korrekt ist — und das Modell hat keinen eingebauten Mechanismus zu wissen, wann es nicht weiß.

In einem Satz: Ein LLM ist per Konstruktion überzeugter, als es sein sollte — sein Trainingsziel belohnt Wahrscheinlichkeit auf dem beobachteten Token, nicht Richtigkeit — und Zuverlässigkeits-Engineering ist die Disziplin, ihm die Kalibrierung, Verankerung und Verifikation nachzuliefern, die das Ziel ihm nicht gegeben hat.

7.1 Halluzinationen haben Mechanismen, keine Launen

Sprachmodelle sagen Tokens voraus, indem sie aus einer Verteilung sampeln, auf die das Trainingsziel Masse gelegt hat. Die Verteilung ist geprägt durch Häufigkeit im Trainingskorpus, durch die induktiven Verzerrungen des Modells und durch das nachträglich angewendete Alignment-Training. Keiner dieser Mechanismen wählt auf faktische Korrektheit hin so aus, wie es eine Datenbankabfrage tut. Fakten-Fehler passieren, wenn das Modell etwas behauptet, dem die Welt widerspricht — ein falsches Datum, ein erfundenes Zitat, eine nicht existierende Funktionssignatur. Treuefehler passieren, wenn die Ausgabe von der Nutzerabsicht oder dem bereitgestellten Kontext abweicht — eine leicht andere Frage beantworten, Teile einer zu zusammenfassenden Passage ignorieren, inkonsistent über eine lange Antwort argumentieren. Die beiden Kategorien überlappen, brauchen aber unterschiedliche Diagnosen. Die Mechanismen umfassen Next-Token-Dynamiken, die Flüssigkeit gegen Genauigkeit in langen Generationen eintauschen; die Unterrepräsentation von Nischenfakten in der Trainingsdatenverteilung; Alignment-Training, das „ich weiß es nicht" entmutigt; und Prompt-Muster, die das Modell in Richtung Plausibilität statt Wahrheit schieben. Den Mechanismus zu verstehen ist das, was die Mitigation gezielt statt performativ macht.

7.2 Konfidenz ist nicht Korrektheit

Ein kalibriertes probabilistisches System hat angegebene Konfidenzen, die zu seiner Genauigkeit passen: wenn es 80 % sagt, liegt es in großer Stichprobe zu 80 % richtig. Guo und Kolleg:innen berichteten in ihrem ICML-2017-Paper „On Calibration of Modern Neural Networks" ein bemerkenswertes Ergebnis — moderne neuronale Netze sind systematisch überkonfident. Ein Modell, das 80 % sagt, liegt vielleicht zu 65 % richtig; eines, das 99 % sagt, vielleicht zu 88 %. Der Mechanismus ist das Kreuzentropie-Ziel, das Masse auf der richtigen Klasse belohnt, ohne Überkonfidenz zu bestrafen. Größere und ausdrucksstärkere Modelle passen sich Trainingsdaten enger an und erzeugen schärfere Verteilungen auf Testbeispielen, die den Trainingsbeispielen oberflächlich ähneln. Bei LLMs ist das Problem ausgeprägter, weil die Ausgaben Token-Sequenzen sind, weil Alignment-Training die Verteilung so umformt, dass sich Wahrscheinlichkeiten verschieben können, ohne dass sich Genauigkeit verschiebt, und weil Nutzer einen selbstbewussten Satz als Beleg lesen, dass das Modell weiß, wovon es spricht. Die Lücke zwischen Konfidenz und Korrektheit ist der Grund, warum Zuverlässigkeits-Engineering dem eigenen Signal des Modells nicht einfach vertrauen kann.

7.3 Kalibrierung und hybride Verifikation sind der operative Fix

Kalibrierungstechniken teilen sich in Trainingszeit und Inferenzzeit. Temperature Scaling, von Guo et al. im selben 2017er-Paper eingeführt, ist der Standard: nach dem Training wird ein einzelner Skalar angepasst, der Pre-Softmax-Logits teilt, bis der Kalibrierungsfehler auf einem Hold-out-Set minimiert ist. Vorhersagen ändern sich nicht; Wahrscheinlichkeiten schon. Verbalisierte Konfidenz — das Modell zu bitten, eine Konfidenzschätzung neben seiner Antwort auszugeben — wird seit 2022 untersucht und funktioniert bis zu einem Grad, aber die vom Modell angegebene Konfidenz ist selbst ein Sprach-Token, das denselben verteilungsbedingten Drücken unterliegt. Self-Consistency-Sampling generiert mehrere Vervollständigungen und stimmt ab; Übereinstimmung korreliert besser mit Korrektheit als die Wahrscheinlichkeit einer einzelnen Vervollständigung. Hybride Architekturen leisten mehr. Retrieval-augmentierte Generierung als Zuverlässigkeitstechnik war am konsistentesten wirksam — das Vectara-HHEM-Leaderboard hat gut konfigurierte RAG-Systeme bei Fakten-Zusammenfassungen unter 1 % Halluzinationsrate verfolgt, während reine Generierung dieselben Aufgaben mit über 5 % scheitert. Strukturierte Verifikationspipelines lassen die Ausgabe durch ein zweites Modell laufen, das gegen Quelldokumente faktenprüft. Human-in-the-Loop-Review bleibt die stärkste Verteidigung für hochwirksame Ausgaben, vorbehaltlich der zwei bereits benannten Fehlermodi: Stempel-Review in Größenordnung und Review-ohne-Kontext, bei dem die Reviewerin das Quellmaterial nicht hat, um die Behauptung des Modells zu prüfen.

Wert, das festzuhalten: Eine selbstbewusst falsche Antwort ist ein schlechteres Produkt als ein zugegebenes „ich weiß es nicht". Die Kalibrierungsarbeit — Temperature Scaling, verbalisierte Konfidenz, Self-Consistency, RAG-verankerte Verifikation — bringt dem System bei, die beiden zu unterscheiden, und die Routing-Entscheidung auf Anwendungsebene ist der Ort, an dem die Unterscheidung für Nutzer sichtbar wird.

Was Kapitel 7 vorbereitet

Kapitel 8 verschiebt sich von unbeabsichtigten Fehlermodi zu absichtlichen — adversariale Angriffe, die das Modell als Ziel behandeln und Eingaben konstruieren, die dazu ausgelegt sind, Ausgaben in Richtungen zu manipulieren, die der Betreiber nicht wollte. Das Kapitel walkt die Linie von Goodfellows FGSM 2014 durch NLP-spezifische Arbeit — HotFlip, TextFooler, BERT-ATTACK — bis zur Universal-Adversarial-Trigger-Arbeit von Wallace und Kolleg:innen und der Universal-Suffix-Arbeit von Zou und Kolleg:innen, die Kapitel 4 gestreift hat. Anschließend walkt es Black-Box-Angriffe gegen APIs und Model-Stealing, von Tramèrs USENIX-Paper 2016 bis zu Carlinis ICML-Paper 2024, das produktive Embedding-Projektionsschichten extrahiert. Kapitel 9 schließt Teil III mit der Lieferkette ab: hintertürige Modelle, Safetensors gegen Pickle, Sigstore-Signierung und Drift-Monitoring.

Als Nächstes — Kapitel 8: Adversariale Angriffe auf Modelle. Gradientbasierte Angriffe im diskreten Eingaberaum, Black-Box-Angriffe über APIs und Model-Stealing als Vertraulichkeits-plus-Sicherheits-Problem.

Möchtest du das ganze Bild? Das Buchkapitel enthält die vollständige Ji/Huang-Taxonomie, die Mathematik des Temperature Scaling, durchgearbeitete hybride Verifikationspipelines, die zwei Human-Review-Fehlermodi mit Mitigationen und die „In Plain English"-Sidebars, die dieser Artikel nur zusammenfasst. LLM Primer VII auf Amazon →