Глава 7 — Галлюцинации и надёжность

Седьмой пост поглавного разбора LLM Primer VII: AI Security. Глава, обращающаяся с надёжностью как со свойством безопасности — потому что уверенно неверный вывод есть проблема безопасности всякий раз, когда последствия зависят от корректности.

Зачем существует эта глава

Изначально галлюцинации были термином NLG для выводов, содержащих информацию, не подкреплённую их источником. Применительно к LLM явление разделяется на два полезных смысла: сбои фактичности, где модель противоречит установленным фактам, и сбои верности, где модель уходит от инструкций пользователя или предоставленного контекста. Оба важны, и у обоих конкретные механизмы. Обзор Ji и др. ACM Computing Surveys 2023 и таксономия Huang и др. того же года дали полю словарь. Эта глава обращается с надёжностью как со свойством безопасности первого класса, потому что система, действующая на выводе модели, безопасна ровно настолько, насколько верен вывод, — а у модели нет встроенного механизма для того, чтобы знать, когда она не знает.

Если коротко: LLM переуверена по построению — её цель обучения награждает размещение вероятности на наблюдаемом токене, а не на том, чтобы быть правой, — а инженерия надёжности есть дисциплина добавления калибровки, заземления и верификации, которых цель не дала.

7.1 У галлюцинаций есть механизмы, а не настроения

Языковые модели предсказывают токены, сэмплируя из распределения, на которое цель обучения разместила массу. Распределение формируется частотой в обучающем корпусе, индуктивными смещениями модели и любой тренировкой выравнивания, применённой впоследствии. Ни один из этих механизмов не отбирает по фактической корректности так, как это делает запрос к базе данных. Сбои фактичности случаются, когда модель утверждает нечто, противоречащее миру, — неверную дату, сфабрикованную цитату, несуществующую сигнатуру функции. Сбои верности случаются, когда вывод модели уходит от намерения пользователя или предоставленного контекста — отвечает на слегка другой вопрос, игнорирует части фрагмента, который пользователь просил резюмировать, непоследовательно рассуждает по длинному ответу. Две категории пересекаются, но требуют разной диагностики. Механизмы включают динамику следующего токена, обменивающую беглость на точность в длинных генерациях, недопредставленность нишевых фактов в распределении обучающих данных, тренировку выравнивания, отговаривающую от «не знаю», и промпт-паттерны, толкающие модель к правдоподобию, а не к истине. Понимание механизма — то, что делает смягчение целенаправленным, а не показательным.

7.2 Уверенность — не корректность

Калиброванная вероятностная система имеет заявленные уверенности, совпадающие с её точностью: когда она говорит 80%, она права в 80% случаев по большому сэмплу. Работа Guo и коллег ICML 2017 «On Calibration of Modern Neural Networks» сообщила поразительный результат: современные нейронные сети систематически переуверены. Модель, говорящая 80%, может быть права в 65%; модель, говорящая 99%, — в 88%. Механизм — цель кросс-энтропии, награждающая размещение массы на верном классе без наказания переуверенности. Более крупные и выразительные модели плотнее фитятся под обучающие данные, производя более резкие распределения на тестовых примерах, поверхностно похожих на обучающие. Для LLM проблема выражена сильнее, потому что выводы — последовательности токенов, тренировка выравнивания перекраивает распределение способами, которые могут двигать вероятности без движения точности, а пользователи читают уверенное предложение как свидетельство того, что модель знает, что говорит. Разрыв между уверенностью и корректностью — причина, по которой инженерия надёжности не может просто доверять собственному сигналу модели.

7.3 Калибровка и гибридная верификация — операционное решение

Техники калибровки делятся на обучение-временные и инференс-временные. Температурное масштабирование, введённое Guo и др. в той же статье 2017 года, — стандарт: после обучения подстраивается единый скаляр, делящий пре-softmax логиты, пока ошибка калибровки на отложенном наборе не минимизируется. Предсказания не меняются; вероятности меняются. Вербализованная уверенность — прошение модели вывести оценку уверенности рядом со своим ответом — изучается с 2022 года и в некоторой степени работает, но заявленная моделью уверенность сама по себе — языковой токен, подверженный тем же распределительным давлениям. Self-consistency-сэмплирование генерирует несколько завершений и голосует; согласие коррелирует с корректностью лучше, чем вероятность любого одного завершения. Гибридные архитектуры делают больше работы. Retrieval-augmented generation как техника надёжности была наиболее стабильно эффективной — Vectara HHEM-лидерборд отслеживал хорошо настроенные RAG-системы ниже 1% галлюцинаций на факт-суммаризации, где голая генерация превышает 5% на тех же задачах. Структурные конвейеры верификации прогоняют вывод через вторую модель, которая факт-чекает по исходным документам. Проверка человеком-в-цикле остаётся сильнейшей защитой для выводов с высокой ставкой при двух режимах отказа, которые поле уже назвало: штампование в масштабе и проверка без контекста, где ревьюер не имеет исходного материала для верификации утверждения модели.

Стоит запомнить: уверенный неверный ответ — худший продукт, чем признанное «не знаю». Работа калибровки — температурное масштабирование, вербализованная уверенность, self-consistency, RAG-заземлённая верификация — учит систему различать эти два, а решение о маршрутизации на слое приложения — то место, где это различие становится видимым пользователю.

Что подготавливает глава 7

Глава 8 сдвигается от случайных режимов отказа к преднамеренным — adversarial-атакам, обращающимся с моделью как с целью и конструирующим входы, спроектированные для манипуляции выводами в направлениях, которых оператор не намеревался. Глава проходит линию от FGSM Гудфеллоу 2014 через NLP-специфичную работу — HotFlip, TextFooler, BERT-ATTACK — в универсальные adversarial-триггеры Wallace и коллег и работу об универсальных суффиксах Zou и коллег, затронутую в главе 4. Затем она проходит чёрноящичные атаки против API и model-stealing, от статьи Tramèr USENIX 2016 через статью Carlini ICML 2024, извлекающую продакшн-слои эмбеддингов. Глава 9 завершает часть III цепочкой поставок: backdoor-модели, safetensors против pickle, подпись Sigstore и мониторинг дрейфа.

Дальше — Глава 8: Adversarial-атаки на модели. Градиентные атаки в дискретном пространстве ввода, чёрноящичные атаки через API и model stealing как проблема конфиденциальности-и-безопасности.

Хочется всю картину? В книжной главе — полная таксономия Ji/Huang, математика температурного масштабирования, разобранные гибридные конвейеры верификации, два режима отказа проверки человеком со смягчениями и врезки In Plain English, которые эта статья только резюмирует. LLM Primer VII на Amazon →