Глава 2 — Моделирование угроз для систем LLM
Второй пост поглавного разбора LLM Primer VII: AI Security. Глава, берущая четыре вопроса Шостака, STRIDE, PASTA и MITRE ATLAS и применяющая их к системе, чей самый мощный компонент читает любой ввод как потенциально инструктивный.
Зачем существует эта глава
Глава 1 утверждала, что безопасность ИИ структурно иная. Глава 2 придаёт этому различию операционную форму. Четыре вопроса Адама Шостака — над чем мы работаем, что может пойти не так, что мы с этим сделаем, хорошо ли мы справились — одни и те же для любой системы, но диаграммы, инвентари активов и каталоги противников, отвечающие на них, выглядят иначе, когда рассматриваемая система включает логику построения промпта, retrieval-конвейер, реестр инструментов и вероятностную функцию, обращающуюся с извлечённым контентом на равных с инструкциями разработчика. Глава проходит фреймворки — STRIDE, PASTA, MITRE ATLAS, NIST AI 100-2 — и производит рабочий шаблон модели угроз LLM, к которому последующие главы возвращаются.
2.1 Фреймворки адаптируются, диаграммы не могут оставаться ленивыми
STRIDE — spoofing, tampering, repudiation, information disclosure, denial of service, elevation of privilege — на удивление хорошо ложится на системы LLM. Spoofing становится атаками идентичности на API или подменой пользователя. Tampering становится prompt-инъекцией, отравлением обучающих данных и манипуляцией retrieval-индекса. Repudiation становится спорами о том, кто послал какой промпт и кто произвёл какой вывод. Information disclosure становится извлечением обучающих данных, утечкой системного промпта и межарендаторной экспозицией. Denial of service становится LLM10 OWASP — неограниченным потреблением через дорогие промпты и потоки токенов. Elevation of privilege становится границей tool-use: пользователь, побудивший модель вызвать привилегированный инструмент, наследует привилегии этого инструмента. PASTA наслаивает бизнес-контекст и симуляцию противника для команд, уже занимающихся red-team-работой. Оба фреймворка предполагают диаграмму потоков данных, разделяющую компоненты, от которых зависит вопрос надзора. Для систем LLM диаграмма должна всегда разделять логику построения промпта, retrieval-конвейер, реестр инструментов, вызов модели, путь обработки вывода и путь логирования.
2.2 Активы, которых нет в обычных инвентарях
Модель угроз хороша ровно настолько, насколько хорош её инвентарь активов. Системы LLM вводят категории, незнакомые командам, чья прежняя работа была на обычных приложениях. У самой модели несколько подактивов — веса (мультигигабайтный бинарник, представляющий значительные инвестиции в обучение), задокументированное поведение (системный промпт, политики безопасности, тренировка выравнивания) и репутация (публичный сбой вредит продукту независимо от любой технической компрометации). Данные охватывают обучающие данные, файн-тюнинговые данные, retrieval-корпуса, вводы пользователей и выводы; у каждого свои требования к конфиденциальности, целостности и доступности. Сам промпт теперь актив — интеллектуальная собственность многих продуктов живёт в системном промпте, отточенном месяцами, и список OWASP 2025 явно упоминает утечку системного промпта как LLM07. Инфраструктура покрывает стек инференса, векторное хранилище, интерфейсы инструментов и связывающие их учётные данные. Логи — актив, потому что они судебная запись, а второстепенные активы — репутация модели, регуляторная позиция, доверие клиента — зависят от того, чтобы первичные пережили встречу с трафиком.
2.3 У противников конкретные стимулы
Модель угроз, защищающая одинаково от всего, не защищает ни от чего. Инвентарь противников должен быть конкретным. Любопытные пользователи прощупывают систему, чтобы увидеть, что она сделает, — они используют техники из соцсетей, их объём высок, индивидуальный ущерб от инцидента низок, но кумулятивный эффект на видимую безопасность системы значителен. Злонамеренные пользователи стремятся к конкретному вреду — извлечь контент, который система должна отказать, украсть данные других пользователей или системный промпт, использовать систему для атаки на третьих лиц через набросанный фишинг или сгенерированный malware. Конкуренты извлекают модель (глава 8) или системный промпт, чтобы снизить свои расходы на разработку. Инсайдеры действуют изнутри границы доверия. Национально-государственные акторы сочетают атаки уровня модели с более широким tradecraft, и их цели — обычно организации, а не сама модель. Автоматизированные агенты — сами LLM, иногда движимые другими противниками — новейшая категория, которую разбирает глава 17. У каждой категории противников разные возможности, разные стимулы и разные профили обнаружения, и меры, повышающие цену против одной, могут не задеть другую.
Что подготавливает глава 2
Шаблон, разработанный здесь — однастраничное описание системы, диаграмма потоков данных с границами доверия, инвентарь активов, каталог противников, перечисление угроз по STRIDE, отображение смягчений, реестр остаточных рисков — это рамка, которую заполняет остальная часть книги. Глава 3 расширяет категорию актива данных до её полной структуры — риски обучающих данных, запоминание и извлечение, обработка чувствительного ввода, шифрование и удержание. Глава 4 берётся за prompt injection, которую категория tampering в STRIDE уже назвала доминирующей угрозой против компонента построения промпта. Главы 5 и 6 разрабатывают меры смягчения prompt injection на слоях ввода, вывода и RAG. Более поздние главы возвращаются к тому же шаблону — глава 11 для наблюдаемости, глава 12 для идентичности, — но инвентарь активов и каталог противников, введённые здесь, — то, что эти главы расширяют.
Дальше — Глава 3: Безопасность данных и приватность. Риск обучающих данных, запоминание и извлечение, инциденты Samsung и Garante и дисциплина шифрования, изоляции и удержания, которую требует безопасность данных в системах LLM.
