LLM Primer VII — Введение в серию и указатель

Поглавный разбор книги LLM Primer VII: AI Security — финального тома серии, где инженерная дуга LLM Primer приходит к дисциплине, определяющей, выживет ли всё это перед противниками, регуляторами и повседневными режимами отказа вероятностных систем.

Зачем существует эта серия

В традиционной безопасности код и данные — разные вещи. Парсеры, экранирование и параметризованные запросы опираются на это разделение. В LLM-системах одна и та же строка несёт инструкции разработчика, ввод пользователя, извлечённый документ, результат работы инструмента и то, что модель видела при обучении и что похоже на любой из этих элементов. Нет синтаксической позиции, доказуемо инертной для трансформера, и нет подстроки, которую модель гарантированно прочтёт как данные, а не как инструкцию. Это структурное столкновение — причина, по которой prompt injection, джейлбрейки и adversarial-атаки не баги для патча, а следствия дизайна, которыми нужно управлять. Дисциплина безопасности систем LLM наследует словарь традиционной безопасности — активы, противники, контроли, инциденты — и заново строит подложку под ним. Том VII — эта перестройка, записанная от модели угроз до регуляторного периметра.

Книга в одном предложении: безопасность LLM — это дисциплина защиты систем, чей самый мощный компонент есть вероятностная функция, читающая любой ввод как потенциально инструктивный; её режимами отказа поэтому приходится управлять архитектурой, оценкой, наблюдаемостью и governance, а не патчами.

Для кого написана книга

Инженерам безопасности, у которых теперь LLM в продакшене и которые ломают голову, какие части их прежнего playbook ещё применимы. ML-инженерам, обучавшим или файн-тюнившим модель и вынужденным теперь рассуждать о том, кто может её атаковать. Тимлидам платформ и SRE, эксплуатирующим стек инференса и получающим пейджер, когда паттерны злоупотребления идут в пик. CISO, которые подписывают развёртывания ИИ и отвечают перед советом директоров, регуляторами и аудиторами на вопрос, что значит «безопасно», когда компонент выдаёт распределения вероятностей. Книга предполагает свободное владение продакшн-инженерией и не предполагает предварительного знакомства с adversarial ML; она выстраивает модель-центричные части с первых принципов и связывает их с существующими дисциплинами безопасности там, где связь реальна.

Как её читать

Семнадцать глав делятся на шесть частей. Главы 1–3 закладывают основы — почему безопасность ИИ иная, как моделировать угрозы системы LLM и как выглядит измерение данных по всему жизненному циклу. Главы 4–6 проходят слой промпта и взаимодействия: prompt injection, фильтрацию входа и выхода, retrieval-augmented generation. Главы 7–9 проходят саму модель: галлюцинации как отказ надёжности, adversarial-атаки и цепочку поставок модели. Главы 10–12 проходят системную архитектуру вокруг модели — изоляцию, наблюдаемость и контроль доступа. Главы 13–15 проходят периметр governance — регулирование, ответственный ИИ и организацию, несущую дисциплину. Глава 16 разбирает файн-тюнинг как отдельную поверхность безопасности, а глава 17 закрывает книгу возникающими угрозами, которые пока формируются.

Проход по 17 главам

С 10 по 26 мая разбор выходит по одной главе в день. Каждая статья сжимает три ключевые идеи главы примерно до пятиминутного чтения; глава книги несёт разобранные примеры, код и врезки In Plain English.

10 мая — Глава 1 — Почему безопасность ИИ иная. Традиционная безопасность против модель-центричной; почему LLM ломают разделение код/данные и превращают поведенческий конверт в поверхность атаки.
11 мая — Глава 2 — Моделирование угроз для систем LLM. STRIDE, PASTA и MITRE ATLAS, применённые к активам, противникам и поверхностям атаки LLM.
12 мая — Глава 3 — Безопасность данных и приватность. Риски обучающих данных, запоминание и извлечение, инциденты Samsung и Garante, дисциплина шифрования, изоляции и удержания.
13 мая — Глава 4 — Prompt injection и джейлбрейки. Прямая и косвенная инъекция, таксономии джейлбрейков, универсальные суффиксы и почему смягчение должно быть многослойным, а не синтаксическим.
14 мая — Глава 5 — Валидация входа и фильтрация выхода. Ступенчатая санитизация, структурный промптинг, Llama Guard, red teaming с Garak и PyRIT, честные метрики безопасности.
15 мая — Глава 6 — Риски retrieval-augmented generation. Границы доверия в RAG, инъекция вредоносных документов, отравление индекса и эмбеддингов, мониторинг retrieval-пути.
16 мая — Глава 7 — Галлюцинации и надёжность. Почему модели фабрикуют, калибровка и температурное масштабирование, гибридные архитектуры верификации и эффективные паттерны human-in-the-loop.
17 мая — Глава 8 — Adversarial-атаки на модели. Линия от FGSM через TextFooler к универсальным суффиксам, чёрноящичные API-атаки, model-stealing как проблема конфиденциальности.
18 мая — Глава 9 — Целостность модели и риски цепочки поставок. BadNets, Sleeper Agents, десериализация pickle против safetensors, Sigstore и мониторинг поведенческого дрейфа.
19 мая — Глава 10 — Проектирование безопасных архитектур LLM. Изоляция, многоуровневая валидация, политические движки OPA и Cedar, безопасный дизайн API, zero-trust применительно к вызовам модели.
20 мая — Глава 11 — Наблюдаемость, логирование и реагирование на инциденты. Что логировать по конвенциям OpenTelemetry GenAI, обнаружение злоупотреблений, оповещения и NIST-образные playbook инцидентов.
21 мая — Глава 12 — Контроль доступа и идентичность. OAuth, mTLS, RBAC против ABAC, мультитенантная изоляция, лимиты скорости и корпоративный governance-оверлей.
22 мая — Глава 13 — Регуляторный ландшафт. Поэтапное применение EU AI Act, GDPR применительно к ИИ, аудируемость, карты моделей и фреймворки классификации риска.
23 мая — Глава 14 — Смещение, справедливость и ответственный ИИ. Источники смещения, бенчмарки справедливости и их пределы, компромисс безопасность/полезность, организационная политика ИИ.
24 мая — Глава 15 — Построение безопасной ИИ-организации. Специфичная для ИИ культура безопасности, внутренние red teams, риски поставщиков, непрерывная оценка и долгосрочное сопровождение модели.
25 мая — Глава 16 — Безопасный файн-тюнинг и адаптация. Эрозия выравнивания через безобидные данные, преднамеренное отравление, оценочные ворота в CI и дисциплина отката.
26 мая — Глава 17 — Будущие угрозы и формирующиеся защиты. Автономные агенты и радиус поражения tool-use, мультимодальные поверхности атаки, синтетическая идентичность и AI-vs-AI-обеспечение.

Серия LLM Primer завершается здесь: том I заложил основы архитектуры трансформеров, том II — математику обучения и выравнивания, том III — конвейер retrieval-augmented generation, том IV — протокол-образную когницию и оснастку вокруг него, том V — продакшн-приложения, том VI — инфраструктуру инференса в масштабе, а том VII — то место, где все шесть встречают противника. Родственный том Physical AI продлевает карту в воплощённые системы, где та же вероятностная подложка теперь управляет актуаторами и делит физическое пространство с людьми.

Об этой книге и о серии

Серия LLM Primer — семь томов Sho Shimoda, опубликованных на Amazon KDP и читаемых главу за главой здесь, в блоге ReceiptRoller. Серия утверждает, что построение с LLM — это системная дисциплина, и что дисциплину лучше всего изучать, проходя каждый слой стека в mechanism-first прозе, а не в форме чек-листа. Том VII закрывает эту дугу. Это том безопасности, и это также том, читающий обратно шесть остальных сквозь adversarial-призму — retrieval-конвейер тома III как канал инъекции, инференс-стек тома VI как граница лимита скорости, работа по выравниванию тома II как поверхность атаки для файн-тюнинга. Там, где ранние тома говорили «вот как это работает», этот говорит «вот как это можно заставить упасть и что с этим делать».

Возьмите экземпляр. В книге — полные разобранные примеры, исполняемый Python для редакции, guardrails и rollback, YAML для политик OPA и CI-ворот оценки, playbook инцидентов в более длинной форме и врезки In Plain English, которые эти статьи только резюмируют. LLM Primer VII на Amazon →