Глава 17 — Будущие угрозы и формирующиеся защиты
Семнадцатый и заключительный пост поглавного разбора LLM Primer VII: AI Security. Глава, смотрящая за пределы дисциплин, уже достаточно зрелых, чтобы быть записанными, и называющая те, что сообщество ещё вырабатывает, — автономные агенты, мультимодальные поверхности атаки, синтетическая идентичность и AI-vs-AI гонка вооружений середины 2026.
Зачем существует эта глава
Главы с 1 по 16 прошли дисциплины безопасности, уже достаточно зрелые, чтобы быть записанными. Глава 17 проходит те, что ещё формируются. Контраст важен. Ранние главы отвечали: «мы знаем, как это делать, и вопрос — сделает ли ваша организация». Эта отвечает: «сообщество ещё вырабатывает, как выглядит хорошее, и ответы в следующем году могут отличаться от ответов в этом году». Оба вида работы реальны, и оба принадлежат репертуару инженера. Первый вид держит системы безопасными сегодня. Второй держит их безопасными через два года.
17.1 Автономные агенты умножают радиус поражения на бюджет инструментов
Автономный агент — система, в которой языковой модели даны цель, набор инструментов и полномочия вызывать эти инструменты последовательно без пошагового человеческого обзора. Модель решает, что делать дальше; инструменты исполняют; результаты возвращаются; цикл продолжается, пока цель не достигнута или не сработает условие остановки. AutoGPT и BabyAGI прототипировали паттерн публично в начале 2023; LangChain формализовал его; Claude computer use от Anthropic (октябрь 2024) и Operator OpenAI (январь 2025) превратили это в коммерческие продукты, дающие модели полномочия над браузером или рабочим столом. Свойства безопасности отличаются по типу от single-turn-генерации. Модель, производящая одно завершение, имеет полномочия писать текст, на который приложение может отреагировать. Модель, оперирующая браузером, имеет, в худшем случае, полномочия делать всё, что может браузер, без точки человеческого обзора. Смягчения, составленные из более ранних глав, — allow-list'ы инструментов, capability-токены с узким scope, per-tool-политические проверки вне модели, человеческое подтверждение для действий с высоким импактом, жёсткие пределы шагов, потолки бюджета, — применяются здесь с обострённым акцентом. Автономия агента — дизайн-решение, принятое заранее любого конкретного инцидента, и дизайн решает потолок любой компрометации.
17.2 Мультимодальные поверхности расширяют канал инъекции на порядки
Модель только с текстом читает то, что распознаёт токенизатор. Vision-language-модель читает изображения, чья pixel-level-полоса пропускания превосходит всё, что может нести текст, и окружающее приложение обычно не может инспектировать, что содержит изображение, так, как оно может инспектировать строку. Статья Шлармана и Хайна 2023 года «On the Adversarial Robustness of Multi-Modal Foundation Models» показала, что человеко-невоспринимаемые возмущения изображения могут существенно изменить текстовые выводы VLM — классическая atacka adversarial-примером, адаптированная к новой модальности. Текст, встроенный в изображения (скриншоты, мемы, сканы документов), — другая поверхность: OCR-обнаруженные инструкции в изображении могут быть косвенной prompt-инъекцией через визуальный канал. Audio-language-модели принимают речевой ввод; adversarial-аудио-возмущения, некоторые неслышимые человеку, продемонстрированы. Видео добавляет оба канала вместе. Каждая модальность — новая поверхность инъекции, и защитная работа только начинает догонять: пре-VLM-сканеры, флагающие или снимающие OCR-обнаруженный текст в изображениях; provenance-теги на мультимодальных вводах; тренировка выравнивания, обращающаяся с визуальными и аудио-каналами с той же подозрительностью, что и с текстом; и модальность-осведомлённая фильтрация вывода. Паттерн из более ранних глав — не давать границам доверия схлопнуться в единый вход — распространяется на модальности, которые ранним главам не пришлось называть.
17.3 Синтетическая идентичность и AI-vs-AI перекраивают периметр
Первые два раздела трактовали модель как цель. Третий трактует её как инструмент. Генеративная модель, чьи выводы неотличимы от аутентичной человеческой продукции, подрывает любой механизм безопасности, зависящий от того, что аутентичность обнаружима. Синтетический голос, сгенерированный из минут речи, движет вишингом против финансового персонала, узнающего голос CEO. Deepfake-видео фабрикуют кадры публичных фигур. Синтетический текст имитирует чей-то конкретный стиль письма в business-email-compromise. Ничто из этого не экзотично к 2026 году; инструменты стали commodity, стоимость одной генерации — копейки. Защитный ответ был инфраструктурой провенанса — C2PA для content credentials, исследование водяных знаков, криптографическое подписание аутентичной медиа, — и уплитой identity verification там, где решения с высокой ставкой опираются на аутентичность канала. Более широкая защитная траектория — AI-vs-AI: security-системы, построенные на языковых моделях, развёрнутые для защиты против атак, сгенерированных или усиленных другими языковыми моделями. Автоматизированный red-teaming — NVIDIA Garak, Microsoft PyRIT — заменяет человека моделью на атакующей стороне. Guardrails, safety-классификаторы и обнаружение аномалий заменяют человека моделью на защитной стороне. Гонка вооружений неудобна, но это операционная реальность. AI-обеспечение — становящаяся дисциплина показа, что система ИИ соответствует своим требованиям с определённой уверенностью, — то, что пытается дать гонке вооружений устойчивую опору: инфраструктура непрерывной оценки, третья сторонняя сертификация, нормы раскрытия инцидентов и стандарты, расширяемые сообществами ISO/IEC 42001 и NIST AI RMF.
Серия заканчивается здесь
Глава 17 — заключительная глава LLM Primer VII, и с ней — заключительная глава серии LLM Primer в целом. Том I ввёл архитектуру языковых моделей на основе трансформеров, от механизма внимания вовне. Том II покрыл обучение, выравнивание и практический жизненный цикл построения модели. Том III рассмотрел retrieval-augmented generation и окружающие data-конвейеры. Том IV рассмотрел оценку, оснастку и инженерные практики, окружающие модель в продакшене. Том V прошёл паттерны агентов и tool-use, которые эта глава теперь трактовала под их adversarial-аспектом. Том VI покрыл инфраструктуру инференса и паттерны масштабирования в организационном масштабе. Том VII, этот, был о защите всего этого. Семь томов писались как связная карта. Читателям, добравшимся до этой главы, не посетив ранее ранних томов, рекомендуется вернуться: многие security-утверждения этой книги опираются на архитектурные детали, устанавливаемые теми томами.
Родственный том, Physical AI, продлевает карту в воплощённые системы — роботов, автономные транспортные средства и физико-мировые развёртывания, где та же вероятностная подложка теперь управляет актуаторами и делит физическое пространство с людьми. Заботы безопасности этого тома переносятся с модификациями: prompt injection через визуальный канал становится заботой безопасности с метром физического досягания; граница инструмента теперь моторный контроллер; adversarial-входы — объекты, помещённые в рабочую среду. Дисциплины из этих семи томов — предпосылки для той работы, а не замена ей, и дуга от attention трансформера через инфраструктуру через безопасность продолжается в физический мир, где ставки становятся осязаемыми.
Спасибо, что прочитали разбор. Сама книга несёт разобранные примеры, исполняемый код, playbook инцидентов и врезки In Plain English в более длинной форме, чем есть место у этих статей. Если что-то из этого оказалось полезным, наиболее impact'ный следующий шаг — применить фреймворк к конкретной системе, которую защищает ваша организация: модель угроз из главы 2, многослойные смягчения из глав 4 и 5, архитектурные паттерны из главы 10, наблюдаемость из главы 11 и организационная дисциплина из главы 15 — несущие детали.
