Глава 5 — Ещё остаются мелкие изъяны

Пятый пост разбора LLM Primer I: How Generative AI Works по главам. Книга про LLM, не разбирающая честно их слабостей, — это книга наполовину. Глава 5 как раз про вторую половину.

Тон здесь немного меняется

До сих пор серия была про то, как модель работает. В этой главе фокус смещается: где она спотыкается. И не для того, чтобы принизить LLM — наоборот, чтобы показать, что каждое спотыкание вырастает из того самого механизма, который мы видели в предыдущих главах.

Зачем включать эту главу — причина одна: помочь вам выработать ощущение, до какой границы модели можно доверять, и где уже стоит подпереть другими инструментами.

Галлюцинации — не «ошибочное знание», а «такая выработка»

Самая обсуждаемая слабость — галлюцинация. Модель спокойно утверждает то, чего не было. Почему это так упрямо? Ответ — в той самой строке, которую мы приняли за определение модели: она производит «наиболее вероятный следующий токен», а не «факт».

Когда модель спрашивают о чём-то, чего она толком не знает, внутри неё не загорается сигнал «не знаю». Просто всплывают токены-кандидаты, наиболее правдоподобные в этом контексте. Если они совпадают с реальностью, мы называем результат верным; если нет — галлюцинацией. С точки зрения модели это одно и то же. Разделение наше, наблюдаемое снаружи.

Время — модель не знает, какой сегодня день

Вторая слабость — отсутствие чувства времени. Модель — снимок момента, когда её закончили обучать, и она не знает, что было после. Хуже того — она не знает, что не знает. Поэтому она с той же уверенностью производит наиболее вероятный ответ по распределению обучающих данных, даже когда вопрос — о сегодняшнем дне.

Поэтому такие вопросы как «какая сегодня дата», «что произошло на днях», «кто сейчас CEO той компании» — спотыкаются. В книге показано, как RAG (генерация с дополнением поиском) и использование инструментов помогают подпереть эту слабость в следующих главах.

Вычисления и точная цепочка — неожиданная слабость

Эта удивляет: по виду простые задачи — длинное умножение, перенос разряда, многошаговое рассуждение с условиями — заставляют модель нелепо промахиваться. LLM плохо работает с точными числовыми представлениями. Всё происходит в том же цикле предсказания следующего токена, а аккуратный счёт не очень в эту логику ложится.

Отсюда естественный приём: вставлять вызовы инструментов — калькулятор, исполнитель кода, поиск — вместо того чтобы пытаться решить всё внутри одной модели. Это плавно подводит к главам про агенты и модели рассуждения.

Согласованность — «та же модель, тот же вопрос, разные ответы»

Ещё одна слабость — колебания вывода. Та же модель на тот же промпт не всегда выдаёт ровно один и тот же ответ — и при оценке или эксплуатации это часто становится неприятной переменной.

Откуда это? Из того сэмплинга, который мы видели в главе 2. Каждый токен тянется из распределения, и сама эта тяга — стохастическая. Можно поставить temperature в ноль — согласованность вырастет, но за это придётся заплатить (вывод станет плоским, монотонным, слегка скованным).

Знать слабости — значит крепче доверять

Глава 5 написана не для того, чтобы напугать. Скорее наоборот. Чтобы хорошо использовать LLM в реальной работе, нужно ясно разделять — что отдаём модели, а что нужно подпереть инструментами за её пределами. Эта глава — фундамент такого разделения.

Принимая, что один и тот же механизм рождает и силу, и слабость, легче выстроить, как с этими слабостями уживаться. А оттуда естественно следующая глава — выравнивание, то есть удержание модели на нужном направлении.

Завтра — Глава 6: Безопасность, выравнивание, и подлинный смысл «быть полезным». Большое решение книги: что «звучать связно» и «быть полезным» — разные вещи, а выравнивание — мост между ними. В издании 2026 года в §6.6 добавлены конституционный ИИ, модели на основе дебатов и новые направления исследований в выравнивании.