第 5 章 — 还是有些小毛病
LLM Primer I: How Generative AI Works 章节走读的第五篇。一本不老实谈缺点的 LLM 书,只能算半本。第 5 章正好补上另一半。
这一章的语气稍微换一下
到目前为止,这个连载讲的是模型怎么工作。这一章里焦点变一下:它在哪里会摔倒。不是为了贬低 LLM — 恰恰相反,是为了说明每一次摔倒,根子都在我们前几章看过的那个机制上。
放这一章只有一个理由:帮你建立一种感觉 — 这个模型能信到哪一步,从哪一步开始就得靠别的工具补上。
幻觉 — 不是"记错了",而是"就这么产出来的"
讨论得最多的那一种就是幻觉。模型一脸平静地说出根本没那回事的话。为什么这件事那么顽固?答案就在我们认下来的那条对模型的定义里:它产出的是"最有可能的下一个 token",而不是"事实"。
当模型被问到它其实不太知道的事,它内部并没有一个信号告诉它"我不知道"。它只是从这个上下文里,把最像样的几个候选 token 推上来。如果这些候选跟现实对上了,我们就叫它"对";没对上,就叫它"幻觉"。但在模型这一头,这两件事是同一种产出。区分是我们从外面下的,不是它在做的。
时间 — 模型不知道今天是几号
第二个毛病是时间感的缺失。模型是它训完那一刻的一张快照,之后世界上发生的事它都不知道。更麻烦的是 — 它不知道自己不知道。所以即便你问它"今天"的事,它也会以同样自信的语气,从训练数据里那种分布上,给你拉一个最像样的答案出来。
所以"今天几号"、"最近发生了什么"、"那家公司现在的 CEO 是谁"这类问题,会出问题。书里讲到 RAG(检索增强生成)和工具调用怎么在后面几章里把这块毛病顶上一顶。
算术与精确跟踪 — 一个有点意外的弱点
这个有点反直觉:看上去很简单的题 — 长乘法、进位、多步带条件的推理 — 模型会以一种近乎滑稽的方式摔倒。LLM 本质上不擅长处理"精确的数值表示"。所有东西最后还是落在"下一个 token 预测"那个循环里,而细致的算数和这个逻辑不那么搭。
所以自然就引出后面那一招:在模型旁边接上工具 — 计算器、代码执行器、搜索 — 而不是让一个模型自己硬扛全部。这条线很自然就把后半本书的智能体和推理模型串起来。
一致性 — "同一个模型、同一个问题、不同的答案"
另一个毛病是输出的不稳定。同一个模型对同一个 prompt,未必每次都给出完全一致的回答 — 这在评估和运营场景里,常常是个让人头疼的变量。
这从哪来的?从我们在第 2 章看过的那个采样来。每个 token 都是从分布里抽出来的,而那个抽这件事本身就是有随机的。你可以把 temperature 调成 0,一致性会上来,但要付代价 — 输出会变得很扁平,语气会僵化。
知道毛病,反而让你更敢用
第 5 章不是写来吓唬人的。正相反。要在真实工作里把 LLM 用好,你得清清楚楚分得清:什么交给模型,什么必须靠模型之外的工具来顶。这一章就是这种区分的根。
一旦你接受"同一个机制同时产出强项和弱项",你也就接受了:和这些弱点共处,本身就是一种设计能力。接下去的话题就自然进到下一章 — 对齐,把模型留在我们想要它待的那条路上。
明天 — 第 6 章:安全、对齐,以及"有用"到底是什么意思。书里很重要的一个决断要出场了。"听上去通顺"和"真的有用"是两件事,而对齐就是连接这两件事的桥。2026 版里我在 §6.6 加了一节新内容 — 宪法式 AI、基于辩论的模型,以及对齐领域里那些新研究方向。
