大模型为什么会"一本正经地胡说"?
语言模型的目标是预测下一个词,不是查证事实。当训练数据里没有答案,它仍会生成"看起来合理"的表述。检索、工具调用与自我核查能降低比例,但无法归零。
让大模型写一份参考文献列表,它可能给出格式完美、作者真实、期刊正确、但文章根本不存在的条目。这不是"撒谎",因为它没有"诚实"这个目标函数——它只是在做概率生成。
机制:下一个词的概率游戏
模型在训练中学习的是"给定上下文,下一个词元(token)的概率分布"。它压缩了海量文本中的统计规律,但没有独立的事实数据库,也没有内置的核查步骤。
当问题涉及罕见事实、具体数字或最新信息,训练分布覆盖不足,模型仍会按"最像答案"的模式生成。流畅性与真实性是两个不同的维度,而人类容易把前者误认为后者。
为什么它"不知道自己不知道"
理想情况下,模型应对不确定的问题表达不确定。但人类标注的偏好数据往往奖励"给出明确答案",惩罚"我不知道",这会让模型倾向于编造。
另一个现象是"谄媚":模型容易顺着用户的错误前提继续推理。你问"为什么某理论被推翻了",它可能先接受这个前提,再编出理由。
哪些措施真的有效
检索增强(RAG):先从可信文档检索,再让模型基于文档回答,并给出出处。这是目前工程上最有效的手段,但依赖检索质量与文档可信度。
工具调用:让模型调用计算器、数据库、搜索引擎,而不是凭记忆算数或报数。对数字、日期、代码执行结果,这条几乎是必需的。
自我一致性检查:多次采样、交叉验证、让另一个模型做审稿。能降低错误率,但增加成本,也不能保证正确。
哪些场景必须人工复核
医疗建议、法律文书、财务计算、学术引用、新闻报道。这些场景的错误代价高,且模型无法承担责任。
一个实用原则:把模型当成"高效的初稿生成器"和"思路提示器",而不是"事实数据库"。凡是它给出的具体数字、人名、法条、论文,都要回到原始来源核对。
对普通用户的意义
要求模型给出出处,并点开链接验证;对"过于具体"的细节保持警惕;重要决策使用多个独立来源交叉比对。
同时也要看到它的价值:在写作、归纳、翻译、代码草拟、头脑风暴上,它能显著提高效率。关键在于把"生成"与"核实"分开,而不是指望一个模型同时完成两件事。
本文为科学普及,基于公开教材、综述与机构报告整理,尽量标明不确定性与适用条件,不构成医疗、投资或工程建议。
最后更新:2026年11月17日 · 发现事实错误请告诉我们