所谓 AI“幻觉”,是模型生成了错误、虚构或与上下文矛盾的内容,却以流畅形式呈现。它与模型按统计规律生成内容的方式有关;缺少证据、问题含糊、要求虚构引用或知识过时时更容易出现。
“幻觉”具体指什么
NIST 使用 confabulation(虚构/编造)描述生成式 AI 自信呈现错误内容、偏离输入或与此前回答矛盾的现象。常见形式包括不存在的论文、错误日期、把相关性说成因果,以及根据不完整资料补出细节。
这不是模型故意撒谎。模型生成的是在上下文中看起来合适的后续内容;当事实约束不足时,语言模式仍可能产出非常顺滑的错误答案。
四个高发场景
| 场景 | 为什么危险 | 更好的做法 |
|---|---|---|
| 要求具体引用 | 格式容易模仿,真实性难保证 | 提供检索结果并打开原文 |
| 冷门或最新事件 | 训练信息不足或过期 | 核对当前一手来源 |
| 长上下文 | 关键条件可能被忽略 | 分段并保留原文定位 |
| 强迫给唯一答案 | 不确定性被压成肯定句 | 允许回答未知或多种可能 |
降低风险的四层办法
- 01
限制材料
要求只依据提供的文档回答,并让每条结论标注原文位置。
- 02
允许拒答
明确写出信息不足时应回答“无法从材料确认”,而不是猜测。
- 03
接入可靠来源
需要当前信息时使用检索,但仍要检查来源是否真的支持结论。
- 04
人工负责最终决定
对高风险结论建立复核和批准环节,不把模型输出直接当事实。
一个更诚实的提问方式
只依据我提供的材料回答。把内容分成“材料直接支持”“根据材料推断”“材料无法确认”三部分;每条直接支持的结论注明原文位置。不要生成材料中没有的作者、数字、日期或引用。
你可能还想问
更大的模型就不会幻觉了吗?
更强模型可能在一些任务上更准确,但不能保证不产生错误。风险还取决于问题、数据、检索、系统设计和核验流程。
要求 AI 多想一会儿能解决吗?
可能改善部分推理任务,但如果缺少真实资料,更多推理也可能只是生成更复杂的错误解释。
引用了来源的回答就可靠吗?
仍需打开来源,确认页面存在、时间有效,并且原文确实支持对应结论。
参考资料
本文为面向普通使用者的解释与操作建议。关键概念参考以下一手资料:
- NIST《生成式人工智能风险管理框架》用于核对生成式 AI 的虚构、隐私与风险管理表述。