先说结论

所谓 AI“幻觉”,是模型生成了错误、虚构或与上下文矛盾的内容,却以流畅形式呈现。它与模型按统计规律生成内容的方式有关;缺少证据、问题含糊、要求虚构引用或知识过时时更容易出现。

“幻觉”具体指什么

NIST 使用 confabulation(虚构/编造)描述生成式 AI 自信呈现错误内容、偏离输入或与此前回答矛盾的现象。常见形式包括不存在的论文、错误日期、把相关性说成因果,以及根据不完整资料补出细节。

这不是模型故意撒谎。模型生成的是在上下文中看起来合适的后续内容;当事实约束不足时,语言模式仍可能产出非常顺滑的错误答案。

四个高发场景

场景为什么危险更好的做法
要求具体引用格式容易模仿,真实性难保证提供检索结果并打开原文
冷门或最新事件训练信息不足或过期核对当前一手来源
长上下文关键条件可能被忽略分段并保留原文定位
强迫给唯一答案不确定性被压成肯定句允许回答未知或多种可能

降低风险的四层办法

  1. 01

    限制材料

    要求只依据提供的文档回答,并让每条结论标注原文位置。

  2. 02

    允许拒答

    明确写出信息不足时应回答“无法从材料确认”,而不是猜测。

  3. 03

    接入可靠来源

    需要当前信息时使用检索,但仍要检查来源是否真的支持结论。

  4. 04

    人工负责最终决定

    对高风险结论建立复核和批准环节,不把模型输出直接当事实。

一个更诚实的提问方式

可复制模板按实际资料替换括号内容
只依据我提供的材料回答。把内容分成“材料直接支持”“根据材料推断”“材料无法确认”三部分;每条直接支持的结论注明原文位置。不要生成材料中没有的作者、数字、日期或引用。
常见问题

你可能还想问

更大的模型就不会幻觉了吗?

更强模型可能在一些任务上更准确,但不能保证不产生错误。风险还取决于问题、数据、检索、系统设计和核验流程。

要求 AI 多想一会儿能解决吗?

可能改善部分推理任务,但如果缺少真实资料,更多推理也可能只是生成更复杂的错误解释。

引用了来源的回答就可靠吗?

仍需打开来源,确认页面存在、时间有效,并且原文确实支持对应结论。

参考资料

本文为面向普通使用者的解释与操作建议。关键概念参考以下一手资料:

  1. NIST《生成式人工智能风险管理框架》用于核对生成式 AI 的虚构、隐私与风险管理表述。