AI 幻觉是怎么产生的?能彻底避免吗

1小时前发布

AI 有时会编出不存在的文献、法规条款和数据,看起来还挺像真的。想知道这种情况为什么会发生,有没有办法减少。
4条回答
hangyeguancha
1楼-- · 1小时前

幻觉的根源是模型的生成方式。它不是先查证再回答,而是根据前文预测接下来最顺的那个词,逐字往下写。这套机制在语言通顺上很有效,但它没有「我不知道」这个默认选项。

所以当问题超出它的知识范围,或者问得很具体(某个文号、某一页、某个小数),它仍会按语言惯性编出一个格式正确、内容不存在的答案。看起来可信,恰恰是因为格式对。

这也意味着幻觉没有办法彻底消除。可以降低发生率,但不能指望它归零,碰上有精确事实要求的场合,更要留一道核对。

有个反直觉的点:越是要求它「给确定答案」「不要说不确定」,幻觉反而越多。模型被压着不许含糊,就只能编。留出「不确定就说不知道」的余地,可靠性会上升。

shiyongjilu
2楼-- · 1小时前

我的经验是分场景对待。

让它做整理、改写、扩写、列提纲,幻觉很少,因为这些任务不需要外部事实,材料都在你给的内容里。让它回答「某年某政策第几条」这种,幻觉概率明显上升。

一个实用习惯:凡是它给出的具体事实,都要求它标明来源。要不出来源,就当没有。这个要求本身也会让它更谨慎,编造的概率会降一些。

再一个是把大问题拆小。一次问「这个行业有哪些监管要求」,容易得到笼统又掺杂想象的答案;改成逐个问具体文件,准确度高得多。

可以按任务分个类:改写、总结、翻译、拟提纲,这几类基本不产生事实性幻觉;查政策、查标准、查数据、查文献,这几类必须核对原文。把这条线记住,日常用起来心里就有底。

ziliaoheji
3楼-- · 1小时前

能明显降低幻觉的几种做法:

给它材料再提问。把原文贴进去,要求「只根据以下内容回答」,比凭记忆回答可靠得多。

要求它区分确定与不确定。明确说「不确定的部分标注出来,不要推测」,回答会保守一些。

要求引用位置。让它指出结论来自第几段、第几条,能对上的才算数。

交叉验证。同一个事实换一种问法再问一次,两次答案不一致的地方就是要核对的点。

关闭或谨慎使用联网。联网能补时效,但也会引入质量不高的来源,反而增加出错面。

验证来源有个快办法:把它给的引用原文复制一段去搜,能搜到原始页面才算数。搜不到、或者只在内容农场里出现,基本可以判定是编的。这一步花不了一分钟,能挡掉大部分问题。

bikengtixing
4楼-- · 1小时前

最容易吃亏的几类内容:

参考文献和论文标题。格式完全正确,作者、期刊、年份齐全,但去查根本不存在。这是幻觉的重灾区。

法条编号和政策文号。数字错一位,整段引用就废了,而且看着特别像真的。

具体价格、比例、统计数据。越精确的数字越要警惕,模型对「差不多」有概念,对「精确到小数点后两位」没有。

人名和职务。把不同人的观点安到同一个人身上,是很常见的错法。

一句话:格式越规范、越像官方文件的输出,越要多查一遍。

发现已经引用了错误信息,处理顺序是先撤回再更正,别在原处悄悄改。发出去的文稿改动尤其要留痕,把这次出错的具体形态也记下来,同类问题下次能提前防。