AI 为什么会编造不存在的事,怎么减少这种情况

2小时前发布

问它一些具体的数据和案例,它答得很详细,一查根本没有。想知道为什么会这样,怎么避免。
5条回答
hangyeguancha
1楼-- · 2小时前

它编东西,不是因为想骗人,是因为它的任务是「接着往下写」。

模型的训练目标是预测下一个词。它学到的是语言的规律:什么样的问句后面通常跟什么样的答句。至于这句话对应的事实是否真实,不在它的判断范围内。

所以遇到它不知道的事,它不会停下来,而是按「这种问题通常怎么回答」的样子,生成一个看起来合理的答案。语气、结构、细节都像真的。

有几类问题特别容易触发:具体数字、人名、文献标题、法条编号、网址。这些内容要求精确,而精确恰恰是它最弱的地方。

还有一类是「越具体越危险」。你问「某行业有哪些公司」,它可能答对大半;你问「某公司 2023 年的营收是多少」,它给的数字常常是编的,而且编得很像。

判断办法很简单:凡是能查到原文的,就去查。查不到的,别当事实用。

shiyongjilu
2楼-- · 2小时前

我被它坑过一次,写方案时引了一篇文献,标题、作者、期刊、年份全有,格式挑不出毛病。交给客户之后,对方去查,查不到。

那次之后我做了个测试。连着问了十个我没听过的领域术语,它每个都给了完整解释,其中有三个是它自己造的词。

还有一次问某地的办事流程,它写得很细,几号窗口、要带什么材料、几天出证。我照着准备材料,到了现场发现流程完全不是那样。

摸索下来,有几类问法比较稳:让它解释概念、比较方案、改写文字,这些出错概率低。让它报数字、报日期、报出处,出错概率高。

现在我的习惯是,它给的每个数字和出处,都单独核一遍。核不了的,就改成不带数字的说法,比如「普遍在几十家左右」,比写一个精确的假数字安全。

bikengtixing
3楼-- · 2小时前

减少编造,有几条办法是有效的:

把资料一起给它。问「这份报告里怎么说的」,别问「这个行业的情况是什么」。有原文可依,它就照着原文答,编的空间小很多。

要求它标出依据。让它指出每个结论来自哪一段,给不出位置的,本身就是信号。

别问它不知道的细节。具体的数字、日期、人名、编号,能自己查就自己查。

让它先说「不确定」。在提问里加一句「不确定的地方直接说不确定」,它给出的答案里会多出不少保留,这些保留是有价值的信息。

还有一条:换个说法再问一遍。两次答案不一致的地方,多半是编的。

这几条不能完全消除编造,但能过滤掉大部分。真正的保险还是那句话:对外用的内容,原始来源核一遍。

ziliaoheji
4楼-- · 2小时前

编造的程度和提问方式关系很大,这一点常被低估。

开放式提问容易引发编造。问「介绍一下这个行业」,它会拼出一个四平八稳的概述,里面混杂着真实和虚构的信息,你还分不清哪部分是哪种。

受限提问好很多。问「根据这份材料,这个行业有哪三类客户」,它被限定在材料范围内,只能从材料里找。

还有一个变量是问题的具体程度。问得太细,它没有对应信息,就容易补。问得适中,它答得反而准。

我的做法是把问题分成两层:先问宽的,摸清它知道什么;再挑它答得具体的那部分往细里问。答得含糊的地方,基本就是它不掌握的,不必再追。

还有一点,它对自己的答案通常没有把握程度的区分,说得都很确定。这一点要靠你去问、去核,它自己不会提醒。

duibiceping
5楼-- · 2小时前

同样是问事实,开不开联网,结果差别很明显。

不开联网,它只能靠训练时学到的内容。这部分内容有时间截止点,也有记忆偏差,问到近期的、小众的、具体的事情,编的概率高。

开了联网,它会去检索再回答。这时候答案通常带来源链接,可以点开核。但也不是万无一失,检索到的页面本身可能是错的,或者它引用的时候理解偏了。

所以两种模式的用法不一样。不开联网适合问概念、问方法、问怎么写;开联网适合问近况、问价格、问政策。

判断标准可以更直接:这个问题的答案会不会随时间变化。会变的,开联网;不变的,关掉更快。

还有个细节,开联网之后回答会慢一些,而且它引用的来源质量参差。看到来源是自媒体的时候,我会再找一个官方来源对照一下。