2小时前发布
它编东西,不是因为想骗人,是因为它的任务是「接着往下写」。
模型的训练目标是预测下一个词。它学到的是语言的规律:什么样的问句后面通常跟什么样的答句。至于这句话对应的事实是否真实,不在它的判断范围内。
所以遇到它不知道的事,它不会停下来,而是按「这种问题通常怎么回答」的样子,生成一个看起来合理的答案。语气、结构、细节都像真的。
有几类问题特别容易触发:具体数字、人名、文献标题、法条编号、网址。这些内容要求精确,而精确恰恰是它最弱的地方。
还有一类是「越具体越危险」。你问「某行业有哪些公司」,它可能答对大半;你问「某公司 2023 年的营收是多少」,它给的数字常常是编的,而且编得很像。
判断办法很简单:凡是能查到原文的,就去查。查不到的,别当事实用。
我被它坑过一次,写方案时引了一篇文献,标题、作者、期刊、年份全有,格式挑不出毛病。交给客户之后,对方去查,查不到。
那次之后我做了个测试。连着问了十个我没听过的领域术语,它每个都给了完整解释,其中有三个是它自己造的词。
还有一次问某地的办事流程,它写得很细,几号窗口、要带什么材料、几天出证。我照着准备材料,到了现场发现流程完全不是那样。
摸索下来,有几类问法比较稳:让它解释概念、比较方案、改写文字,这些出错概率低。让它报数字、报日期、报出处,出错概率高。
现在我的习惯是,它给的每个数字和出处,都单独核一遍。核不了的,就改成不带数字的说法,比如「普遍在几十家左右」,比写一个精确的假数字安全。
减少编造,有几条办法是有效的:
把资料一起给它。问「这份报告里怎么说的」,别问「这个行业的情况是什么」。有原文可依,它就照着原文答,编的空间小很多。
要求它标出依据。让它指出每个结论来自哪一段,给不出位置的,本身就是信号。
别问它不知道的细节。具体的数字、日期、人名、编号,能自己查就自己查。
让它先说「不确定」。在提问里加一句「不确定的地方直接说不确定」,它给出的答案里会多出不少保留,这些保留是有价值的信息。
还有一条:换个说法再问一遍。两次答案不一致的地方,多半是编的。
这几条不能完全消除编造,但能过滤掉大部分。真正的保险还是那句话:对外用的内容,原始来源核一遍。
编造的程度和提问方式关系很大,这一点常被低估。
开放式提问容易引发编造。问「介绍一下这个行业」,它会拼出一个四平八稳的概述,里面混杂着真实和虚构的信息,你还分不清哪部分是哪种。
受限提问好很多。问「根据这份材料,这个行业有哪三类客户」,它被限定在材料范围内,只能从材料里找。
还有一个变量是问题的具体程度。问得太细,它没有对应信息,就容易补。问得适中,它答得反而准。
我的做法是把问题分成两层:先问宽的,摸清它知道什么;再挑它答得具体的那部分往细里问。答得含糊的地方,基本就是它不掌握的,不必再追。
还有一点,它对自己的答案通常没有把握程度的区分,说得都很确定。这一点要靠你去问、去核,它自己不会提醒。
同样是问事实,开不开联网,结果差别很明显。
不开联网,它只能靠训练时学到的内容。这部分内容有时间截止点,也有记忆偏差,问到近期的、小众的、具体的事情,编的概率高。
开了联网,它会去检索再回答。这时候答案通常带来源链接,可以点开核。但也不是万无一失,检索到的页面本身可能是错的,或者它引用的时候理解偏了。
所以两种模式的用法不一样。不开联网适合问概念、问方法、问怎么写;开联网适合问近况、问价格、问政策。
判断标准可以更直接:这个问题的答案会不会随时间变化。会变的,开联网;不变的,关掉更快。
还有个细节,开联网之后回答会慢一些,而且它引用的来源质量参差。看到来源是自媒体的时候,我会再找一个官方来源对照一下。
最多设置5个标签!
它编东西,不是因为想骗人,是因为它的任务是「接着往下写」。
模型的训练目标是预测下一个词。它学到的是语言的规律:什么样的问句后面通常跟什么样的答句。至于这句话对应的事实是否真实,不在它的判断范围内。
所以遇到它不知道的事,它不会停下来,而是按「这种问题通常怎么回答」的样子,生成一个看起来合理的答案。语气、结构、细节都像真的。
有几类问题特别容易触发:具体数字、人名、文献标题、法条编号、网址。这些内容要求精确,而精确恰恰是它最弱的地方。
还有一类是「越具体越危险」。你问「某行业有哪些公司」,它可能答对大半;你问「某公司 2023 年的营收是多少」,它给的数字常常是编的,而且编得很像。
判断办法很简单:凡是能查到原文的,就去查。查不到的,别当事实用。
我被它坑过一次,写方案时引了一篇文献,标题、作者、期刊、年份全有,格式挑不出毛病。交给客户之后,对方去查,查不到。
那次之后我做了个测试。连着问了十个我没听过的领域术语,它每个都给了完整解释,其中有三个是它自己造的词。
还有一次问某地的办事流程,它写得很细,几号窗口、要带什么材料、几天出证。我照着准备材料,到了现场发现流程完全不是那样。
摸索下来,有几类问法比较稳:让它解释概念、比较方案、改写文字,这些出错概率低。让它报数字、报日期、报出处,出错概率高。
现在我的习惯是,它给的每个数字和出处,都单独核一遍。核不了的,就改成不带数字的说法,比如「普遍在几十家左右」,比写一个精确的假数字安全。
减少编造,有几条办法是有效的:
把资料一起给它。问「这份报告里怎么说的」,别问「这个行业的情况是什么」。有原文可依,它就照着原文答,编的空间小很多。
要求它标出依据。让它指出每个结论来自哪一段,给不出位置的,本身就是信号。
别问它不知道的细节。具体的数字、日期、人名、编号,能自己查就自己查。
让它先说「不确定」。在提问里加一句「不确定的地方直接说不确定」,它给出的答案里会多出不少保留,这些保留是有价值的信息。
还有一条:换个说法再问一遍。两次答案不一致的地方,多半是编的。
这几条不能完全消除编造,但能过滤掉大部分。真正的保险还是那句话:对外用的内容,原始来源核一遍。
编造的程度和提问方式关系很大,这一点常被低估。
开放式提问容易引发编造。问「介绍一下这个行业」,它会拼出一个四平八稳的概述,里面混杂着真实和虚构的信息,你还分不清哪部分是哪种。
受限提问好很多。问「根据这份材料,这个行业有哪三类客户」,它被限定在材料范围内,只能从材料里找。
还有一个变量是问题的具体程度。问得太细,它没有对应信息,就容易补。问得适中,它答得反而准。
我的做法是把问题分成两层:先问宽的,摸清它知道什么;再挑它答得具体的那部分往细里问。答得含糊的地方,基本就是它不掌握的,不必再追。
还有一点,它对自己的答案通常没有把握程度的区分,说得都很确定。这一点要靠你去问、去核,它自己不会提醒。
同样是问事实,开不开联网,结果差别很明显。
不开联网,它只能靠训练时学到的内容。这部分内容有时间截止点,也有记忆偏差,问到近期的、小众的、具体的事情,编的概率高。
开了联网,它会去检索再回答。这时候答案通常带来源链接,可以点开核。但也不是万无一失,检索到的页面本身可能是错的,或者它引用的时候理解偏了。
所以两种模式的用法不一样。不开联网适合问概念、问方法、问怎么写;开联网适合问近况、问价格、问政策。
判断标准可以更直接:这个问题的答案会不会随时间变化。会变的,开联网;不变的,关掉更快。
还有个细节,开联网之后回答会慢一些,而且它引用的来源质量参差。看到来源是自媒体的时候,我会再找一个官方来源对照一下。
一周热门 更多>