2小时前发布
要分清大模型和以前的程序,看一个点就够:里面的规律是人写进去的,还是它自己从数据里读出来的。
传统程序是把规则写死的。比如算个税、判断一个单号合不合规,流程是人一条条设计好的,输入什么、走哪一步、输出什么,都事先定下来。它能干什么,取决于写代码的人想到了多少种情况,碰到没覆盖的输入,它要么报错要么给个默认值。
大模型不是这个路子。训练的时候没有人告诉它「主语后面接谓语」这种规则,它做的事是拿大量文本去猜下一个词,猜偏了就调参数,反复很多遍,文本里的用词习惯和事实搭配就被压进了那堆参数里。它给出的答案不是查出来的,是按概率一个词一个词生成出来的。
「大」落在三处:参数多、喂进去的文本多、训练时用的算力多。三者一起把它的表达能力和覆盖面撑起来,这也是它跟老一代模型的差别所在,不是某一点变大,是整体量级上去了。
补一句边界:这个判断在「要不要核事实」这件事上就不太管用。它语言上通顺,不代表事实正确,写死的程序反而不会编。所以拿它做草稿可以,拿它当数据源就得留个心。
几个误会,踩过的人不少。
一个是把它当数据库。问它某个数字、某个日期、某个文件编号,答得又快又像样,就以为它在里面查过。它没查,它是照着见过的文本往下顺,顺出来的东西看着合理而已。
再一个是以为它记得。这次告诉它我的情况,下次开个新对话它又从头问起。它不会因为跟你聊过一次就把这事存下来,会话一关,前面说的基本就没了。
还有个特别常见的:觉得问得越客气、铺垫越多,答得就越准。礼貌不影响的,它不看你态度好不好,看的是你给了多少有效信息。与其写「麻烦您帮我认真分析一下」,不如把条件一条条列清楚。
也有人反过来,一个字一个字地挤牙膏。它拿不到上下文,只能猜,猜错几轮你自己更烦。
提醒一句:它答得流畅和它答得对,是两码事,尤其是数字、时效、地域这类,自己再核一遍。
第一次被它唬住,是去年秋天。我想查一台老型号打印机的耗材编号,自己找了一圈没找到,就问了 AI。
它答得特别像回事。编号给了,还告诉我这个型号分两个批次,耗材不一样,让我拆开看机身上的哪个位置。整段话条理清楚,连「如果标签磨掉了可以看铭牌」这种细节都写上了。我当时就信了。
拿着这个编号去搜,越搜越不对劲,官方页面里根本没有这个编号,机型分批次的说法也对不上。后来问做维修的朋友,他说那台机器压根就一个版本。它把好几件事拼在了一起。
那天我坐在那儿愣了一会儿,不是因为它错,是因为它错得太顺了。以前接触的程序出错会报错、会卡住,你能感觉到有东西不对;它是把一段编好的话递给你,语气跟它对的时候一模一样。
从那儿以后我改了个习惯:凡是它给的、我没法一眼判断对错的具体信息,一律当成线索,不当成答案。用它的地方也变了,想思路、列提纲、把话润一润这些还好,查具体事实我不太敢直接抄。
判断就一句:它说得越笃定,你越要想一想这话它是从哪儿来的。
说大模型「大」,常见的解释有三条:参数多、训练时喂的文本多、训练时用的算力多。这三条都对,翻来覆去讲的也是它们。
但从日常用起来的角度,还有一个没怎么被提的变量:上下文窗口。说白了,就是它一次能「看见」多少内容。
这个窗口是有上限的。你跟它聊得越长,前面的内容就越容易掉出这个窗口。表现是它忽然忘了你三句话之前定下的说法,或者你贴了一份长材料进去,它只答了后半截。很多人以为是它变笨了,其实是超了。
它管的就是一次对话里能塞多少东西。想让它在长材料上干活,办法通常是拆开分段喂,每段让它先出一段小结,再拿小结去问下一个问题。这条比参数多少更能决定你手头这件事顺不顺。
所以「大」有两层:一层是训练时候的家底,参数和数据那些;另一层是干活时候能一次装下多少,就是上下文窗口。前者你感受不到,后者天天能撞上。
多数人对大模型的理解是这样的:它读了很多书,所以它记住了书里的内容,你问它它就翻出来告诉你。
实际更像另一回事。它在训练里做的事,是看海量文本,记住词和词、句子和句子之间怎么连着。什么词后面容易跟什么词,什么话题常常和什么话题一起出现,这些东西被打散了存进参数里。它拿到的是一个「搭配和走向」的分布,不是一本本原文。
差别在哪?
你让它复述某段原文,它拼得出来,但拼出来的和原文不一定一样,因为它本来就不是从原文里取,是按记下的走向重新生成一遍。你问它一件事是不是真的,它没法像查库那样给你一个「有」或「没有」,它只能照见过的文本里这类说法长什么样,写一段最像的。
这就解释了为什么它讲常识稳、碰到生僻细节容易出岔子。常见的东西它见过的次数多,走向被打磨得准;冷门的东西次数少,走向就糊,只能靠语言习惯硬凑一段。
所以别把「它答得出来」等同于「它那儿有」。它那儿没有原文,只有一片关于语言该怎么走的记忆。
最多设置5个标签!
要分清大模型和以前的程序,看一个点就够:里面的规律是人写进去的,还是它自己从数据里读出来的。
传统程序是把规则写死的。比如算个税、判断一个单号合不合规,流程是人一条条设计好的,输入什么、走哪一步、输出什么,都事先定下来。它能干什么,取决于写代码的人想到了多少种情况,碰到没覆盖的输入,它要么报错要么给个默认值。
大模型不是这个路子。训练的时候没有人告诉它「主语后面接谓语」这种规则,它做的事是拿大量文本去猜下一个词,猜偏了就调参数,反复很多遍,文本里的用词习惯和事实搭配就被压进了那堆参数里。它给出的答案不是查出来的,是按概率一个词一个词生成出来的。
「大」落在三处:参数多、喂进去的文本多、训练时用的算力多。三者一起把它的表达能力和覆盖面撑起来,这也是它跟老一代模型的差别所在,不是某一点变大,是整体量级上去了。
补一句边界:这个判断在「要不要核事实」这件事上就不太管用。它语言上通顺,不代表事实正确,写死的程序反而不会编。所以拿它做草稿可以,拿它当数据源就得留个心。
几个误会,踩过的人不少。
一个是把它当数据库。问它某个数字、某个日期、某个文件编号,答得又快又像样,就以为它在里面查过。它没查,它是照着见过的文本往下顺,顺出来的东西看着合理而已。
再一个是以为它记得。这次告诉它我的情况,下次开个新对话它又从头问起。它不会因为跟你聊过一次就把这事存下来,会话一关,前面说的基本就没了。
还有个特别常见的:觉得问得越客气、铺垫越多,答得就越准。礼貌不影响的,它不看你态度好不好,看的是你给了多少有效信息。与其写「麻烦您帮我认真分析一下」,不如把条件一条条列清楚。
也有人反过来,一个字一个字地挤牙膏。它拿不到上下文,只能猜,猜错几轮你自己更烦。
提醒一句:它答得流畅和它答得对,是两码事,尤其是数字、时效、地域这类,自己再核一遍。
第一次被它唬住,是去年秋天。我想查一台老型号打印机的耗材编号,自己找了一圈没找到,就问了 AI。
它答得特别像回事。编号给了,还告诉我这个型号分两个批次,耗材不一样,让我拆开看机身上的哪个位置。整段话条理清楚,连「如果标签磨掉了可以看铭牌」这种细节都写上了。我当时就信了。
拿着这个编号去搜,越搜越不对劲,官方页面里根本没有这个编号,机型分批次的说法也对不上。后来问做维修的朋友,他说那台机器压根就一个版本。它把好几件事拼在了一起。
那天我坐在那儿愣了一会儿,不是因为它错,是因为它错得太顺了。以前接触的程序出错会报错、会卡住,你能感觉到有东西不对;它是把一段编好的话递给你,语气跟它对的时候一模一样。
从那儿以后我改了个习惯:凡是它给的、我没法一眼判断对错的具体信息,一律当成线索,不当成答案。用它的地方也变了,想思路、列提纲、把话润一润这些还好,查具体事实我不太敢直接抄。
判断就一句:它说得越笃定,你越要想一想这话它是从哪儿来的。
说大模型「大」,常见的解释有三条:参数多、训练时喂的文本多、训练时用的算力多。这三条都对,翻来覆去讲的也是它们。
但从日常用起来的角度,还有一个没怎么被提的变量:上下文窗口。说白了,就是它一次能「看见」多少内容。
这个窗口是有上限的。你跟它聊得越长,前面的内容就越容易掉出这个窗口。表现是它忽然忘了你三句话之前定下的说法,或者你贴了一份长材料进去,它只答了后半截。很多人以为是它变笨了,其实是超了。
它管的就是一次对话里能塞多少东西。想让它在长材料上干活,办法通常是拆开分段喂,每段让它先出一段小结,再拿小结去问下一个问题。这条比参数多少更能决定你手头这件事顺不顺。
所以「大」有两层:一层是训练时候的家底,参数和数据那些;另一层是干活时候能一次装下多少,就是上下文窗口。前者你感受不到,后者天天能撞上。
多数人对大模型的理解是这样的:它读了很多书,所以它记住了书里的内容,你问它它就翻出来告诉你。
实际更像另一回事。它在训练里做的事,是看海量文本,记住词和词、句子和句子之间怎么连着。什么词后面容易跟什么词,什么话题常常和什么话题一起出现,这些东西被打散了存进参数里。它拿到的是一个「搭配和走向」的分布,不是一本本原文。
差别在哪?
你让它复述某段原文,它拼得出来,但拼出来的和原文不一定一样,因为它本来就不是从原文里取,是按记下的走向重新生成一遍。你问它一件事是不是真的,它没法像查库那样给你一个「有」或「没有」,它只能照见过的文本里这类说法长什么样,写一段最像的。
这就解释了为什么它讲常识稳、碰到生僻细节容易出岔子。常见的东西它见过的次数多,走向被打磨得准;冷门的东西次数少,走向就糊,只能靠语言习惯硬凑一段。
所以别把「它答得出来」等同于「它那儿有」。它那儿没有原文,只有一片关于语言该怎么走的记忆。
一周热门 更多>