大模型是什么意思?为什么叫“大”模型

1小时前发布

大模型,说白了就是一个用海量文字喂出来的程序,你给它一段话,它能顺着往下接出一段像人写的回答。它不像计算器那样等你按完加减号才动,更像一个读了太多书、又特别会接话的人,你起个头,它就能顺着聊下去。

要弄懂它,先把「大」这个字拆开。这个字不是夸人的形容词,它指的是三样东西都很大。

「大」到底大在哪三处

参数多

参数可以想成这台机器内部的旋钮。它身体里装着无数个可以微调的小旋钮,每个旋钮只管一点点判断。你送进去一句话,这些旋钮一起转动,转完之后算出一个结果。

老一些的模型旋钮少,也就几十万个到几千万个。现在被叫作大模型的,旋钮动辄几十亿、上百亿,规模大的到了几千亿。旋钮多,能分辨的语气、场景、搭配就细,说出来的话也就更贴。

你可以这样理解:旋钮的组合方式多到数不清,同一个问题,它内部藏着好多种走法,到头来挑一种讲出来。这也就是为什么同一个问题问它两遍,得到的句子常常不一样。

读的文本多

光有旋钮没用,还得有人教它怎么拧。教的办法是让它读东西。训练一个大模型,喂进去的文字常以万亿计,来源有网页、书籍、代码、论坛问答。一个人几辈子读不完的量,它一口气吞下去。

这些文本就是它的教材。教材里什么都有,正经的、粗糙的、对的、错的,全混在一块。它不挑,照单全收,所以它学到的东西也是这种大杂烩的样子。

烧的算力多

读这么多字,还要反复琢磨,靠的是成排的显卡连轴转。一次完整的训练可能要用上几千张专用芯片,跑好几个星期,光是电费就是一笔大钱。所以能自己训出大模型的,全球也就那么些机构。

训练不是读完就收工,它还得把猜错的地方回头改。这个来回要重复无数次,每改一轮都要把整个语料再过一遍,时间就是这么堆上去的。

书桌上摊开的资料与亮着屏幕的笔记本电脑

它和老式程序不是一个路数

过去写程序,是人把规则一条条写清楚。比如做个算税的工具,你得先想好税率怎么分档、什么情况能减,把这些条件敲成代码,机器照着走。输入一样,输出永远一样。

大模型不是这么来的。没人告诉它主语谓语怎么排、这句话是什么意思,也没人给它写语法规则。只是把海量文本倒进去,让它自己找门道。看得多了,词和词怎么搭、什么话题后面接什么话,它自己摸了出来。

这个差别不小。老程序按人给的规则办事,规则没写到的地方它就卡住。大模型是从例子里自己悟的,碰上没见过的问法也能凑合答上,代价是它给的东西不保证对。

它为什么能接话

它在猜下一个词

它干的事说起来很简单:看前面的字,猜下一个字最可能是什么。猜完接上,再拿新的一段接着猜,一个词一个词往外吐,直到吐出一段完整的话。

你问「今天天气怎么样」,它先算「今」后面跟「天」的分量有多大,接上,再算下一处。整段回答就是这么攒出来的。它心里并没有一个现成的答案,只有一串不断刷新的可能性。

猜的本事是练出来的

训练的时候,它先猜一个词,再跟教材里真正出现的那个词对一下。猜对了,就把相关的旋钮往这个方向轻轻拧一点;猜错了,就往反方向拧一点。几万亿次对答案下来,旋钮被调到了一个接得挺像的位置。

这个过程里没有谁在教它道理,只有反复的猜和改。所以它学到的是「话该怎么说」,不是「事情为什么是这样」。

流利不等于真懂

因为见过的句子太多,它清楚什么搭配读起来顺。所以你感觉它什么都懂,其实它只是话说得漂亮。换一个从没出现过的问法,它照样答得像模像样,但里面装的内容可能站不住。

这也是它容易被高估的地方。一个人流利地讲一件事,多半说明他懂;一台机器流利地讲一件事,只说明它接得顺。这两件事在它身上是分开的。

图书馆书架前的读者用手机查阅资料

两个躲不开的毛病

它会一本正经地编

既然是一个词一个词猜出来的,碰上它没怎么见过的东西,它就顺着语言的惯性编一个听着合理的。你问某个县里的文件编号,它可能给你一串格式挑不出毛病、实际并不存在的号。这种编出来的内容,行话叫幻觉。

再比如让它推荐几本讲某个冷门话题的书,它可能报出书名、作者、出版社,一整套看着都很像回事,你去搜却一本也找不到。

它的记性停在某一天

它懂的东西,来自训练时读过的那批文本。训练结束那天之后发生的事,它一概不知,除非你让它联网去现查。所以问它刚出的规定,它可能把旧版本讲给你听,语气还很笃定。

有人以为它是实时在线的,网上今天有什么它就跟着知道什么。不是这样。它更像一本印好的书,印的时候内容就定住了,后面的事得靠另一次联网去补。

「大」不是白来的,代价在这儿

旋钮多、读得多、烧得多,换来的好处是它说话像人。代价也实实在在地摆着。

训一次,钱和电都是大数目,普通人碰不起。你平时用它是联网调别人的模型,每一次回答背后都有服务器在跑,用的人越多,这笔开销越大。免费额度、次数限制这些东西,说到底还是成本在起作用。

上下文窗口是什么

还有一个常被忽略的限制,叫上下文窗口。你可以把它想成它的临时记性:它一次能同时看见的文字有上限。你贴一份很长的合同进去,超过上限的部分它看不见,或者看了后面就忘了前面。

这跟它的知识储备是两码事。知识储备是训练时记住的,上下文窗口是这一次对话里能临时拿在手上的。窗口不够大,长文档问答、多轮长聊就容易掉链子。

日常里也碰得到。你把一份长报告整段贴进去让它总结,它可能把开头几页讲得很细,后面几页一带而过。这未必是它偷懒,多半是那份材料超出了窗口。

白板上写满要点的工作讨论场景

关于它的几个常见误会

有人把它当成一台超级搜索。这两样不一样。搜不到就是搜不到,它不一样,它搜不到也能给你编一段出来,还编得挺顺。想查准的东西,它并不是合适的入口。

有人以为它存着整本整本的原文。它留下的是语言怎么用的规律,不是原文本身。让它背一段完整的条文,它可能背得八九不离十,也可能在要紧的地方悄悄换两个字。

还有人觉得用得越久就越不用自己动脑。正好相反。你得先对一件事有个大概的判断,才看得出它哪句在胡说。它给你的是草稿,判断还得你自己来。

也有人拿它当算术器使。简单的加减它多半没错,可数字一多、位数一长,它是在按语言习惯拼数字,不是在列竖式,出点错不奇怪。真要算准,交给计算器或者表格。

普通人记住这一句就够了

参数、算力、上下文窗口,这些名词你都不用记。只要记住一句:它是个语言上的熟练工,不是数据库。

熟练工的意思是,它把话说得又顺又快,让它写草稿、理思路、换个说法,都好使。数据库的意思是,它不保证每条信息都对、都新。人名、日期、金额、文号这类东西,它张口就来,未必对得上。

把它当个好用的帮手就行。要写点东西,让它先打个底。要查准的事,别只信它一张嘴,重要信息回到官方来源核一遍。涉及钱、期限、资格这类会有实际后果的内容,这一步省不得。

它不懂你在想什么,也不清楚自己说的是不是真的,只是把见过的语言规律用在了你这句话上。它把话说得像人,是因为它读过的文本多,不是因为它在替你去翻资料。想明白这一点,你就用不坏了。

把它用好的诀窍,不是去背那些术语,而是知道它在哪件事上靠得住、在哪件事上靠不住。知道边界,比记住名词有用。