算力、显存、上下文长度之间是什么关系

算力、显存、上下文长度之间是什么关系 看机器配置或者云服务报价，这三个词总是一起出现。有人把它们当成同义词，觉得数字越大就越强。实际上它们各管一段，缺一段就卡住，其中一段不够会直接跑不起来。 把这三件事分清，采购时就不会买错，部署时也知道瓶...

为什么同样的提示词，不同平台结果差很多

为什么同样的提示词，不同平台结果差很多 把同一段提示词贴进三个平台，一份直接能用，一份啰嗦得没法看，还有一份答得完全跑偏。提示词一个字没改，结果却像换了三个完全不同的人。 这不是谁抄错了。三家平台从模型到参数到前置指令都不一样，你看到的那段...

模型评测榜单能信几分，怎么看一个模型强不强

模型评测榜单能信几分，怎么看一个模型强不强 榜单第一名换了三茬，你手上那个用着最顺的模型一直排在十名开外。这个反差不是错觉，也不是榜单作假，是榜单测的东西和你需要的东西对不上。 榜单有用，但用途窄。它适合快速排除一眼就不行的选项，不适合替你...

AI 的「记忆」是怎么实现的，存在哪

AI 的「记忆」是怎么实现的，存在哪 上个月说过的事，这个月它全忘了。同一款产品，有人发现它记得自己喜欢简洁回答，有人发现换个窗口就什么都不记得。这些差别不是玄学，背后是几套不同的机制在起作用。 「记忆」这个词被用得很松。它有时指上下文窗口，...

蒸馏、量化这些词是什么意思，和普通人有什么关系

蒸馏、量化这些词是什么意思，和普通人有什么关系 看模型发布的消息，常能看到「7B 蒸馏版」「4bit 量化，显存只占 6G」。这些词听起来像工程师的内部行话，实际上它们决定了你手上的设备能不能跑起来一个模型，以及跑起来的那个模型还剩几分本事。 把这两...

为什么 AI 写不出准确的数字和日期

为什么 AI 写不出准确的数字和日期 让模型算「三万七千乘以百分之十三」，它给出的数你得自己验一遍。让它推「下个月第二个星期二」，它经常差一天。这不是它偷懒，是它处理数字的方式和我们不一样。 数字和日期，是这类模型最不可靠的地方。知道为什么不可...

温度、随机种子这些参数调的是什么

温度、随机种子这些参数调的是什么 同一段提示词，连着提交两次，回答的开头就不一样。有人以为模型在「状态不稳」，有人怀疑是不是网络抖动。都不是。这是模型本身的设计：它输出的不是唯一答案，而是一个概率分布里抽出来的一个样本。 温度、随机种子、to...

开源模型和闭源模型，差的是能力还是工程

开源模型和闭源模型，差的是能力还是工程 同一个问题分别抛给两款模型，一款能把权重下载到本地，一款只能通过接口调用，答案读起来差不多。有人由此下结论：开源已经追平闭源，剩下的只是习惯问题。这个判断只说对了一半。 能力确实在靠近。工程上的距离不...

模型训练用的是什么数据，为什么会有知识截止

模型训练用的是什么数据，为什么会有知识截止 问 AI 一个两年前的政策，它答得清楚；问它上个月刚开的会，它说不知道，或者给了一个明显过时的版本。同样是「知道」，为什么有个时间分界？ 答案藏在训练方式里。模型的知识不是实时获取的，它在某个时间点被...

多模态模型怎么「看懂」图片，它到底能看准什么

多模态模型怎么「看懂」图片，它到底能看准什么 第一次用多模态模型的人，常有两个极端反应。一种是惊到：随手拍一张乱糟糟的办公桌，它能说出桌上有显示器、水杯、几叠文件、一盆绿植。另一种是失望：让它数一下照片里有几个人，它数错了；让它读一张 {MOD}...

推理模型的「思考过程」是真的在思考吗

推理模型的「思考过程」是真的在思考吗 用过新一代推理模型的人，大多见过那个折叠的思考面板。点开，里面是一段自我对话：「问题是……，我需要先确定……，但这里有个矛盾……，让我换个角度」。看着确实像在思考，甚至会自我否定、回头重算。 这段文字带...

同一个模型不同版本，差别到底在哪

同一个模型不同版本，差别到底在哪 上线两个月的系统，某天开始输出格式不对了。排查代码，一行没改。查依赖，库版本没动。最后发现问题在模型侧：服务商把后端模型静默升级了一个版本，输出风格变了。 这种情况比想象中常见。模型不是固件，它会更新。同一...

微调、提示词、检索增强，三条路各适合什么场景

微调、提示词、检索增强，三条路各适合什么场景 企业想用 AI 做点实事，几乎都会走到同一个岔路口：模型给的答案太通用，不懂我们的业务。这时候有三条路摆在面前，听人讲起来都像能解决问题，选错了要白花几个月。 三条路是提示词、检索增强、微调。说清楚...

模型为什么会「幻觉」，它自己知道在编吗

模型为什么会「幻觉」，它自己知道在编吗 有人拿一份内部制度去问 AI，它回答得条理清晰，还引用了《劳动合同法》第某条。拿去给法务看，法务说这条确实存在，但内容和这里说的不是一回事。条文号是真的，表述是它自己攒的。 这种情况太常见了。研究者给它...

参数量大就代表聪明吗，普通人该怎么看这个数

参数量大就代表聪明吗，普通人该怎么看这个数 打开任何一个模型发布会的稿子，都有一行数字很显眼：千亿参数、万亿参数。旁边配一张柱状图，比上一代高出一截。看多了容易形成一个直觉——数字越大，模型越强。这个直觉在几年前大致成立，现在越来越靠不住。...

1 2 下一页

发布经验，赚取财富值，去财富商城兑换礼品！

写文章