同一个模型不同版本,差别到底在哪 上线两个月的系统,某天开始输出格式不对了。排查代码,一行没改。查依赖,库版本没动。最后发现问题在模型侧:服务商把后端模型静默升级了一个版本,输出风格变了。 这种情况比想象中常见。模型不是固件,它会更新。同一个接口名字背后,这周和上月跑的多半不是同一套权重。理解版本之间差在哪,才能知道升级时该防什么。 版本号背后的三种东西 各家命名规则不一样,但大致对应三类...
微调、提示词、检索增强,三条路各适合什么场景 企业想用 AI 做点实事,几乎都会走到同一个岔路口:模型给的答案太通用,不懂我们的业务。这时候有三条路摆在面前,听人讲起来都像能解决问题,选错了要白花几个月。 三条路是提示词、检索增强、微调。说清楚它们各自改的是什么,选型就不难了。 三者改的位置不一样 提示词改的是输入。模型没变,你在每次提问时把要求写清楚:按什么格式答、用谁的视角、哪些不能说...
模型为什么会「幻觉」,它自己知道在编吗 有人拿一份内部制度去问 AI,它回答得条理清晰,还引用了《劳动合同法》第某条。拿去给法务看,法务说这条确实存在,但内容和这里说的不是一回事。条文号是真的,表述是它自己攒的。 这种情况太常见了。研究者给它起了个名字,叫幻觉。听起来像是模型在有意骗人,实际不是。理解幻觉的成因,比背下多少个例子有用,因为成因决定了你该怎么防。 它不是在撒谎,是在补全 模型...
参数量大就代表聪明吗,普通人该怎么看这个数 打开任何一个模型发布会的稿子,都有一行数字很显眼:千亿参数、万亿参数。旁边配一张柱状图,比上一代高出一截。看多了容易形成一个直觉——数字越大,模型越强。这个直觉在几年前大致成立,现在越来越靠不住。 我见过有团队选型,专门挑参数最大的那个,上线之后发现日常任务跑得又慢又贵,效果比另一个小一半的模型没强多少。参数是选型时要看的东西,但它不是排名。 参数...
大模型的上下文窗口到底是什么,为什么会影响回答 有一类问题反复出现:把一份五十页的合同丢给 AI,让它总结风险点,它总结得头头是道,但你追问第三条里的付款条件,它答的是第五条的内容。或者前十分钟聊得好好的,你补充了一个条件,它给出的方案把那个条件完全忘了。 这不是模型偷懒,也不是它故意敷衍。绝大多数情况下,问题出在一个很具体的参数上——上下文窗口。这个词听着技术,其实说的是一件很朴素的事:它一...