• AI 的「记忆」是怎么实现的,存在哪

    AI 的「记忆」是怎么实现的,存在哪 上个月说过的事,这个月它全忘了。同一款产品,有人发现它记得自己喜欢简洁回答,有人发现换个窗口就什么都不记得。这些差别不是玄学,背后是几套不同的机制在起作用。 「记忆」这个词被用得很松。它有时指上下文窗口,...

  • 蒸馏、量化这些词是什么意思,和普通人有什么关系

    蒸馏、量化这些词是什么意思,和普通人有什么关系 看模型发布的消息,常能看到「7B 蒸馏版」「4bit 量化,显存只占 6G」。这些词听起来像工程师的内部行话,实际上它们决定了你手上的设备能不能跑起来一个模型,以及跑起来的那个模型还剩几分本事。 把这两...

  • 为什么 AI 写不出准确的数字和日期

    为什么 AI 写不出准确的数字和日期 让模型算「三万七千乘以百分之十三」,它给出的数你得自己验一遍。让它推「下个月第二个星期二」,它经常差一天。这不是它偷懒,是它处理数字的方式和我们不一样。 数字和日期,是这类模型最不可靠的地方。知道为什么不可...

  • 温度、随机种子这些参数调的是什么

    温度、随机种子这些参数调的是什么 同一段提示词,连着提交两次,回答的开头就不一样。有人以为模型在「状态不稳」,有人怀疑是不是网络抖动。都不是。这是模型本身的设计:它输出的不是唯一答案,而是一个概率分布里抽出来的一个样本。 温度、随机种子、to...

  • 开源模型和闭源模型,差的是能力还是工程

    开源模型和闭源模型,差的是能力还是工程 同一个问题分别抛给两款模型,一款能把权重下载到本地,一款只能通过接口调用,答案读起来差不多。有人由此下结论:开源已经追平闭源,剩下的只是习惯问题。这个判断只说对了一半。 能力确实在靠近。工程上的距离不...

  • 模型训练用的是什么数据,为什么会有知识截止

    模型训练用的是什么数据,为什么会有知识截止 问 AI 一个两年前的政策,它答得清楚;问它上个月刚开的会,它说不知道,或者给了一个明显过时的版本。同样是「知道」,为什么有个时间分界? 答案藏在训练方式里。模型的知识不是实时获取的,它在某个时间点被...

  • 多模态模型怎么「看懂」图片,它到底能看准什么

    多模态模型怎么「看懂」图片,它到底能看准什么 第一次用多模态模型的人,常有两个极端反应。一种是惊到:随手拍一张乱糟糟的办公桌,它能说出桌上有显示器、水杯、几叠文件、一盆绿植。另一种是失望:让它数一下照片里有几个人,它数错了;让它读一张发票上...

  • 推理模型的「思考过程」是真的在思考吗

    推理模型的「思考过程」是真的在思考吗 用过新一代推理模型的人,大多见过那个折叠的思考面板。点开,里面是一段自我对话:「问题是……,我需要先确定……,但这里有个矛盾……,让我换个角度」。看着确实像在思考,甚至会自我否定、回头重算。 这段文字带...

  • 同一个模型不同版本,差别到底在哪

    同一个模型不同版本,差别到底在哪 上线两个月的系统,某天开始输出格式不对了。排查代码,一行没改。查依赖,库版本没动。最后发现问题在模型侧:服务商把后端模型静默升级了一个版本,输出风格变了。 这种情况比想象中常见。模型不是固件,它会更新。同一...

  • 微调、提示词、检索增强,三条路各适合什么场景

    微调、提示词、检索增强,三条路各适合什么场景 企业想用 AI 做点实事,几乎都会走到同一个岔路口:模型给的答案太通用,不懂我们的业务。这时候有三条路摆在面前,听人讲起来都像能解决问题,选错了要白花几个月。 三条路是提示词、检索增强、微调。说清楚...

  • 模型为什么会「幻觉」,它自己知道在编吗

    模型为什么会「幻觉」,它自己知道在编吗 有人拿一份内部制度去问 AI,它回答得条理清晰,还引用了《劳动合同法》第某条。拿去给法务看,法务说这条确实存在,但内容和这里说的不是一回事。条文号是真的,表述是它自己攒的。 这种情况太常见了。研究者给它...

  • 参数量大就代表聪明吗,普通人该怎么看这个数

    参数量大就代表聪明吗,普通人该怎么看这个数 打开任何一个模型发布会的稿子,都有一行数字很显眼:千亿参数、万亿参数。旁边配一张柱状图,比上一代高出一截。看多了容易形成一个直觉——数字越大,模型越强。这个直觉在几年前大致成立,现在越来越靠不住。...

  • 大模型的上下文窗口到底是什么,为什么会影响回答

    大模型的上下文窗口到底是什么,为什么会影响回答 有一类问题反复出现:把一份五十页的合同丢给 AI,让它总结风险点,它总结得头头是道,但你追问第三条里的付款条件,它答的是第五条的内容。或者前十分钟聊得好好的,你补充了一个条件,它给出的方案把那个...

  • 库存周转用 AI 分析,数据要细到什么程度

    库存周转用 AI 分析,数据要细到什么程度 一家做建材批发的公司,库存常年压在八百万左右,年周转四次。老板觉得还行,同行大概也这个水平。后来把明细拉出来看,四百里有一百八十万里是两年没动过的老型号,真正在转的那部分其实一年转八次。 周转率是个平...

  • 政策补贴匹配交给 AI,靠谱程度有多少

    政策补贴匹配交给 AI,靠谱程度有多少 每年三四月,总有老板问同一个问题:我这个厂,有没有什么补贴能申。真去查,政策散在工信、科技、人社、商务几个口的网站上,一个市里能翻出两百多条,看完也判断不了哪条和自己有关。 这件事让模型做初筛是合适的,...

个人介绍
一切正常