模型评测榜单能信几分，怎么看一个模型强不强

模型评测榜单能信几分，怎么看一个模型强不强

榜单第一名换了三茬，你手上那个用着最顺的模型一直排在十名开外。这个反差不是错觉，也不是榜单作假，是榜单测的东西和你需要的东西对不上。

榜单有用，但用途窄。它适合快速排除一眼就不行的选项，不适合替你做最终决定。想知道一个模型在你的活上强不强，只有一个办法：拿你的活去考它。

榜单在测什么

主流榜单是一批固定题库，覆盖数学、代码、常识、阅读理解、专业考试。模型答完，按正确率打分，排个名次。

为了方便自动判分，题目多是选择题和短答案。选择题的判分成本几乎为零，机器对一下选项就知道对错。这个设计决定了榜单的天花板：它擅长测「知道不知道」，不擅长测「做得好不好」。

四个让分数失真的原因

题库泄漏

公开题库会被收进训练数据。模型在训练时见过题和答案，考试时等于开卷。分数高不代表会推理，代表记住了。这类泄漏很难彻底排除，尤其是流传多年的经典题库。

业内的应对是留一批不公开的题，只用来测。但只要有模型在公开题上刷出高分，厂家就有动力继续在公开题上做优化，这个循环很难断。

题型偏差

选择题考的是「认出正确选项」，实际工作要的是「从零写出一份东西」。这两件事对能力的要求不同。一个模型可能很会做选择题，写出来的方案却空泛、套话多、没有具体动作。

反过来，擅长长文写作的模型在选择题上未必占优，因为它的输出风格偏发散。榜单把它排在后面，实际用起来反而顺手。

刷榜的动机

排名是营销素材。排第一能写进发布会，能印在宣传页上。有动机就有针对性的优化，包括在题库分布上调参、针对特定题型做强化训练。这类优化在榜单上见效快，在真实任务上未必。

版本混用

榜单上的名字常常是一个系列名，具体版本的差异被抹平。你看到的分数属于某个内部版本，你调用的接口也许是另一个。同一系列的小版本迭代，分数能差好几个点。

人投票的榜单更玄

除了答题，还有一类榜单靠人投票：同一个问题让两个匿名模型各答一版，由人挑哪个好，累计胜率排名。这类榜单没有标准答案，靠的是大量用户的即时偏好。

它测出来的东西和答题榜完全不同。答题榜测正确率，投票榜测讨喜程度。答得漂亮但内容空泛的回答，在投票里经常赢，因为人投票只用几秒钟，看的是开头、语气、排版。

投票榜的偏差来自人群。投票的人里技术人员和普通用户比例失衡，偏好就跟着偏。喜欢长回答的人多了，冗长的模型排名就上去。喜欢加表情的人多了，爱加表情的模型就上去。

这类榜单该怎么用

当成「风格参考」用，别当成「能力排序」。想知道哪个模型说话更自然、更像人、更适合做客服界面，投票榜有参考价值。

想知道哪个模型算得准、引用得对、逻辑站得住，投票榜几乎无用。人对这类问题的判断，看几秒钟是看不出来的。

总分是最没用的那个数

把十几个科目的分数加权平均，得出一个总分，然后按总分排序。这个数对读者友好，对决策几乎没有帮助。

你需要的是分项。做法律文书，看长文本理解和条款引用那一项；做代码补全，看代码题那一项；做客服，看多轮对话和语气控制那一项。总分高但分项偏科的模型，用起来会很难受。

还有一个被忽略的维度是成本。同样答对，一个模型用三千字，另一个用八百字。按字数计费时，前者贵四倍。榜单不体现这个差别，账单体现。

怎么看一个模型强不强

用你自己的题

从真实工作里挑二十到五十条任务，写成一批测试题。要包含常见任务，也要包含边界情况：信息不全的、要求矛盾的、明显超出范围的。

每条任务写好判定标准。判定标准要能落到「能用」和「不能用」，不能停在「感觉还行」。比如合同审查这条，标准可以是「是否指出了不对等条款并说明方向」，而不是「回答是否专业」。

看它怎么失败

失败的样式比成功率更能说明问题。有的模型答错时会给一个自信的错答案，有的会说不知道，有的会反问你要更多信息。

做对外产品，最怕第一种。用户看不出错，照着做，出了事才发现。做内部辅助工具，第二种反而好，人一看就知道要自己补。

看稳定性

同一个问题问十遍，答案的差异有多大。差异大的模型不适合做需要一致输出的工作，比如批量生成产品描述、自动分类工单。

测法很简单：同一条提示跑十次，看结论是否一致。结论飘的，说明它的判断依据不稳，靠的是措辞上的运气。

看长文本

把一份三十页的文档丢进去，问一个需要跨章节对照的问题。多数模型在短文本上表现接近，在这个测试上会拉开差距。有的模型只看开头和结尾，中间的内容等于没读。

企业选型的实际做法

先按硬约束筛一遍：数据能不能出内网、接口稳不稳定、有没有合规资质、单价能不能接受。筛完通常剩三四个候选。

拿同一批任务跑这几个候选，每条任务两个人独立打分，分歧大的拉出来讨论。二十条任务、四个模型，一个下午能跑完。

跑完别只看平均分，看分布。某个模型在八成任务上略好、在两成任务上崩掉，另一个模型在全部任务上都中等。选哪个取决于那两成任务是不是核心场景。

把分歧记下来。两个人打分不一致的那几条，往往是任务本身描述得不清楚，而不是模型差。顺手把任务描述改清楚，题库就变准了一分，这一条比换个模型更有用。

一个类比

榜单像高考分数。分数能筛掉明显不合适的，但分数高的人未必适合某个具体岗位。招人要看面试、看作品、看实际干过什么。

选模型同理。榜单给你一个起点，剩下的要靠试用。不同的是，试用的成本比招人低得多——写二十条题，跑一个下午，就能得到比任何榜单都贴近实际的结论。

看到新模型登顶，可以关注，不用急着换。等它在你的题库上也赢了，再换不迟。换模型的成本不只在钱，还在重新调提示词、重新测流程、重新培训使用者。

真正稳定的做法是把自己的题库养起来。每遇到一次答错，补一条进去。半年之后，你手上会有一份比任何公开榜单都准的评测集，而且它测的正是你要解决的问题。

养题库的成本比想象中低。一条题包括任务描述、输入材料、判定标准三样，写过一次就能反复用。新模型出来，同一批题跑一遍，半小时出结论，比读十篇评测文章快。