大模型应用开发教程学完怎么验收?10条固定问题跑3轮

7小时前发布

结论先给:教程看完不算学完,拿 10 条自己写的问题跑 3 轮才算。验收只看 3 个数:10 条里答对几条、同一问题连问 3 次答案一不一致、改 1 处提示词后分数动不动。

去年 11 月我带过 1 个刚转岗的同事,他把 1 套 24 节的开发教程看完了,动手写第 1 个功能时卡在"模型返回的 JSON 解析不了"上,反复问了 6 次才拿到可用结果。问题不在他看不懂教程,在没人告诉他"跑通 1 次"和"能稳定跑"中间还差 1 段验收。

先准备 3 样东西,缺一样验收就废

第 1 样是 1 个能跑的调用:自己的 key、1 个能返回结果的接口、控制台能打出原始返回。第 2 样是 10 条固定问题,提前写好,不许临场换。第 3 样是 1 张表,10 行 5 列,手写或表格软件都行。

3 样里最容易省掉的是第 2 样。多数人验收时随手问 5 个问题,答得好就认为成了,隔 3 天换个问法又崩。固定问题的价值在"可重跑",同一批问题跑 3 轮,差异才看得出来。

10 条问题怎么挑

按 5 类各 2 条配:抽取类(从 1 段文字里取指定字段)、计算类(要给数字结果)、格式类(要求固定 JSON 或表格结构)、边界类(问它答不了的内容)、长文类(丢 1 段 800 字以上的材料让它总结)。5 类各 2 条,凑够 10 条。

格式类那 2 条最好用。我常写"把这句用户反馈拆成 sentiment、topic、urgency 三个字段的 JSON,不要多余解释",答对了说明指令跟随到位,答错了一眼能看出是多了说明文字还是字段名变了。

打分只打 3 档

2 分是完全可用,能直接进下一步;1 分是方向对但要人工改;0 分是答错、答偏、格式坏。10 条满分 20 分,14 分以下别急着上线。

不要用 5 档或 10 档。档位一多,两轮之间的 1 分之差就说不清是改动有效还是打分手松,最后变成凭感觉。3 档打分,两轮差 3 分以上才算有变化。

打分找第二个人复核

10 条里有 2 到 3 条会卡在 1 分和 2 分之间。自己打容易往宽里给,尤其是熬了 1 下午之后。做法是把这 2 到 3 条的原始返回发给另 1 个人,让他只看"能不能直接用",不告诉他你自己打了几分。

两个人打的分数不一样,就按低的那档记。验收阶段把标准压紧,上线后出问题的概率低;反过来,顶着上限打分的项目,第 1 个月就会收到投诉。

笔记本电脑旁的茶杯与计时器 木桌上摊开的手写记录表与铅笔

第 1 轮:把基线跑出来

第 1 轮什么都不改,用教程里最后那个版本的提示词直接跑。目的是拿到 1 个起点分,把这个数当尺子,后面每轮都跟它比。

  1. 把 10 条问题按 1 到 10 编号存进 1 个文本文件,每条 1 行,别带额外说明。
  2. 温度参数固定成 1 个值(常见 0.2 到 0.7),整轮不许动,动了这一轮就作废。
  3. 逐条发,每次新开 1 个会话,别在同一会话里连着问。历史会互相影响,第 10 条的表现和第 1 条不是同一个条件。
  4. 每条把原始返回整段存下来,按"问题编号-第几轮"命名,别只存你截过的那段。
  5. 跑完立刻打分,10 条一次打完。隔天再打,标准会漂。

第 1 轮大概花 40 分钟,其中打分占一半。我第一次做的时候省了第 4 步,第 2 轮想对比原始输出,发现只存了截图,字段顺序对不对看不出来,整轮白跑。

记录表 5 列就够,多了没人填

表的结构固定成 5 列,每轮 1 张,3 轮并排看。

列名填什么常见错填
编号01 到 10写成问题原文,后面没法排序
返回摘要30 字以内的结果粘整段返回,表格撑爆
得分0、1、2打 1.5 这种中间值
错在哪字段名、数值、格式、拒答写"不太好",下一轮没法对照
是否重跑是或否留空,忘了哪条跑过两遍

"错在哪"这列决定第 2 轮改什么。10 条里 4 条错在格式,改输出约束;4 条错在数值,改提示里给的样例;错在拒答的,往往是问题本身超出了材料范围,改问题不该改提示。

第 2 轮:一次只改 1 个变量

第 1 轮的错项归完类,挑出现次数最多的那 1 类改。改完重跑 10 条,其余条件全不动:同一个温度、同一批问题、同样新开会话。

常见的 3 种改法,按错项类型对号:格式坏就加 1 段"只输出 JSON,不要任何解释文字",并给 1 个正确样例;数值错就在提示里加 1 个算例,把中间步骤写出来;抽取漏字段就把字段清单拆成 1 行 1 个,别挤在 1 句里。

一次改 2 处以上,分数涨了也不知道是哪处起作用,下次出问题还得重新试。我见过 1 个团队 1 轮改了 5 处,分数从 11 涨到 18,第 3 轮又掉回 12,最后只能全部推倒重来。

白板上贴着的空白便签与记号笔

第 3 轮:只看稳定性

第 3 轮不再改任何东西,用第 2 轮的配置把 10 条问题各跑 3 次,共 30 次。这一轮的判定标准只有稳定性:同一问题连问 3 次,答案是否一致,分数先放一边。

  1. 格式类 2 条:3 次返回的字段名与顺序应当完全一致,有 1 次多了说明文字就算不稳。
  2. 抽取类 2 条:3 次取出的字段值应当相同,出现 1 次不同,记下那次用的措辞。
  3. 计算类 2 条:3 次结果的数字要一致,差值超过 1 个末位就按不稳定处理。

30 次里稳住的条数除以 10,就是稳定率。稳定率 80% 以上可以进下一步,60% 到 80% 得回去看提示里的歧义句,60% 以下先别谈上线。

这一轮最费额度,也最值得花。上线后用户不会按你的问法提问,1 条问题 3 种答法的功能,等于把不确定性交给用户。

3 种结果,对应 3 种处理

  • 分数高、稳定率高:可以接进业务流程,但要留 1 个人工抽检的口子,每天抽 10 条看。
  • 分数高、稳定率低:提示里有歧义,或者温度太高。先把温度降到 0.2 跑 1 轮,仍不稳就补 3 个正例。
  • 分数低、稳定率高:模型能力不够,或者问题本身超出范围。换模型试 1 轮,别在提示上继续磨。

第 2 种最常见,也最容易被忽略。分数高说明它能做对,稳定率低说明它有时不做对,这类功能上线后投诉会集中在小概率的错答上,比整体差更难查。

我踩过的 3 个坑

第 1 个坑是问题写得太顺。10 条问题全按教程里的示例改,等于拿练习题当考卷,分数虚高。我现在强制自己写 3 条"用户会怎么随口问"的版本,带错别字、带省略、带口语。

第 2 个坑是第 2 轮顺手加了功能。改提示的时候看到另一个问题也顺手改了,2 个变量一起动,等于第 3 轮从零开始。控制变量的纪律比技巧要紧。

第 3 个坑是只测 1 个模型。同 1 套提示在 2 个模型上的分数差 4 到 6 分很常见,1 个模型跑不过不代表方案不行,换 1 个再跑 1 轮,往往 20 分钟就能定下来用哪个。

什么时候算验收过关

3 个条件同时满足就算过关:10 条问题 14 分以上、稳定率 80% 以上、单条平均响应时间在你能接受的范围里。3 条缺 1 条,都算没验收完。

过关之后把这套东西留下来。10 条问题加 3 张表存进项目文件夹,下次改提示词、换模型、升级版本,同一批问题再跑 1 轮,5 分钟就知道有没有退化。这套东西比教程本身耐用。

本文信息核对时间:2026-11