想动手做大模型应用,先跑通一个 20 行的例子,比读完 10 篇综述有用。下面这条路径按“装环境 → 调通接口 → 加一个业务功能”排,全程用官方文档,3 天能做出能演示的东西。
同一个教程,给三种人看会有三种起点。会写 Python 但没接过模型的人,从调通接口开始;不会写代码的人,从低代码平台开始;已经接过接口、卡在效果上的人,从提示词与评测开始。
| 起点 | 适合谁 | 第一个目标 | 大致耗时 |
|---|---|---|---|
| 调通接口 | 会写脚本,想自己控制 | 命令行里问一句、拿到回答 | 半天到 1 天 |
| 低代码搭流程 | 不写代码,做内部工具 | 一个能传文件、出结论的页面 | 1 到 2 天 |
| 提示词与评测 | 已能跑通,效果不稳 | 20 条测试集上稳定达标 | 3 到 5 天 |
我见过最多的情况是第三种人回头补第一种的课:接口能跑,但不知道 temperature 调多少合适,只能靠反复试。3 个参数搞明白,这类试错能少一大半。
完全不碰代码也能做出东西,用低代码平台搭流程。3 个节点起步:输入节点收文本,模型节点选服务商与参数,输出节点选展示形式。搭完能直接生成分享链接。
低代码的上限在数据处理。要做批量、要做入库、要把结果写回表格,就得接脚本或调接口。我的建议是先用低代码跑通业务逻辑,确认有用,再找人补那 20 行代码。
环境层面要的东西不多,缺一样就会在某个环节停住。按 4 样备齐,后面 3 天基本不用再折腾环境。
官方文档是唯一需要对照的资料,第三方教程里的模型名和参数经常落后 2 到 3 个版本。我把文档里“快速开始”那一页存成书签,每次换机器先照着跑一遍。
下面的 6 步在本地目录里完成,每步都有可验证的结果。中间任何一步不通,先解决再往下走,别攒着。
第 5 步别挑大场景。我试过一上来做合同审阅,规则梳理花了 4 天,模型部分只占半天。换成会议纪要这类输入输出都清楚的任务,2 小时就能看到效果,也更容易判断是模型不行还是需求没想清。
参数表里 5 个字段值得改,其余保持默认。默认值能跑通,改参数是为了让输出稳定。
| 字段 | 建议值 | 改了会怎样 |
|---|---|---|
| model | 照文档当前列表抄 | 换小模型省钱,复杂任务效果掉 |
| temperature | 抽取类 0 到 0.2,写作用 0.7 | 调高更发散,调低更重复 |
| max_tokens | 按输出长度给,留 30% 余量 | 给小了回答被截断 |
| top_p | 0.9 左右,和 temperature 二选一调 | 两个都调乱,定位不到原因 |
| timeout | 30 到 60 秒 | 太短长回答必超时 |
temperature 与 top_p 同时改,出了问题分不清是谁导致的。我的习惯是固定 top_p,只调 temperature,每次改 0.2,跑 20 条样本看稳定性。
把要求拆成 3 段:角色一句话、任务一句话、输出格式一段。输出格式写成“按 1. 2. 3. 列出,每条不超过 30 字”,比写“简洁一点”有效得多。
会议纪要那个例子,我加了一句“不要编造没提到的数字”,编造率从 20% 降到 3%。这类否定式约束比正面描述好使,尤其是涉及人名、时间、金额的字段。
新手卡住的地方 90% 在 5 类报错里。按现象对号入座,比通读文档快。
这类最费时间。做法是把同一条输入连跑 3 次,看输出差异大不大。3 次结构一致、内容有差,属于正常波动;3 次结构都不一样,先降 temperature,再检查提示词里有没有互相冲突的要求。
验收看 3 个指标:20 条测试集上的通过率、单次调用耗时、单次成本。3 个数都记下来,后面改提示词时才有对比基线。
测试集自己做,20 条就够,覆盖常见输入与 3 到 5 条边界输入。我习惯把测试集存成 CSV,跑批时输出“第几条、通过与否、耗时”,一眼能看出改坏了哪类。
按字数估最快。1 条 500 字的输入、300 字的输出,粗算 800 到 1000 token,乘单价就是单次成本。把 20 条测试集的成本加起来,再乘每月调用次数,得到月度预算。
预算留 2 成余量。提示词改长、输入文档变厚、重试次数增加,都会把实际用量推高。我们第一个内部工具估 300 元每月,实际跑了 420 元,差的那部分全在重试上。
每天投入 2 小时,1 周能把接口、提示词、批量处理三件事走一遍。要能独立交付一个内部工具,通常 3 到 4 周,其中一半时间花在业务规则梳理上。
再往后是检索增强与评测体系,这两块各需要 2 周左右。别跳过评测直接上检索,没有评测集,改完不知道是变好还是变差,这是我上半年踩得最久的一个坑。
教程看得再多,不如把同一个例子改 5 遍。改输入、改输出格式、改模型、改温度、加一条约束,5 次改完,参数和提示词的关系就有手感了。
文档更新快,遇到命令跑不通时先看文档的示例代码区块,别翻 2 年前的博客。官方示例通常带版本号,对不上就按版本装依赖,10 分钟能解决。
目录结构不用一上来就分得漂亮。1 个文件跑通,再拆成 3 个模块,最后加配置。拆太早,改一次需求要动 5 个文件,反而不如单文件直接改来得快。
本文信息核对时间:2026-11。模型名、SDK 版本与计费规则由平台调整,动手前按官方文档当期说明核对。