26分钟前发布
我做过一次测试,同一个问题连问 10 次,答案有 4 个版本。
问的是「这份合同有哪些风险点」,10 次里 6 次列了付款条款,2 次没提,其余 2 次把付款排在第 5 位以后。
差别来自采样。每次挑词的随机性由参数控制,网页端默认留着一档随机,答案不会完全重复。
改法是把条件写死。我在提问里补一句「按合同条款顺序逐条列,每条不超过 40 字」,10 次里 9 次的顺序就一致了。
需要可比的场合,我会连问 3 次取交集,三次都提到的才算稳定结论。
要求它每次一字不差,做不到,能做的是把变量压小,把要对比的那几项固定住。
随机性主要来自 3 处。
一是解码时的采样。模型对下一个词给出的是一组概率,按概率抽,同一提示也会落到不同路径。
二是上下文里的顺序。你补充的那句放在前面还是后面,权重不一样,答案的侧重就变了。
三是默认参数。多数产品给了一个「创造力」滑杆,往低调,答案趋于保守和重复;往高调,用词更散。
想更稳,把滑杆调低、把提问里的约束写具体、把上一次的好答案贴回去让它照这个格式写。
这 3 招里第三招见效快,格式一锁,内容即使有小差异,结构也是你要的。
要做对外发布的稿子,建议跑 3 遍再定,取其中约束执行得比较完整的那一版。
4 个习惯会让答案更飘。
一是每次换问法。今天问「有什么风险」,明天问「风险在哪」,两次结果不在一个维度上,没法比。
二是接着上一轮对话追问。上文越长,模型越容易被旧内容带偏,问新问题请开新会话。
三是把长文档和短问题混在一起提。一次给 60 页材料又只问一句,答案落点会散。
四是拿不同产品的结果互相比。两个产品的默认参数不一样,比出来的差异说明不了谁更强。
这 4 条里第二条影响大,一次会话问超过 5 轮,前面说过的条件就开始失真。
要长期对比,把提问存成一个固定模板,每次只换材料,不换句子。
要做可比测试,先备 4 样东西。
1. 一份固定的提问模板。写上角色、任务、输出格式、字数,这 4 项每次不动。
2. 3 份不同难度的材料。短的 2 页、中的 20 页、长的 80 页,看稳定性随长度怎么变。
3. 一张记录表。列上时间、产品名、参数档位、答案要点、有无明显错漏。
4. 判定口径。什么叫「答对了」要提前定,比如 5 个要点里命中 4 个算可用。
4 样齐了再跑。少了判定口径,跑完 30 次也只能凭感觉说「好像这次好一点」。
记录表留一列截图链接,一个月后回看,能看出哪个档位一直不稳。
最多设置5个标签!
我做过一次测试,同一个问题连问 10 次,答案有 4 个版本。
问的是「这份合同有哪些风险点」,10 次里 6 次列了付款条款,2 次没提,其余 2 次把付款排在第 5 位以后。
差别来自采样。每次挑词的随机性由参数控制,网页端默认留着一档随机,答案不会完全重复。
改法是把条件写死。我在提问里补一句「按合同条款顺序逐条列,每条不超过 40 字」,10 次里 9 次的顺序就一致了。
需要可比的场合,我会连问 3 次取交集,三次都提到的才算稳定结论。
要求它每次一字不差,做不到,能做的是把变量压小,把要对比的那几项固定住。
随机性主要来自 3 处。
一是解码时的采样。模型对下一个词给出的是一组概率,按概率抽,同一提示也会落到不同路径。
二是上下文里的顺序。你补充的那句放在前面还是后面,权重不一样,答案的侧重就变了。
三是默认参数。多数产品给了一个「创造力」滑杆,往低调,答案趋于保守和重复;往高调,用词更散。
想更稳,把滑杆调低、把提问里的约束写具体、把上一次的好答案贴回去让它照这个格式写。
这 3 招里第三招见效快,格式一锁,内容即使有小差异,结构也是你要的。
要做对外发布的稿子,建议跑 3 遍再定,取其中约束执行得比较完整的那一版。
4 个习惯会让答案更飘。
一是每次换问法。今天问「有什么风险」,明天问「风险在哪」,两次结果不在一个维度上,没法比。
二是接着上一轮对话追问。上文越长,模型越容易被旧内容带偏,问新问题请开新会话。
三是把长文档和短问题混在一起提。一次给 60 页材料又只问一句,答案落点会散。
四是拿不同产品的结果互相比。两个产品的默认参数不一样,比出来的差异说明不了谁更强。
这 4 条里第二条影响大,一次会话问超过 5 轮,前面说过的条件就开始失真。
要长期对比,把提问存成一个固定模板,每次只换材料,不换句子。
要做可比测试,先备 4 样东西。
1. 一份固定的提问模板。写上角色、任务、输出格式、字数,这 4 项每次不动。
2. 3 份不同难度的材料。短的 2 页、中的 20 页、长的 80 页,看稳定性随长度怎么变。
3. 一张记录表。列上时间、产品名、参数档位、答案要点、有无明显错漏。
4. 判定口径。什么叫「答对了」要提前定,比如 5 个要点里命中 4 个算可用。
4 样齐了再跑。少了判定口径,跑完 30 次也只能凭感觉说「好像这次好一点」。
记录表留一列截图链接,一个月后回看,能看出哪个档位一直不稳。
一周热门 更多>