15小时前发布
上个月拿 40 个法规和医学类问题去试,答错的 11 条里有 7 条挂着查不到的文献。
假文献的做法很固定:作者名像真的,期刊名像真的,年份也填了,只有卷期和页码对不上。
核对只做 2 步就够用。拿标题去中国知网或万方搜一次,搜不到基本可以判定不存在;能搜到的,再核对第一作者和年份。
第 3 步看 DOI。正规文献的 DOI 在 doi.org 能解析到原文页,解析失败的一律当作没有。
去年帮一家做检测设备的企业查资料,AI 给的 5 篇里有 3 篇是拼出来的,题目拿两篇真论文的标题拼成。
现在的做法是让它只写结论,文献自己去数据库找,找完再回填。20 分钟的活变成 40 分钟,但引用的东西都能落地。
模型按概率接下一个词,它没有「这条引用是否存在」这道检查。
训练语料里真实文献的格式高度一致,作者、期刊、年份、卷期的排列被学了下来,格式能拼对,内容却是空的。
问它「给我 3 篇近 3 年的研究」,出错的概率最高,这类问法在语料里出现得太密。
降概率有 2 个办法。把要求改成「只引用你能给出链接的来源」,再补一句「没有就写没有」。
另一个办法是先给材料。把 3 到 5 篇原文贴进对话,让它只在这些材料里回答,编造空间会被压到很小。
我通常还会让它把每句话的出处标在段末,标不出来的那句直接删掉,这一步能筛掉大半问题。
4 个容易吃亏的地方。
一是拿 AI 给的作者名去搜人。作者真有其人,论文没有这一篇,搜到人反而更信。
二是只看标题像不像。中文期刊标题的套路很固定,读起来顺不代表有这一篇。
三是拿二手转述当原文。「某某团队发现」这类说法在网上被抄了很多轮,源头早就丢了。
四是把预印本当正式发表。预印本平台上的稿子没过同行评议,引用时要单独标注。
踩第 2 个坑代价最大。一份对外材料里引了 2 篇不存在的文献,被对方编辑查出来,整份退回重做,前后拖了 3 周。
要省事就把核对交给 1 个人固定做,别让每个人各查一遍,标准才不会飘。
核对一条引用,准备好这 5 样东西,10 分钟能查完。
1. 文献标题原文。中英文都要,别用译名,译名一换就搜不到。
2. 第一作者姓名和单位。同名的人很多,加单位才能定位。
3. 期刊名、年份、卷期、页码。这 4 项缺 1 项就要警觉,真实的文献不会缺。
4. DOI 号。没有 DOI 的中文文献,看知网收录页的作者和刊期对不对得上。
5. 一张登记表。字段设成标题、作者、来源、核对结果、核对日期,查过的打勾,避免重复查。
我们那张表跑了 8 个月,累计 300 多条,重复率大概两成,去掉重复实际只查了 240 条。
3 种核对方式,成本差得挺多。
人工逐条查,1 条 5 到 10 分钟,准确率最高,适合对外发布的材料。
用文献管理工具批量导入,1 次能处理 50 条,工具只认格式,认不出内容真假。
让另一个模型交叉核对,2 分钟出结果,误判率不低,适合先粗筛一遍。
速度上差 1 个量级。交叉核对 20 条要 3 分钟,工具导入 20 条要 10 分钟,人工查 20 条要 2 小时以上。
我们现在的顺序是先用交叉核对粗筛,把可疑的挑出来,再人工查,30 条材料大约 1 个半小时。
对外发布的、涉及法规和安全的,人工那一道不能省,其余场景粗筛够用。
最多设置5个标签!
上个月拿 40 个法规和医学类问题去试,答错的 11 条里有 7 条挂着查不到的文献。
假文献的做法很固定:作者名像真的,期刊名像真的,年份也填了,只有卷期和页码对不上。
核对只做 2 步就够用。拿标题去中国知网或万方搜一次,搜不到基本可以判定不存在;能搜到的,再核对第一作者和年份。
第 3 步看 DOI。正规文献的 DOI 在 doi.org 能解析到原文页,解析失败的一律当作没有。
去年帮一家做检测设备的企业查资料,AI 给的 5 篇里有 3 篇是拼出来的,题目拿两篇真论文的标题拼成。
现在的做法是让它只写结论,文献自己去数据库找,找完再回填。20 分钟的活变成 40 分钟,但引用的东西都能落地。
模型按概率接下一个词,它没有「这条引用是否存在」这道检查。
训练语料里真实文献的格式高度一致,作者、期刊、年份、卷期的排列被学了下来,格式能拼对,内容却是空的。
问它「给我 3 篇近 3 年的研究」,出错的概率最高,这类问法在语料里出现得太密。
降概率有 2 个办法。把要求改成「只引用你能给出链接的来源」,再补一句「没有就写没有」。
另一个办法是先给材料。把 3 到 5 篇原文贴进对话,让它只在这些材料里回答,编造空间会被压到很小。
我通常还会让它把每句话的出处标在段末,标不出来的那句直接删掉,这一步能筛掉大半问题。
4 个容易吃亏的地方。
一是拿 AI 给的作者名去搜人。作者真有其人,论文没有这一篇,搜到人反而更信。
二是只看标题像不像。中文期刊标题的套路很固定,读起来顺不代表有这一篇。
三是拿二手转述当原文。「某某团队发现」这类说法在网上被抄了很多轮,源头早就丢了。
四是把预印本当正式发表。预印本平台上的稿子没过同行评议,引用时要单独标注。
踩第 2 个坑代价最大。一份对外材料里引了 2 篇不存在的文献,被对方编辑查出来,整份退回重做,前后拖了 3 周。
要省事就把核对交给 1 个人固定做,别让每个人各查一遍,标准才不会飘。
核对一条引用,准备好这 5 样东西,10 分钟能查完。
1. 文献标题原文。中英文都要,别用译名,译名一换就搜不到。
2. 第一作者姓名和单位。同名的人很多,加单位才能定位。
3. 期刊名、年份、卷期、页码。这 4 项缺 1 项就要警觉,真实的文献不会缺。
4. DOI 号。没有 DOI 的中文文献,看知网收录页的作者和刊期对不对得上。
5. 一张登记表。字段设成标题、作者、来源、核对结果、核对日期,查过的打勾,避免重复查。
我们那张表跑了 8 个月,累计 300 多条,重复率大概两成,去掉重复实际只查了 240 条。
3 种核对方式,成本差得挺多。
人工逐条查,1 条 5 到 10 分钟,准确率最高,适合对外发布的材料。
用文献管理工具批量导入,1 次能处理 50 条,工具只认格式,认不出内容真假。
让另一个模型交叉核对,2 分钟出结果,误判率不低,适合先粗筛一遍。
速度上差 1 个量级。交叉核对 20 条要 3 分钟,工具导入 20 条要 10 分钟,人工查 20 条要 2 小时以上。
我们现在的顺序是先用交叉核对粗筛,把可疑的挑出来,再人工查,30 条材料大约 1 个半小时。
对外发布的、涉及法规和安全的,人工那一道不能省,其余场景粗筛够用。
一周热门 更多>