同一个问题在几个 AI 平台答案都不一样,该怎么对比记录

1小时前发布

几个平台问同一件事,说法和名单都不同,想做个长期记录但不知道该记哪些项。
4条回答
shiyongjilu
1楼-- · 1小时前

我们从 7 月开始做这件事,头 1 个月就走了弯路。

当时想到什么问什么,1 个月记了 40 多条,回头一对比发现问法有 30 多种,等于 30 份不同的实验。

8 月改成固定 20 句,每周同一天问 1 轮,5 个平台各 1 次。第 1 轮查完,20 句里提我们的只有 4 句。

第 2 个月有变化。改了官网的表述之后,提到次数从 4 句涨到 9 句,问简称也能命中了。

现在这张表每月更新 1 次,谁问、哪天问、问哪 20 句都固定。表本身不复杂,20 行 6 列,能一直用下去。

hangyeguancha
2楼-- · 1小时前

答案不同是常态,来源、排序、生成方式都不一样。想对比就得把变量固定住。

固定的 3 个变量:问题原文、提问时间、账号状态。同一句话、同一周、同一批账号问,结果才有可比性。

平台之间也有规律。偏搜索的产品贴着网页内容走,来源标得清;偏对话的产品会概括,给出结论性的说法。

记录时把答案拆成 3 层看:有没有提到、提到时怎么描述、描述里有没有错。第 3 层值得单独列 1 栏,错的地方要抄原文。

频次上 1 个月 1 轮足够。每周查会看到大量重复,反而分不清变化来自哪里,建议固定在每月头 1 周做。

bikengtixing
3楼-- · 1小时前

做对比容易踩的 5 个坑。

一是每次问法都不一样。加个字、换个语序,答案就变,攒下来的记录没法横向比。

二是接着上一轮对话追问。上下文会影响回答,要在新会话里问,1 个问题 1 个会话。

三是只截图不留文字。截图不好检索,把答案正文抄进表格,字段用平台名加日期。

四是只看有没有提到自己。被提到但描述错了,比没提到更麻烦,这种错要单独列 1 栏。

五是查完不回头改。记录的价值在发现缺口后去改页面,只记录不动手,3 个月后表里还是同样的问题。

这张表由 1 个人维护比较稳。多人分开填,字段口径会走样,合并 2 次就要重来。

ziliaoheji
4楼-- · 1小时前

表格怎么搭,给 1 份能直接用的结构。

横向列 6 项:问题编号、平台、提问日期、是否提到、描述要点、有无错误。1 个问题在 5 个平台各占 1 行。

纵向分 3 类问题:品牌词问「某某公司怎么样」;品类词问「有哪些做这类的」;场景词问「我要办这件事找谁」。

每类准备 5 到 8 句,加起来 20 句左右,定下来就别改。改 1 句,这一轮的数据作废。问句照用户的原话抄,别改成书面语,改过之后答案会跑偏 1 截。

表格攒满 3 个月再做判断。单月数据受抓取波动影响大,看不出趋势,3 个月里至少要有 12 次提问记录。