用 AI 给客户投诉分类，怎么验证分得准不准

验证分类准不准，先要有一把尺子，尺子就是人工标好的样本。

从当月投诉里随机抽 100 条，2 个人各自独立分类，不一致的挑出来讨论定一个结果，这 100 条就是标准答案。

拿 AI 的结果跟这 100 条比，算 3 个数：整体一致率、每一类的一致率、最容易混的那 2 类。

整体一致率到 85% 以上，做月度趋势分析够用；要到 95% 以上，才能拿来考核或者对外披露。

每一类都要单独看。有的类别人工都分不清，AI 分错很正常，问题出在分类标准本身。

我见过的项目，第一轮整体一致率大多是 70% 到 80%，把定义改细之后能到 90%。

5 步做完一次完整验证，2 天能出结果。

1. 抽样 100 条，覆盖当月所有渠道，电话、在线、门店各占一部分。

2. 定分类标准，每类写 2 句定义加 1 个例子，别只写类名，写完先自己按标准标 10 条试试。

3. 人工双标，2 个人分开标，不一致的当场定，记下争议点。

4. 用同一批数据跑 AI，结果导成表格，和人工结果并排放。

5. 算混淆矩阵，看哪 2 类互串最多，回标准里补定义，再跑 1 轮。

这 5 步里第 3 步最花时间，100 条要 4 小时，2 个人加起来 8 小时，标准答案的质量全靠这一步。

三种验证方式，成本差得挺多，按 1 次验证的实际工时算。

全量人工标，1000 条要 3 个人做 2 天，折合 48 个工时，结果最可靠，适合 1 年做 1 次。

抽 100 条验证，1 个人半天能做完，4 个工时，能看出整体水平，看不出少见类别的表现。

分层抽样，每个类别各抽 30 条，能覆盖长尾类别，工作量大概 1 天，8 个工时。

日常监控用抽 100 条这种，季度复盘用分层抽样，年度校准才做全量，3 种加起来 1 年不到 10 天。

别每次都全量标，成本高还不解决问题，真正要改的是分类定义，多标 3000 条不如改 1 句定义。