让 AI 给 AI 的输出打分，结果可靠吗？
可以用来初筛，不能用来拍板。让另一个模型当评委，给对话自然度、回答质量打分，常见的问题是：同一套配置这一轮和下一轮分数差很多，分数不能跨轮比较；高分版本真人一试，感受并不好。更稳妥的做法是：AI 评委只负责筛掉明显差的版本，最后由真人在真实设备上盲测决定；同时记录可客观测量的指标，比如响应耗时。
可以用来初筛，不能用来拍板。
常见的问题
让另一个模型当评委，给你的产品输出打分，比如对话像不像真人、回答好不好。你可能会发现：
- 分数不稳定：同一套配置，这一轮打了一个分，下一轮差了将近一分；
- 不能跨轮比较：不同轮次的分数，没法说明哪个版本更好；
- 和真实感受不一致：旧版本分数更高，自己在手机上一试，还是觉得不好。
AI 自动打分，不等于用户觉得好。
更稳妥的做法
| 环节 | 谁来做 |
|---|---|
| 批量跑测试用例 | 自动化 |
| 筛掉明显差的版本 | AI 评委 |
| 决定用哪个版本 | 真人在真实设备上盲测 |
盲测怎么做
- 准备两个版本，不告诉测试者哪个是新的；
- 在真实设备上，用真实的使用场景各试一遍；
- 记录感受和具体问题；
- 选出更好的那个。
同时记录客观指标
主观感受之外，记录能客观测量的数据：
- 响应耗时（看中位数，不只看平均）；
- 出错率；
- 完成一个任务需要几步。
比如改了提示词以后，自己盲测觉得"好很多"，同时响应时间也明显缩短，两个证据指向同一个结论，才更有把握。
用 AI 评委时注意
- 同一轮里比较多个版本，不要跨轮比；
- 评分标准写清楚、写具体；
- 多跑几次取平均，看波动有多大。
小结
AI 评委省力，但它的分数是参考，不是结论。最后拍板的，应该是真人在真实场景里的感受。上线后的反馈怎么处理，见「上线第一天就埋好统计：用户从哪来、卡在哪、遇到什么问题」。