评测与诊断
需要什么证据，才值得扩大这条工作流？
把对 AI 质量的感觉，变成有代表性的案例、验收检查、失败分类和另一位复核者能够重现的发布判断。
AI VISTA / DECISION01 / 03
当前判断既测试普通情况，也测试难处理的情况；修复失败来源，而不是最显眼的症状。
01输入
02验收
03边界
带回真实任务复核✓
判断分支
先回答这个主题真正要做的决定。
- 先问↓
合格、需修改和拒收是否有共同标准，失败是否能按严重度归类？
- 如果↓
标准清楚，就固定普通、边界和高风险案例，让不同复核者重跑同一版本。
- 否则✓
先定义任务切片和关键失败；不要用一个平均分宣布可以发布。
完整案例
会议纪要看起来流畅，却经常写错负责人。
团队觉得纪要“基本可用”，但没有记录漏项、误归属、虚构截止日期和表达风格分别出现多少次，导致每次改动都靠印象判断。
最终产物一份带案例分层、失败标签、严重度和复核者意见的评测集蓝图。
01错误捷径
挑十段清晰录音，让同一个人按整体感觉打一个平均分；分数提高就认为可以扩大使用。
02更好的判断
从真实会议中分层抽取普通、多人打断、责任不清和敏感决策案例；把事实错误、缺失、归属错误与格式问题分开计数。
03如何验收
关键决定不得虚构负责人或日期；所有行动项能回到原话位置；两位复核者对是否通过的判断达到事先约定的一致标准。
进入与离开信号
知道何时进入，也要知道什么时候已经足够。
主题页不是无限深入的知识目录。进入信号帮助你判断当前问题是否属于这一层；完成信号用来决定是否继续下一主题，而不是用阅读时长代替成果。
01从这里进入
- 团队只用整体感觉判断质量
- 改动前后使用了不同案例
- 评测分数无法说明哪类风险仍存在
02达到这些信号后离开
- 真实任务切片与边界案例都有覆盖
- 失败类型、严重度和复核规则可重复
- 同一评测集能比较基线与新版本
7 项实践
按顺序建立判断、制作产物，再用真实案例复核。
01 扩大投入前，先做一次 10 条案例试验用普通、困难、模糊和高风险案例组成一个足够小的测试集，把一次看起来不错的 Demo 变成可以复核的证据。 评测与诊断 02 建立一套会持续有用的 AI 评测集从真实任务中抽取切片、编写可复核参考、校准评分者并管理版本，让每次模型变更都能得到可信比较。 评测与诊断 03 如何校准 AI 自动评分器？对照规则、LLM 裁判与人工判断用同一批输出比较规则检查、模型裁判和独立人评，按任务切片找出误放行与误拒收，再决定自动评分能承担什么职责。 评测与诊断 04 AI 分类概率阈值怎么定？把误报、漏报和人工容量写成三路规则用已校准的二分类概率、误报与漏报成本和人工复核容量，设计自动通过、自动拒绝与人工队列，并在独立样本上验证。 评测与诊断 05 大模型 temperature 和 top_p 怎么调？用同题试验而不是靠感觉用冻结案例和重复运行比较采样参数，按任务错误与有效变化做判断，不把 temperature 为零误当成输出完全相同的保证。 评测与诊断 06 换模型之前，先诊断回答为什么失败把坏答案定位到输入缺失、指令冲突、证据不足、能力边界或交接失败，而不是立刻换模型。 评测与诊断 07 这次翻车本来能拦住：把一个坏输出变成回归测试把一次真实失败变成有输入、期望属性、严重度和版本记录的回归案例，并在下次 Prompt 或模型变更前自动跑一遍。 评测与诊断
不适用边界
这个主题页不会替你做什么？
评测集是发布决策的证据，不是统计学意义上的质量保证；高风险场景仍需领域负责人复核。
01不要用一个平均分掩盖关键失败02不要只测演示案例而跳过拒答和边界03没有可重复的复核标准，就不要宣称质量提升
当失败类别、严重度和处理动作稳定可复现，就进入证据、权限或运行主题。