先评测 RAG 检索，再判断回答质量

一段流畅的回答可能掩盖检索故障：模型碰巧猜对了，但拿到的是错误片段；也可能模型被批评“不会回答”，其实所需条款从未进入上下文。应把检索单独拿出来评测：对于一个确定的问题、提问者和资料快照，哪些段落有资格被使用，系统实际返回了哪些，它们排在什么位置？

Microsoft 的 RAG 评测资料把检索指标与回答指标分开，并用人工标注的相关性对照检索结果。沿着这个边界先定位错误，才知道该修索引、过滤、排序，还是后续的回答流程。本课完成物是一张可复跑的检索试验表；回答里的引用是否真正支持结论，由单独的引用审计处理。

固定问题和证据快照

从一条真实工作流中选 15–30 个真实或贴近真实的问题。逐条保留原问题、提问者身份、地区或产品范围，以及运行时的资料库和索引版本。如果标注时和复测时使用的集合已经不同，分数变化就无法解释。

让业务复核者找出足以支持正确回答的最小段落，并记录稳定的文档 ID、段落 ID、来源版本。把候选段落分为必需、有帮助但不足以回答和不可用。已失去访问权限或已被新版替代的段落，即使字面上非常相近，也属于不可用。对有争议的标注，先请第二位复核者定案，再用这些标签调检索参数。

部分问题确实没有可用证据。把这类问题的标准段落集标成空，并说明原因：资料不存在、尚未进入索引、提问者无权查看，或版本还未生效。“标准答案为空”是有意设计的案例，不能误当成漏标。

查看 Top-k 列表，而不是只看最终回答

用实际检索接口运行同一批问题，保存有序的 Top-k 段落 ID、可用的分数、过滤条件、索引时间，以及真正传给模型的片段。对有答案的问题，记下必需段落是排第 1、进入前三，还是落在上下文预算以外。对标准段落集为空的问题，检查系统是否把“看起来相关”的普通片段错当成答案依据。

失败应分开计数：段落缺失、排序靠后、版本错误、权限泄露、无答案问题出现伪证据。必需条款排第八，与它根本不在索引里，不是同一种修复任务。单纯扩大 k 可能覆盖前者，也可能把更多干扰资料送给模型。官方文档中的文档检索评测器使用相关性标签、排序指标和缺失标注检查，提醒我们任何分数都要与标注和检索配置一起保存。

案例一：旧版条款压过现行条款

客服助手回答退货政策。用户问政策变更后购买的商品，没有小票还能否退货。旧版说可以；当前生效版本要求订单号。复核者把现行条款标为必需，把旧版针对这个购买日期标为不可用。

旧版因为措辞更接近问题而排第一，现行条款却排第四。此时故障在版本过滤或排序，不能靠润色回答解决。团队记录本次索引状态，调整生效日期过滤或版本优先级，再用同一问题复测：现行条款必须进入可用上下文，旧版不能继续伪装成有效依据。修改源文件也不等于检索索引已经更新，所以还要验证索引中的副本。若来源本身已修订或撤稿，先用索引刷新验收表核对传播，再复跑这份固定语料的检索评测。

案例二：提问者没有可用答案

一名员工询问合同工是否有酌情奖金。唯一讨论奖金的文件只开放给薪酬团队，而员工可见手册没有合同工的相关规定。对这名员工，标准段落集为空。可以再用薪酬团队身份建立一个正向对照案例，但不能用它替代员工身份的测试。

如果受限片段进入员工的检索结果，即使最终回答没有引用，也判定检索试验失败。若系统返回一张一般薪酬说明页，复核者应标为“证据不足”，不能硬凑成答案。检索交接应明确报告没有可用依据，再用无证据回答关卡决定用户能看到什么、是否需要人工接手。权限变更后需要复测，因为查询时的授权判断依赖已同步进入索引的权限元数据。

一次只调整一个检索变量

每条失败案例先根据原因选修复动作：缺文档就查导入，关键条款被切断就做切块对照试验，权限不对就用文档级权限传递工作表追查身份、过滤与引用回取，标准段落被埋没就做检索策略对照核查排序，无答案案例总出现伪依据就查证据阈值。用固定问题集重跑，并加入一小组没有参与调参的保留案例。按案例类型记录改善与退步，不能只报一个平均值。

交接记录至少包含问题、提问者、资料快照、必需段落 ID 或标准集为空的理由、实际 Top-k ID、必需段落首次出现的位置、失败分类、修复动作和复测结果。这些字段让分歧有据可查，也避免一项看似漂亮的平均分掩盖一次越权检索或一条会改变决定的过时政策。

不适用边界

这张试验表只检查有资格使用的证据是否被检出并正确交给下一阶段。它不能证明来源本身真实，也不能证明模型忠实使用了段落，更不能证明回答中的某条引用支持最终结论。检索通过后，还需要检查回答，并做引用与时效性核验。