开课前准备
带着真实材料来,课程才会产生真实结果。
- 01 · 适合谁
- 适合知识助手、制度查询、客服系统和内部研究工作流。
- 02 · 准备什么
- 准备一小组资料和五个问题,其中至少一个没有可用证据。
- 03 · 如何结课
- 复核者能够把每个重要结论追溯到有效且允许访问的证据,且不会泄露受限资料。
适用场景
出现下面任一情况,就从这门课开始。
不需要先证明自己属于某个水平。只要当前工作出现对应信号,就带着真实材料进入;完成信号由课程验收决定。
- 01✓
回答必须说明依据来自哪里
政策、研究或产品信息会影响决定,读者需要逐条复核重要结论。
- 02✓
资料有版本、地区或权限差异
同一关键词会命中过期制度、其他地区规则或无权访问的内容。
- 03✓
团队正考虑建设 RAG
你需要先判断检索是否值得,并明确来源维护、引用支持和时效测试。
课程里程碑
每一段都要留下可以复核的变化。
里程碑不是新的课文清单。它用来判断你是否把前后课次连成同一项工作:起点有真实材料,中段有成形产物,结课有别人能够重复的证据。
- 01 开始前↓
建立一小组能人工确认的权威资料。
准备五个问题,其中一个没有可用答案,并为来源记录负责人、适用范围、版本、生效日期与访问权限。先标清有效段落,才能判断检索有没有帮助。
起点证据:每个有答案的问题都能对应有效段落,无答案问题也有明确理由。 - 02 课程中段↓
先做 RAG 投资判断,再测试检索命中。
比较知识变化、资料规模和维护责任;确实需要检索时,用固定问题集检查正确段落、排序、版本与权限,再进入引用核验。
中段证据:每条检索失败能归到缺失、排序、版本、权限或无答案误判。 - 03 结课证明✓
用冲突、过期和无权限资料挑战回答。
请复核者逐条核对重要结论,确认引用片段真正支持回答、使用正确版本,并且没有通过检索泄露限制内容。
完成证据:错误来源不会胜出,无法确认的回答会明确停下并请求复核。
- 01✓第 1 课
Prompt、RAG、微调怎么选?先定位错误再试验
从失败原因出发,比较提示词、请求时检索与微调;用同一保留集检查质量、严重错误、成本和维护条件。
本课产物 · 方法选择试验表未读进入本课 → - 02✓第 2 课
先判断 RAG 值不值得做
在增加检索链路之前,比较知识变化速度、资料规模、引用要求、访问权限和维护成本。
本课产物 · 投资判断表未读进入本课 → - 03✓第 3 课
RAG 知识库入库前,怎样批准资料来源和版本?
在切块和建索引前,按权威原件、负责人、使用权、受众、生效日期和冲突,决定哪一版资料可以作为 RAG 回答依据。
本课产物 · rag-source-register未读进入本课 → - 04✓第 4 课
PDF、表格和图片入 RAG 前,怎样验收抽取质量?
在切块前逐项对照原件与抽取结果,验收 OCR 文字、阅读顺序、表头与单元格、图示关系和可返回原件的位置。
本课产物 · extraction-acceptance-sheet未读进入本课 → - 05✓第 5 课
RAG 文档怎么切块?先让限定条件和出处保持完整
用固定长度、重叠和标题结构三种方案对照跨段条款与表格,记录完整证据、来源位置、检索成本,再决定分块边界。
本课产物 · 文档切块试验表未读进入本课 → - 06✓第 6 课
RAG 关键词、向量、混合检索与 Rerank 怎么选?做一次同题对照
固定语料、权限、切块和上下文预算,用编号、自然语言改述与混合问题比较 BM25、向量、RRF 和重排的完整证据、延迟与成本。
本课产物 · 检索策略对照表未读进入本课 → - 07✓第 7 课
先评测 RAG 检索,再判断回答质量
用一组小型检索试验,先检查正确段落、无答案问题、文件版本、排序与权限边界,再评价生成回答。
本课产物 · 检索试验表未读进入本课 → - 08✓第 8 课
企业 RAG 如何做文档级权限过滤?从检索到引用逐层验证
把用户身份、租户和文档 ACL 传到每个索引片段;逐层检查搜索、上下文、引用、缓存与撤权后的拒绝行为。
本课产物 · 文档权限传递表未读进入本课 → - 09✓第 9 课
RAG 文档更新或撤稿后,怎样验证索引已生效?
沿来源、入库、片段与向量清理、搜索可见性、缓存和回答逐层验收,不把“索引任务成功”误当成知识库已更新。
本课产物 · RAG 索引刷新验收表未读进入本课 → - 10✓第 10 课
RAG 证据不足时怎么答?回答、澄清、无法确认或转人工
检索结果不足以支持结论时,按缺少的条件、来源状态、权限和后果,选择有据回答、具体追问、说明无法确认或人工接手。
本课产物 · rag-no-evidence-response-gate未读进入本课 → - 11✓第 11 课
检查引用是否真的支持答案、是否仍然有效
逐条检查重要结论是否被引用片段支持、是否使用正确版本,并经得起时效性复核。
本课产物 · 引用审计未读进入本课 →
结课验收
复核者能够把每个重要结论追溯到有效且允许访问的证据,且不会泄露受限资料。
不是读完就结束。把各课产物放在一起,请另一位同事按上面的标准复核。