RAG 文档怎么切块？先让限定条件和出处保持完整

RAG 切块的目标不是把每个文件切成相同长度，而是让检索送出的材料足以支持一个完整结论。用户问“能否报销”，片段若只带报销范围、漏掉紧邻的事前审批条件，模型即使忠实使用片段，也会答错。

这篇课文处理资料入库时的边界设计。如果还没确定是否需要检索，先做 RAG 投资判断；如果已经有索引、只想定位命中与排序故障，使用 检索试验。这里要产出的是一份可复跑的切块配置记录，而不是一个声称适合所有知识库的数字。

先标出回答需要的完整原文

从同一版资料里选 12–20 个真实或贴近真实的问题，刻意覆盖跨段例外、标题层级、表格、脚注、短问句与无答案问题。请业务复核者在原始文档上标出每题必需的最小证据：文档 ID、版本、页码或章节、起止位置。一个问题可能需要两处原文，例如“适用范围”和“例外条件”。对无答案问题，把标准证据集明确标为空。

标准答案不能只记某次切块生成的 chunk ID。改变边界后 ID 会变化，旧 ID 既无法公平比较，也会掩盖原文被截断的事实。以稳定的原文区间作标准，再记录每个候选片段覆盖了哪些区间。检索结果可以由一个片段或一组相邻片段组成，但实际传给回答环节的材料必须保住所有会改变结论的限定条件。

抽取和切块分开验收

固定资料快照后，先检查入库前的文本。对 PDF 和表格抽样核对标题、阅读顺序、表头与行值、脚注、跨页内容，以及页码能否回到原件；可用原件抽取验收表先单独完成原件与解析结果的对照，再比较切块器。如果抽取把“电池六个月”的脚注丢掉，后续再调重叠比例也造不回这条事实。把这种失败记为抽取失败，先修解析器或人工结构化资料。

Azure 的布局与内容理解文档说明，按段落、标题和表格结构处理可以保留更明确的单元；其语义切块能力在核对日期仍属预览功能。这些能力说明了为何要检查版面关系，并不保证自动切块比人工定义的业务边界更好。对同一轮切块试验，应使用同一份已核对的抽取文本，不要同时换解析器和切块器。

用三个候选回答边界问题

为试验保留一个简单基线，随后一次只改变一个设计因素。下面的 512 token、25% 重叠是 Azure 文档给固定长度切块的起始建议，属于待验证的试验参数，不是中文、表格或任意模型的最优值。实际长度须由当前嵌入模型使用的 tokenizer 测量；字符数不能直接当成 token 数。

候选	边界和重叠	这一轮要验证什么
A：固定基线	约 512 token，无重叠，尽量不在句中断开	简单窗口会切断哪些必需原文？
B：只加重叠	与 A 相同的窗口，起始试 25% 重叠	边界附近的条件能否进入下游上下文，重复又增加多少？
C：按结构切	先按标题、段落或表格单元，再给过长单元设置同样上限；先不重叠	结构边界是否保住条件，同时减少无关文字？

如果单个业务单元超过模型限制，不要硬把几页内容塞成一块。可把较小片段用于查找，再沿父文档或相邻段落取回完整上下文；Amazon Bedrock 的层级切块就是“子块检索、父块供回答”的一种实现。采用此类方案时，应把取回父块产生的额外 token 和引用范围一同计入试验。

每个片段都要能回到原件

保存片段 ID 时同时保存父文档 ID、来源版本、标题路径、页码或原文区间，以及资料的访问边界。把标题放进可检索文本还是作为单独字段，可以试验，但同一轮对照中应一致。若来源有访问控制，每个子片段都必须继承可用于查询过滤的权限信息；否则“切块正确”仍可能把受限内容送给错误的用户。Azure 的父子索引说明明确要求把父文档权限字段映射到每个子片段。

引用需要指回实际支持结论的窄位置。只有文档名、没有条款或页段位置，读者难以核对；把相邻片段合并送给模型以后，也不能伪称其中任意一句都支持答案。最终回答的引用是否充分，还需通过 引用与时效检查 单独审计。

同题比较完整证据与代价

三个候选共用相同的资料快照、抽取文本、嵌入模型、检索器、排序方式、Top-k、权限过滤和下游上下文预算。对每题记录实际返回顺序与实际送入模型的片段，而不只看索引里是否存在正确文字。Microsoft Foundry 把文档检索评测和回答评测分开；这里先判断正确材料有没有到达回答环节。

至少逐题记录：必需原文是否被完整覆盖、首个完整证据出现的位置、无答案题是否出现伪依据、旧版或越权片段是否漏入、能否定位引用、返回 token 数。汇总时再看各类问题的完整证据率、重复内容、索引片段数与嵌入 token、检索延迟。保留一组未用于调参的问题，避免方案只适配已看过的例题。

试验前写下阻断条件，例如“事前批准”一类改变决定的限定条件不得漏掉、越权片段不得进入候选、原文位置必须可核验。不要用平均命中率掩盖一次严重错误。若 A 的正确段落已经完整进入上下文、只是排位不佳，应去检查检索排序；继续加重叠可能只会放大重复。

案例一：报销条款跨过段落边界

某公司的差旅规则先说跨境铁路费用属于可报销类别，下一段要求出发前取得主管批准。员工问：“未提前批准的跨境火车票还能报销吗？”复核者把两个段落都标为必需原文区间；只检出第一段不足以回答。

若 A 恰在两段之间截断，Top-k 只送出“可报销”段落，应判为证据不完整。B 可能通过重叠补到批准条件，也可能只制造两个重复的“可报销”片段。C 若把条款标题下的条件作为一个逻辑单元，可能更稳，但仍要检查长度、排名和引用位置。这里不预设赢家；把三种真实结果写进下方工作表。

案例二：保修表格的脚注决定答案

一张设备保修表写着 B 型号整机保修 24 个月，电池列用脚注符号指向表下“电池保修 6 个月”。客户问：“B 型号的电池保修多久？”标准证据包含 B 行的列对应关系和脚注内容，整机的 24 个月是易混淆信息。

先看抽取文本：若 B 行被错配到 A 型号，或脚注没有进入文本，这一题是抽取失败。抽取正确后再比较：固定窗口是否将脚注放在上下文之外；重叠是否保住它；按表格单元切时能否把行标题、列标题与脚注一同带回。对过长表格可以检索目标行，再取回表头和相关脚注，不能把整页表格当作一条天然精确的证据。

把结果写成可复跑的试验表

下方工具先填写固定资料快照和标准原文区间，再为 A、B、C 各填一行：策略、片段示例、Top-k、完整证据、引用定位和代价。最后注明选用方案、未通过的问题、负责人，以及何时因资料结构或模型变化而重测。若三种方案都失败，允许结论是“先修抽取”或“先修检索”，不必强选一个切块器。

常见误区

重叠越大越可靠吗？ 重叠可能救回断点附近的句子，也会增加嵌入与返回的重复内容；若原文抽取错误或表格行列丢失，重叠无能为力。

片段越小越容易命中吗？ 更小的片段可能有利于定位，也更容易丢掉条件、标题和脚注；必要时需要父块或相邻片段提供完整依据。

只看最终回答可以吗？ 不能用一个流畅回答证明切块正确。先看完整证据是否进入实际上下文，再分别测回答与引用；模型猜对也不能算入库设计通过。

不适用边界

这份试验适合已选定资料来源、需要决定如何建立检索索引的团队。它不能替代来源真实性、权限策略、索引更新、答案忠实性或生产负载测试。对只需读取一份短文件的任务，直接把文件交给模型可能比建设切块索引更合适。