开课前准备
带着真实材料来，课程才会产生真实结果。
- 01 · 适合谁
- 适合 Prompt 在 Demo 中可用、面对真实输入却质量波动的团队。
- 02 · 准备什么
- 准备一条 Prompt、三个好结果和三个不理想结果。
- 03 · 如何结课
- 每个失败案例都能归入可处理的类别，而不是停留在模糊的“质量不好”。
适用场景
出现下面任一情况，就从这门课开始。
不需要先证明自己属于某个水平。只要当前工作出现对应信号，就带着真实材料进入；完成信号由课程验收决定。
- 01✓
Demo 很好，真实输入却忽好忽坏
你已经有一个能运行的版本，但质量会随文档、用户或格式变化。
- 02✓
每次失败都只会继续改 Prompt
团队没有区分上下文缺失、验收冲突、模型能力和流程交接。
- 03✓
准备换模型，却缺少固定基线
你需要同一组任务切片和失败标签来判断修改是否真的更好。
课程里程碑
每一段都要留下可以复核的变化。
里程碑不是新的课文清单。它用来判断你是否把前后课次连成同一项工作：起点有真实材料，中段有成形产物，结课有别人能够重复的证据。
- 01 开始前↓
先冻结当前版本，不要边学边改 Prompt。
保存正在使用的 Prompt、三个满意输出、三个失望输出，以及产生它们的完整输入。它们是后续判断是否改善的基线。
起点证据：每个好坏案例都能还原当时的上下文与输出。 - 02 课程中段↓
把质量问题拆成可定位的失败。
画出上下文流向，写好验收契约，用正常与注入内容的成对用例守住外部资料边界，再建立覆盖真实任务切片的评测集。
中段证据：每条验收标准至少对应一个案例和一个失败标签。 - 03 结课证明✓
同一评测集重跑，并检查有没有换来新的退步。
修复最主要的失败来源后，与冻结基线逐项比较；同时定义输入、依赖或人工改判变化时，什么时候需要重新评测。
完成证据：改善来自明确改动，未通过案例有归因，漂移信号有负责人。
- 01✓第 1 课
重写 Prompt 之前，先画清上下文
把指令、资料、示例、历史、工具和输出规则拆开，先看清模型真正收到了什么。
本课产物 · 上下文图未读进入本课 → - 02✓第 2 课
一次大模型调用要预留多少 Token？输入、工具结果与输出预算
按完整请求计数，给工具返回、全部生成 Token 和误差余量留空间，并逐项验收模型的输入、输出与上下文上限。
本课产物 · 单次调用上下文预算表未读进入本课 → - 03✓第 3 课
长对话什么时候该压缩上下文？保留决定与证据
用实测用量和下一轮需求设置压缩检查点，保留关键否定条件、来源与未完成动作，再用同题复测验证没有丢失事实。
本课产物 · 压缩检查点未读进入本课 → - 04✓第 4 课
先写验收契约，再写 Prompt
在优化措辞之前，先定义必备字段、证据、语气、不确定性表达和拒收条件。
本课产物 · 验收契约未读进入本课 → - 05✓第 5 课
AI 输出选 JSON Schema、Markdown 还是纯文本？先看谁要消费
按下游消费者选择 AI 输出协议，区分 JSON 语法、Schema 和业务正确性，并为拒绝、截断与解析失败设计出口。
本课产物 · 输出协议检查表未读进入本课 → - 06✓第 6 课
如何测试文档与工具返回中的提示注入
为网页、文件、检索片段和工具返回建立回归用例，在发布前检查预期行为与权限关卡。
本课产物 · 注入测试集未读进入本课 → - 07✓第 7 课
扩大投入前，先做一次 10 条案例试验
用普通、困难、模糊和高风险案例组成一个足够小的测试集，把一次看起来不错的 Demo 变成可以复核的证据。
本课产物 · 试验表未读进入本课 → - 08✓第 8 课
建立一套会持续有用的 AI 评测集
从真实任务中抽取切片、编写可复核参考、校准评分者并管理版本，让每次模型变更都能得到可信比较。
本课产物 · 评测集蓝图未读进入本课 → - 09✓第 9 课
如何校准 AI 自动评分器？对照规则、LLM 裁判与人工判断
用同一批输出比较规则检查、模型裁判和独立人评，按任务切片找出误放行与误拒收，再决定自动评分能承担什么职责。
本课产物 · 评分器校准包未读进入本课 → - 10✓第 10 课
AI 分类概率阈值怎么定？把误报、漏报和人工容量写成三路规则
用已校准的二分类概率、误报与漏报成本和人工复核容量，设计自动通过、自动拒绝与人工队列，并在独立样本上验证。
本课产物 · 分类三路分流表未读进入本课 → - 11✓第 11 课
大模型 temperature 和 top_p 怎么调？用同题试验而不是靠感觉
用冻结案例和重复运行比较采样参数，按任务错误与有效变化做判断，不把 temperature 为零误当成输出完全相同的保证。
本课产物 · 采样参数试验表未读进入本课 → - 12✓第 12 课
换模型之前，先诊断回答为什么失败
把坏答案定位到输入缺失、指令冲突、证据不足、能力边界或交接失败，而不是立刻换模型。
本课产物 · 诊断树未读进入本课 → - 13✓第 13 课
这次翻车本来能拦住：把一个坏输出变成回归测试
把一次真实失败变成有输入、期望属性、严重度和版本记录的回归案例，并在下次 Prompt 或模型变更前自动跑一遍。
本课产物 · 评测集蓝图未读进入本课 → - 14✓第 14 课
在漂移变成事故前监测 AI 工作流
把任务构成、输入、依赖、结果和人工改判与明确基线对照，让每个告警都能触发可检查的响应。
本课产物 · 漂移观察板未读进入本课 →
结课验收
每个失败案例都能归入可处理的类别，而不是停留在模糊的“质量不好”。
不是读完就结束。把各课产物放在一起，请另一位同事按上面的标准复核。