01 / 课程目录
4 条完整的学习路径
每门课有明确的学习顺序、练习产物和验收标准。按手头的任务选择入口。
- 0160–90 分钟 · 5 节课
完成第一条可验证的 AI 工作流
把一个听起来不错的想法,变成边界清楚的任务,判断固定流程还是受限 Agent,再用 10 条案例与同事复核。
- 022–3 小时 · 14 节课
让 AI 回答稳定到可以使用
保住重要上下文,定义内容和格式关卡,测试不可信及困难输入,再定位证据、指令、解析或交接上的失败。
- 032–3 小时 · 11 节课
设计能够展示证据的 AI 回答
先选择回答方法并批准来源版本,再检验切块、检索、权限、索引更新、引用、时效和无答案处理。
- 04主线约 3–4 小时;分支另计 · 37 节课
用权限、恢复和成本控制自动化
为工具调用工作流明确控制权、数据与动作权限、停止规则、人工复核、恢复、服务降级、成本和漂移检查;只在任务需要时验证协作、MCP、记忆、模型与部署分支。
02 / 专题目录
9 类问题,找到最近的一个
专题从需要做的判断出发,收拢相关实践文章。选一个当前最需要解决的问题。
- 014 篇文章
任务定义
AI 到底应该做什么,这件事又是否应该交给它?
- 026 篇文章
上下文与 Prompt
模型必须看到什么、返回什么,下一步才能正常工作?
- 037 篇文章
评测与诊断
需要什么证据,才值得扩大这条工作流?
- 0411 篇文章
有证据的回答
外部证据在什么情况下足以改善回答,值得建设检索系统?
- 0512 篇文章
Agent 架构与协作
Agent 的每一步由谁负责,复核者又怎样确认实际发生了什么?
- 065 篇文章
Agent 安全
这个 Agent 最多可以安全地拥有多大权限?
- 077 篇文章
本地模型与部署
这款模型能在本地硬件上承受真实负载吗,本地部署何时值得?
- 087 篇文章
模型运行与成本
哪个模型能让这条工作流在真实运行中既可靠又负担得起?
- 094 篇文章
AI 落地案例
当 AI 工作流遇到真实复核、来源更新或付款时,究竟会发生什么?
03 / 文章目录
全部原创实践文章
按专题归档,标题和摘要都可直接浏览。每篇文章只出现一次,点击即可进入实践。
01 / 4 篇
查看专题 ↗任务定义
02 / 6 篇
查看专题 ↗上下文与 Prompt
- 01重写 Prompt 之前,先画清上下文把指令、资料、示例、历史、工具和输出规则拆开,先看清模型真正收到了什么。↗
- 02一次大模型调用要预留多少 Token?输入、工具结果与输出预算按完整请求计数,给工具返回、全部生成 Token 和误差余量留空间,并逐项验收模型的输入、输出与上下文上限。↗
- 03长对话什么时候该压缩上下文?保留决定与证据用实测用量和下一轮需求设置压缩检查点,保留关键否定条件、来源与未完成动作,再用同题复测验证没有丢失事实。↗
- 04先写验收契约,再写 Prompt在优化措辞之前,先定义必备字段、证据、语气、不确定性表达和拒收条件。↗
- 05AI 输出选 JSON Schema、Markdown 还是纯文本?先看谁要消费按下游消费者选择 AI 输出协议,区分 JSON 语法、Schema 和业务正确性,并为拒绝、截断与解析失败设计出口。↗
- 06如何测试文档与工具返回中的提示注入为网页、文件、检索片段和工具返回建立回归用例,在发布前检查预期行为与权限关卡。↗
03 / 7 篇
查看专题 ↗评测与诊断
- 01扩大投入前,先做一次 10 条案例试验用普通、困难、模糊和高风险案例组成一个足够小的测试集,把一次看起来不错的 Demo 变成可以复核的证据。↗
- 02建立一套会持续有用的 AI 评测集从真实任务中抽取切片、编写可复核参考、校准评分者并管理版本,让每次模型变更都能得到可信比较。↗
- 03如何校准 AI 自动评分器?对照规则、LLM 裁判与人工判断用同一批输出比较规则检查、模型裁判和独立人评,按任务切片找出误放行与误拒收,再决定自动评分能承担什么职责。↗
- 04AI 分类概率阈值怎么定?把误报、漏报和人工容量写成三路规则用已校准的二分类概率、误报与漏报成本和人工复核容量,设计自动通过、自动拒绝与人工队列,并在独立样本上验证。↗
- 05大模型 temperature 和 top_p 怎么调?用同题试验而不是靠感觉用冻结案例和重复运行比较采样参数,按任务错误与有效变化做判断,不把 temperature 为零误当成输出完全相同的保证。↗
- 06换模型之前,先诊断回答为什么失败把坏答案定位到输入缺失、指令冲突、证据不足、能力边界或交接失败,而不是立刻换模型。↗
- 07这次翻车本来能拦住:把一个坏输出变成回归测试把一次真实失败变成有输入、期望属性、严重度和版本记录的回归案例,并在下次 Prompt 或模型变更前自动跑一遍。↗
04 / 11 篇
查看专题 ↗有证据的回答
- 01Prompt、RAG、微调怎么选?先定位错误再试验从失败原因出发,比较提示词、请求时检索与微调;用同一保留集检查质量、严重错误、成本和维护条件。↗
- 02先判断 RAG 值不值得做在增加检索链路之前,比较知识变化速度、资料规模、引用要求、访问权限和维护成本。↗
- 03RAG 知识库入库前,怎样批准资料来源和版本?在切块和建索引前,按权威原件、负责人、使用权、受众、生效日期和冲突,决定哪一版资料可以作为 RAG 回答依据。↗
- 04PDF、表格和图片入 RAG 前,怎样验收抽取质量?在切块前逐项对照原件与抽取结果,验收 OCR 文字、阅读顺序、表头与单元格、图示关系和可返回原件的位置。↗
- 05RAG 文档怎么切块?先让限定条件和出处保持完整用固定长度、重叠和标题结构三种方案对照跨段条款与表格,记录完整证据、来源位置、检索成本,再决定分块边界。↗
- 06RAG 关键词、向量、混合检索与 Rerank 怎么选?做一次同题对照固定语料、权限、切块和上下文预算,用编号、自然语言改述与混合问题比较 BM25、向量、RRF 和重排的完整证据、延迟与成本。↗
- 07先评测 RAG 检索,再判断回答质量用一组小型检索试验,先检查正确段落、无答案问题、文件版本、排序与权限边界,再评价生成回答。↗
- 08企业 RAG 如何做文档级权限过滤?从检索到引用逐层验证把用户身份、租户和文档 ACL 传到每个索引片段;逐层检查搜索、上下文、引用、缓存与撤权后的拒绝行为。↗
- 09RAG 文档更新或撤稿后,怎样验证索引已生效?沿来源、入库、片段与向量清理、搜索可见性、缓存和回答逐层验收,不把“索引任务成功”误当成知识库已更新。↗
- 10RAG 证据不足时怎么答?回答、澄清、无法确认或转人工检索结果不足以支持结论时,按缺少的条件、来源状态、权限和后果,选择有据回答、具体追问、说明无法确认或人工接手。↗
- 11检查引用是否真的支持答案、是否仍然有效逐条检查重要结论是否被引用片段支持、是否使用正确版本,并经得起时效性复核。↗
05 / 12 篇
查看专题 ↗Agent 架构与协作
- 01给 AI Agent 设计工具调用契约,再开放函数在工具可被 Agent 调用前,写清输入结构、前置条件、身份与审批、外部效果、重复调用、超时结果和复核轨迹。↗
- 02Agent 工具调用循环怎么实现?从完整响应到安全续跑梳理模型响应组装、调用校验、执行与结果配对,并按各家接口协议安全保存和续跑工具调用循环。↗
- 03AI Agent 何时继续、重试或停下?设计运行中的循环护栏用可观察的进展、分开的轮次与成本预算、错误分类和写入去重规则,决定 Agent 每一步是继续、重试、换路径还是交给人。↗
- 04子 Agent 还是多 Agent?按控制权和共享状态选择协作拓扑判断任务是否值得拆给多个 Agent;比较父 Agent 调用专家、对话交接与并行委派,并写清状态、费用和失败归属。↗
- 05Agent 长期记忆什么时候写入、纠错与删除?为跨会话记忆设计写入门槛、偏好更正规则和删除验证,避免一次性要求或模型推断变成难以清除的用户画像。↗
- 06AI Agent 长任务如何断点续跑?保存状态并避免重复执行为跨进程、隔夜等待的 Agent 任务设计持久检查点、审批与外部操作台账,以及只能由一个执行者通过的续跑关卡。↗
- 07Agent 执行轨迹怎么排错?复盘一次运行的可见证据用 trace、span、工具调用编号、人工改判和外部状态还原一次 Agent 运行,找出第一个有证据的偏离点,同时控制敏感数据记录。↗
- 08第三方 MCP Server 接入前检查什么?验收工具、权限与数据流用一份 MCP Server 准入清单核对真实工具列表、OAuth 或本地凭据、数据去向、版本变更、故障和撤销演练,再决定开放哪些能力。↗
- 09什么时候该把重复任务做成 Agent Skill?五道判断关卡用触发条件、输入、步骤、验收和维护责任,判断一项重复任务是否值得封装为可复用的 Agent Skill。↗
- 10Agent 插件如何安全加载与卸载?验收钩子、资源和回退发布 Agent 插件前,检查注册、事件错误语义、两次热重载、禁用残留、初始化中途失败和外部写入的处理。↗
- 11MCP Server 在本地跑通之后,团队一用会坏在哪里?一份 MCP 团队上线检查:每用户凭据、工具白名单、租户边界、限流、审计日志与故障隔离。↗
- 12记录决定,而不是 Prompt:AI Agent 的 trace schema一套 Agent 运行 trace:记录身份、工具效果、审批、状态变化和成本,但不默认保存秘密或完整 Prompt。↗
06 / 5 篇
查看专题 ↗Agent 安全
- 01只给 Agent 完成任务所需的最小权限把每个动作放进五级权限阶梯,从只读建议到必须明确批准的不可逆操作。↗
- 02AI Agent 沙箱怎么验收?测试文件、网络、命令与凭据隔离为 Agent 执行环境设计允许与拒绝探针,逐项验收挂载、网络出口、命令与资源限制、服务身份和持证适配器。↗
- 03把人工复核放在仍能改变结果的位置根据影响、可撤销性和不确定性设置复核关卡,并给评审者足够的证据与动作,让人工真正能够改变决定。↗
- 04在 Agent 出错之前,先设计恢复方式在自动化进入生产前,写清停止信号、保存状态、负责人、回退动作和安全重试规则。↗
- 05让 AI 写代码但不失控:编码 Agent 的复核优先工作流编码 Agent 的任务门、差异门与运行时门:先看测试有没有被改弱,再让人类合并,而不是看到绿色就放行。↗
07 / 7 篇
查看专题 ↗本地模型与部署
- 01本地大模型需要多少显存?拆开估算权重与 KV Cache分别计算模型权重与 KV Cache 的理论载荷,检查上下文和并发,再用目标服务框架实测缺失的峰值开销。↗
- 02大模型量化到 4-bit 值不值?同题比较显存、质量与速度用同一个基础模型的未量化 BF16 参照与指定 4-bit 文件,对照任务错误、完整显卡驻留、峰值显存和目标负载,而不是只比文件大小。↗
- 03LoRA/QLoRA 微调怎么试?先过数据、显存和验收关为稳定的行为问题设微调准入门槛,隔离训练与最终测试数据,实测训练显存,并用未见过的案例比较适配器和原模型。↗
- 04Ollama、llama.cpp、vLLM、SGLang 怎么选?本地推理引擎验收法按模型文件、硬件、应用接口和运维要求筛选本地大模型推理引擎,再用同一组任务和负载逐关验证。↗
- 05本地大模型能扛多少并发?测到达率、首 Token 与排队在真实推理服务上逐档测试到达率,核对首 Token、输出速度、两层排队、错误和显存压力,找出已经验证的持续负载边界。↗
- 06本地大模型上线要几张 GPU?从单实例负载算副本与故障余量用已实测的单副本合格到达率估算副本数,再验证 GPU 放置、故障容量、预热时间和滚动更新峰值。↗
- 07本地部署大模型还是云 API?按数据、峰值和运维选择比较自有硬件、团队管理的租赁 GPU 与供应商托管 API,逐项核对数据路径、峰值容量、运维责任和每项合格任务成本。↗
08 / 7 篇
查看专题 ↗模型运行与成本
- 01用任务评分表选择模型,而不是追榜单用真实工作流案例为质量、延迟、工具能力、隐私、恢复和运行约束设置权重。↗
- 02模型服务故障时如何降级?设计备用模型、排队与人工接管按错误类型、用户截止时间、数据边界和备用模型验收结果,决定模型 API 故障时何时重试、排队、切换或交给人。↗
- 03AI 推理延迟怎么排查?从请求到屏幕拆分等待阶段按单次请求追踪客户端、网关、模型、工具与页面渲染时长,再决定要修哪一段,而不是先换模型或加硬件。↗
- 04算清一条 AI 工作流的完整成本不要只比较 token 单价,把输入、输出、重试、工具、等待、复核和失败恢复一起算进去。↗
- 05Prompt 缓存为什么没命中?用三次请求验证用稳定前缀和改动前缀的对照试验,按提供商规则记录缓存写入、读取、延迟与合格任务成本。↗
- 06在漂移变成事故前监测 AI 工作流把任务构成、输入、依赖、结果和人工改判与明确基线对照,让每个告警都能触发可检查的响应。↗
- 07AI Agent 的真实成本:每个被接受的任务花多少钱把 token、重试、工具、人工复核和失败恢复放进同一个分母:每个合格任务成本,而不是每次 API 调用价格。↗
09 / 4 篇
查看专题 ↗