AI VISTA / 完整知识目录

课程、专题、文章都在这里。

想连续学习就选课程;遇到具体问题就选专题;知道要解决什么时,直接打开对应文章。这里列出全部已发布内容。

01 / 课程目录

4 条完整的学习路径

每门课有明确的学习顺序、练习产物和验收标准。按手头的任务选择入口。

  1. 01
    60–90 分钟 · 5 节课

    完成第一条可验证的 AI 工作流

    把一个听起来不错的想法,变成边界清楚的任务,判断固定流程还是受限 Agent,再用 10 条案例与同事复核。

  2. 02
    2–3 小时 · 14 节课

    让 AI 回答稳定到可以使用

    保住重要上下文,定义内容和格式关卡,测试不可信及困难输入,再定位证据、指令、解析或交接上的失败。

  3. 03
    2–3 小时 · 11 节课

    设计能够展示证据的 AI 回答

    先选择回答方法并批准来源版本,再检验切块、检索、权限、索引更新、引用、时效和无答案处理。

  4. 04
    主线约 3–4 小时;分支另计 · 37 节课

    用权限、恢复和成本控制自动化

    为工具调用工作流明确控制权、数据与动作权限、停止规则、人工复核、恢复、服务降级、成本和漂移检查;只在任务需要时验证协作、MCP、记忆、模型与部署分支。

03 / 文章目录

全部原创实践文章

按专题归档,标题和摘要都可直接浏览。每篇文章只出现一次,点击即可进入实践。

01 / 4 篇

任务定义

查看专题 ↗
  1. 01
    这项任务究竟适不适合使用 AI?在选择模型或搭建流程之前,先从变化程度、可核验性、出错代价、数据边界和后备方案判断任务是否适合 AI。
  2. 02
    把一个 AI 想法写成可验证的任务简报把模糊的 AI 功能想法,改写成一页任务简报:写清用户、输入、合格输出、证据、边界和失败后的处理方式。
  3. 03
    固定工作流还是 AI Agent?先决定谁控制下一步用真实任务判断固定流程是否足够;只有需要根据工具反馈选择下一步时,才设计有预算、停止条件和人工接手的 Agent。
  4. 04
    在 AI 读取输入前,先画清数据边界把每个字段分配到允许、变换、隔离或排除路径,避免一条有用的工作流悄悄变成失控的数据传递。
02 / 6 篇

上下文与 Prompt

查看专题 ↗
  1. 01
    重写 Prompt 之前,先画清上下文把指令、资料、示例、历史、工具和输出规则拆开,先看清模型真正收到了什么。
  2. 02
    一次大模型调用要预留多少 Token?输入、工具结果与输出预算按完整请求计数,给工具返回、全部生成 Token 和误差余量留空间,并逐项验收模型的输入、输出与上下文上限。
  3. 03
    长对话什么时候该压缩上下文?保留决定与证据用实测用量和下一轮需求设置压缩检查点,保留关键否定条件、来源与未完成动作,再用同题复测验证没有丢失事实。
  4. 04
    先写验收契约,再写 Prompt在优化措辞之前,先定义必备字段、证据、语气、不确定性表达和拒收条件。
  5. 05
    AI 输出选 JSON Schema、Markdown 还是纯文本?先看谁要消费按下游消费者选择 AI 输出协议,区分 JSON 语法、Schema 和业务正确性,并为拒绝、截断与解析失败设计出口。
  6. 06
    如何测试文档与工具返回中的提示注入为网页、文件、检索片段和工具返回建立回归用例,在发布前检查预期行为与权限关卡。
03 / 7 篇

评测与诊断

查看专题 ↗
  1. 01
    扩大投入前,先做一次 10 条案例试验用普通、困难、模糊和高风险案例组成一个足够小的测试集,把一次看起来不错的 Demo 变成可以复核的证据。
  2. 02
    建立一套会持续有用的 AI 评测集从真实任务中抽取切片、编写可复核参考、校准评分者并管理版本,让每次模型变更都能得到可信比较。
  3. 03
    如何校准 AI 自动评分器?对照规则、LLM 裁判与人工判断用同一批输出比较规则检查、模型裁判和独立人评,按任务切片找出误放行与误拒收,再决定自动评分能承担什么职责。
  4. 04
    AI 分类概率阈值怎么定?把误报、漏报和人工容量写成三路规则用已校准的二分类概率、误报与漏报成本和人工复核容量,设计自动通过、自动拒绝与人工队列,并在独立样本上验证。
  5. 05
    大模型 temperature 和 top_p 怎么调?用同题试验而不是靠感觉用冻结案例和重复运行比较采样参数,按任务错误与有效变化做判断,不把 temperature 为零误当成输出完全相同的保证。
  6. 06
    换模型之前,先诊断回答为什么失败把坏答案定位到输入缺失、指令冲突、证据不足、能力边界或交接失败,而不是立刻换模型。
  7. 07
    这次翻车本来能拦住:把一个坏输出变成回归测试把一次真实失败变成有输入、期望属性、严重度和版本记录的回归案例,并在下次 Prompt 或模型变更前自动跑一遍。
04 / 11 篇

有证据的回答

查看专题 ↗
  1. 01
    Prompt、RAG、微调怎么选?先定位错误再试验从失败原因出发,比较提示词、请求时检索与微调;用同一保留集检查质量、严重错误、成本和维护条件。
  2. 02
    先判断 RAG 值不值得做在增加检索链路之前,比较知识变化速度、资料规模、引用要求、访问权限和维护成本。
  3. 03
    RAG 知识库入库前,怎样批准资料来源和版本?在切块和建索引前,按权威原件、负责人、使用权、受众、生效日期和冲突,决定哪一版资料可以作为 RAG 回答依据。
  4. 04
    PDF、表格和图片入 RAG 前,怎样验收抽取质量?在切块前逐项对照原件与抽取结果,验收 OCR 文字、阅读顺序、表头与单元格、图示关系和可返回原件的位置。
  5. 05
    RAG 文档怎么切块?先让限定条件和出处保持完整用固定长度、重叠和标题结构三种方案对照跨段条款与表格,记录完整证据、来源位置、检索成本,再决定分块边界。
  6. 06
    RAG 关键词、向量、混合检索与 Rerank 怎么选?做一次同题对照固定语料、权限、切块和上下文预算,用编号、自然语言改述与混合问题比较 BM25、向量、RRF 和重排的完整证据、延迟与成本。
  7. 07
    先评测 RAG 检索,再判断回答质量用一组小型检索试验,先检查正确段落、无答案问题、文件版本、排序与权限边界,再评价生成回答。
  8. 08
    企业 RAG 如何做文档级权限过滤?从检索到引用逐层验证把用户身份、租户和文档 ACL 传到每个索引片段;逐层检查搜索、上下文、引用、缓存与撤权后的拒绝行为。
  9. 09
    RAG 文档更新或撤稿后,怎样验证索引已生效?沿来源、入库、片段与向量清理、搜索可见性、缓存和回答逐层验收,不把“索引任务成功”误当成知识库已更新。
  10. 10
    RAG 证据不足时怎么答?回答、澄清、无法确认或转人工检索结果不足以支持结论时,按缺少的条件、来源状态、权限和后果,选择有据回答、具体追问、说明无法确认或人工接手。
  11. 11
    检查引用是否真的支持答案、是否仍然有效逐条检查重要结论是否被引用片段支持、是否使用正确版本,并经得起时效性复核。
05 / 12 篇

Agent 架构与协作

查看专题 ↗
  1. 01
    给 AI Agent 设计工具调用契约,再开放函数在工具可被 Agent 调用前,写清输入结构、前置条件、身份与审批、外部效果、重复调用、超时结果和复核轨迹。
  2. 02
    Agent 工具调用循环怎么实现?从完整响应到安全续跑梳理模型响应组装、调用校验、执行与结果配对,并按各家接口协议安全保存和续跑工具调用循环。
  3. 03
    AI Agent 何时继续、重试或停下?设计运行中的循环护栏用可观察的进展、分开的轮次与成本预算、错误分类和写入去重规则,决定 Agent 每一步是继续、重试、换路径还是交给人。
  4. 04
    子 Agent 还是多 Agent?按控制权和共享状态选择协作拓扑判断任务是否值得拆给多个 Agent;比较父 Agent 调用专家、对话交接与并行委派,并写清状态、费用和失败归属。
  5. 05
    Agent 长期记忆什么时候写入、纠错与删除?为跨会话记忆设计写入门槛、偏好更正规则和删除验证,避免一次性要求或模型推断变成难以清除的用户画像。
  6. 06
    AI Agent 长任务如何断点续跑?保存状态并避免重复执行为跨进程、隔夜等待的 Agent 任务设计持久检查点、审批与外部操作台账,以及只能由一个执行者通过的续跑关卡。
  7. 07
    Agent 执行轨迹怎么排错?复盘一次运行的可见证据用 trace、span、工具调用编号、人工改判和外部状态还原一次 Agent 运行,找出第一个有证据的偏离点,同时控制敏感数据记录。
  8. 08
    第三方 MCP Server 接入前检查什么?验收工具、权限与数据流用一份 MCP Server 准入清单核对真实工具列表、OAuth 或本地凭据、数据去向、版本变更、故障和撤销演练,再决定开放哪些能力。
  9. 09
    什么时候该把重复任务做成 Agent Skill?五道判断关卡用触发条件、输入、步骤、验收和维护责任,判断一项重复任务是否值得封装为可复用的 Agent Skill。
  10. 10
    Agent 插件如何安全加载与卸载?验收钩子、资源和回退发布 Agent 插件前,检查注册、事件错误语义、两次热重载、禁用残留、初始化中途失败和外部写入的处理。
  11. 11
    MCP Server 在本地跑通之后,团队一用会坏在哪里?一份 MCP 团队上线检查:每用户凭据、工具白名单、租户边界、限流、审计日志与故障隔离。
  12. 12
    记录决定,而不是 Prompt:AI Agent 的 trace schema一套 Agent 运行 trace:记录身份、工具效果、审批、状态变化和成本,但不默认保存秘密或完整 Prompt。
06 / 5 篇

Agent 安全

查看专题 ↗
  1. 01
    只给 Agent 完成任务所需的最小权限把每个动作放进五级权限阶梯,从只读建议到必须明确批准的不可逆操作。
  2. 02
    AI Agent 沙箱怎么验收?测试文件、网络、命令与凭据隔离为 Agent 执行环境设计允许与拒绝探针,逐项验收挂载、网络出口、命令与资源限制、服务身份和持证适配器。
  3. 03
    把人工复核放在仍能改变结果的位置根据影响、可撤销性和不确定性设置复核关卡,并给评审者足够的证据与动作,让人工真正能够改变决定。
  4. 04
    在 Agent 出错之前,先设计恢复方式在自动化进入生产前,写清停止信号、保存状态、负责人、回退动作和安全重试规则。
  5. 05
    让 AI 写代码但不失控:编码 Agent 的复核优先工作流编码 Agent 的任务门、差异门与运行时门:先看测试有没有被改弱,再让人类合并,而不是看到绿色就放行。
07 / 7 篇

本地模型与部署

查看专题 ↗
  1. 01
    本地大模型需要多少显存?拆开估算权重与 KV Cache分别计算模型权重与 KV Cache 的理论载荷,检查上下文和并发,再用目标服务框架实测缺失的峰值开销。
  2. 02
    大模型量化到 4-bit 值不值?同题比较显存、质量与速度用同一个基础模型的未量化 BF16 参照与指定 4-bit 文件,对照任务错误、完整显卡驻留、峰值显存和目标负载,而不是只比文件大小。
  3. 03
    LoRA/QLoRA 微调怎么试?先过数据、显存和验收关为稳定的行为问题设微调准入门槛,隔离训练与最终测试数据,实测训练显存,并用未见过的案例比较适配器和原模型。
  4. 04
    Ollama、llama.cpp、vLLM、SGLang 怎么选?本地推理引擎验收法按模型文件、硬件、应用接口和运维要求筛选本地大模型推理引擎,再用同一组任务和负载逐关验证。
  5. 05
    本地大模型能扛多少并发?测到达率、首 Token 与排队在真实推理服务上逐档测试到达率,核对首 Token、输出速度、两层排队、错误和显存压力,找出已经验证的持续负载边界。
  6. 06
    本地大模型上线要几张 GPU?从单实例负载算副本与故障余量用已实测的单副本合格到达率估算副本数,再验证 GPU 放置、故障容量、预热时间和滚动更新峰值。
  7. 07
    本地部署大模型还是云 API?按数据、峰值和运维选择比较自有硬件、团队管理的租赁 GPU 与供应商托管 API,逐项核对数据路径、峰值容量、运维责任和每项合格任务成本。
08 / 7 篇

模型运行与成本

查看专题 ↗
  1. 01
    用任务评分表选择模型,而不是追榜单用真实工作流案例为质量、延迟、工具能力、隐私、恢复和运行约束设置权重。
  2. 02
    模型服务故障时如何降级?设计备用模型、排队与人工接管按错误类型、用户截止时间、数据边界和备用模型验收结果,决定模型 API 故障时何时重试、排队、切换或交给人。
  3. 03
    AI 推理延迟怎么排查?从请求到屏幕拆分等待阶段按单次请求追踪客户端、网关、模型、工具与页面渲染时长,再决定要修哪一段,而不是先换模型或加硬件。
  4. 04
    算清一条 AI 工作流的完整成本不要只比较 token 单价,把输入、输出、重试、工具、等待、复核和失败恢复一起算进去。
  5. 05
    Prompt 缓存为什么没命中?用三次请求验证用稳定前缀和改动前缀的对照试验,按提供商规则记录缓存写入、读取、延迟与合格任务成本。
  6. 06
    在漂移变成事故前监测 AI 工作流把任务构成、输入、依赖、结果和人工改判与明确基线对照,让每个告警都能触发可检查的响应。
  7. 07
    AI Agent 的真实成本:每个被接受的任务花多少钱把 token、重试、工具、人工复核和失败恢复放进同一个分母:每个合格任务成本,而不是每次 API 调用价格。
09 / 4 篇

AI 落地案例

查看专题 ↗
  1. 01
    AI 客服分流:10 条案例如何换来一道人工复核门用十条工单把队列准确率与承诺权限分开,并把一次错误退款承诺变成人工复核门。
  2. 02
    AI 内容审核:一道引用门,如何拦下看似自信的错误答案内容团队给 AI 草稿加引用门:每个关键说法都要有当前来源、版本、负责人和通过/修改/阻止决定。
  3. 03
    AI 研究综述:来源在简报之后变了,引用审计怎么救AI 研究简报的来源变更演练:重跑检索、标记过期结论,证据不足时交出“无法确认”便签。
  4. 04
    会审批但不能付款的 Agent:权限阶梯、超时与回滚演练只准备审批包、不碰付款的发票 Agent:审批绑定发票范围,并演练重复与未知付款结果。