本地模型与部署
这款模型能在本地硬件上承受真实负载吗，本地部署何时值得？
估算显存，验证量化与适配器训练，选择推理引擎，测单实例容量、规划 GPU 副本及故障余量，再与云 API 比较。
AI VISTA / DECISION01 / 03
当前判断模型文件放得进显存只是起点；任务质量、峰值显存、延迟与故障恢复都要在同一试验中达标。
01输入
02验收
03边界
带回真实任务复核✓
判断分支
先回答这个主题真正要做的决定。
- 先问↓
目标精度、上下文和并发在峰值时需要多少显存？
- 如果↓
任务质量、峰值显存与延迟通过同一负载测试，再比较本地和云端总成本。
- 否则✓
降低并发或上下文、调整精度，必要时继续使用云 API。
完整案例
一张 24 GiB 显卡能支撑内部知识助手的高峰吗？
团队考虑用 14B 模型处理制度问答。白天可能出现八个重叠会话，资料段落长短不一；当前云 API 已有可用质量与延迟基线。
最终产物一份显存预算、量化质量对照、负载记录与本地／云 API 部署矩阵。
01错误捷径
看到模型文件放得进显存就上线，默认 4-bit 与 BF16 效果相同，并用单次跑通推断高峰容量。
02更好的判断
分开预算权重、KV Cache 与服务框架余量；用同一批制度问题比较 BF16 和指定 4-bit 文件，再逐档增加上下文与并发，记录峰值显存、排队和首字延迟。
03如何验收
目标负载下，严重错误、延迟和失败率均满足预先设定的门槛；留有实测峰值余量，故障时能回到云 API，第二人可复跑对照。
进入与离开信号
知道何时进入，也要知道什么时候已经足够。
主题页不是无限深入的知识目录。进入信号帮助你判断当前问题是否属于这一层；完成信号用来决定是否继续下一主题，而不是用阅读时长代替成果。
01从这里进入
- 正在考虑用本地模型满足数据或成本约束
- 精度、上下文或并发可能超过显存
- 已有高峰负载与响应时间要求
02达到这些信号后离开
- 权重、KV Cache 与实测余量分开记录
- 量化候选在同一保留案例上达到质量门槛
- 峰值负载与故障回退已和云端基线对照
7 项实践
按顺序建立判断、制作产物，再用真实案例复核。
01 本地大模型需要多少显存？拆开估算权重与 KV Cache分别计算模型权重与 KV Cache 的理论载荷，检查上下文和并发，再用目标服务框架实测缺失的峰值开销。 本地模型与部署 02 大模型量化到 4-bit 值不值？同题比较显存、质量与速度用同一个基础模型的未量化 BF16 参照与指定 4-bit 文件，对照任务错误、完整显卡驻留、峰值显存和目标负载，而不是只比文件大小。 本地模型与部署 03 LoRA／QLoRA 微调怎么试？先过数据、显存和验收关为稳定的行为问题设微调准入门槛，隔离训练与最终测试数据，实测训练显存，并用未见过的案例比较适配器和原模型。 本地模型与部署 04 Ollama、llama.cpp、vLLM、SGLang 怎么选？本地推理引擎验收法按模型文件、硬件、应用接口和运维要求筛选本地大模型推理引擎，再用同一组任务和负载逐关验证。 本地模型与部署 05 本地大模型能扛多少并发？测到达率、首 Token 与排队在真实推理服务上逐档测试到达率，核对首 Token、输出速度、两层排队、错误和显存压力，找出已经验证的持续负载边界。 本地模型与部署 06 本地大模型上线要几张 GPU？从单实例负载算副本与故障余量用已实测的单副本合格到达率估算副本数，再验证 GPU 放置、故障容量、预热时间和滚动更新峰值。 本地模型与部署 07 本地部署大模型还是云 API？按数据、峰值和运维选择比较自有硬件、团队管理的租赁 GPU 与供应商托管 API，逐项核对数据路径、峰值容量、运维责任和每项合格任务成本。 本地模型与部署
不适用边界
这个主题页不会替你做什么？
预算器给出理论载荷；量化、驱动、服务框架和实际请求组合仍需要在目标硬件上实测。
01不要把模型文件大小当成服务时峰值显存02不要只按 4-bit 的体积推断任务质量03不要用单请求跑通推断多请求容量
当质量、峰值显存、响应时间和故障回退都经过目标负载验证，再比较整条工作流的收益与成本。