本地部署大模型还是云 API？按数据、峰值和运维选择

“本地跑模型还是调用云 API”听起来只有两种选择，实际至少有三条路径：在机构自有硬件上运行、由团队管理租来的 GPU 推理服务，或调用供应商托管的模型 API。中间那种仍属于云基础设施；自己安装服务框架，并不意味着数据留在自有机房。每条路径都要回答同一个问题：在允许的数据流向和真实峰值流量下，能否完成合格任务，出问题时由谁处理？

先用数据边界图逐字段分类。显存预算检查单项硬件限制，模型选型评分表评测候选模型的任务表现。本页决定的是推理在哪里运行、由谁运维。完整成本图可继续展开工具、复核和恢复费用；这里沿用“每项合格任务”作为共同分母，让三条部署路径可比。

比较三条路径，不只比较名称

路径	需核对的数据与控制	容量和运维负责人	主要成本证据
自有硬件	机房、外联网络、模型下载、访问、日志、缓存、备份和删除	团队负责 GPU 容量、队列、补丁、监控、事故与设备替换	硬件摊销、电力和冷却、存储、网络、支持与闲置容量
团队管理的租赁 GPU	云区域与合同、存储和遥测流向、管理权限、备份与网络外联	团队仍负责服务配置、安全、监控、扩容和恢复；基础设施供应商提供租用机器	运行期间的 GPU 实例时间、附属存储、传输、其他服务和运维人力
供应商托管 API	确切组织、项目、模型、端点、保留控制、区域、工具及分包方	供应商运行推理；团队负责集成、密钥、限额、重试、后备、评测及应用边界事故	当期输入、缓存输入、适用时的缓存写入、输出、工具、存储与预留容量条款

供应商说“API 数据默认不用于训练”，不等于零存储。以 OpenAI 为例，其文档称 API 数据默认不用于训练，除非客户主动选择共享；但默认滥用监测日志可能包含 Prompt 与响应，通常保留最多 30 天，并有文档列明的例外。Modified Abuse Monitoring 和 Zero Data Retention 需要符合资格并获批准，端点和功能仍有应用状态的差异；数据驻留也有明确覆盖范围与排除项。敏感数据是否能用 API，必须按实际供应商、合同、项目、端点、功能和核对日期判断。自管服务同样需要认证、网络隔离、日志规则、备份控制与删除测试。vLLM 的安全指南还说明，--api-key 只保护部分路径前缀；对外服务需要反向代理明确放行端点，并限制网络访问。

成本之前，先判硬门槛

先写任务与合格结果，再写数据类别、允许地点与保留时间、模型或权重许可、必须通过的案例、P95 首 token 与完整响应目标、峰值请求形状，以及故障时的接手人。某条路径无法通过硬门槛，就标为排除，不能靠便宜的报价把它加回候选。没有证据的项目应标“待核实”，不要只写“合规”“很快”或“私密”。

对自有或租赁 GPU 来说，模型权重装得下不代表服务器扛得住并发。按预计输入与输出长度，测完整 GPU 驻留、KV 使用率、排队、OOM、首 token、端到端延迟和已完成请求量。vLLM 提供在线服务、压测和生产指标。压测时要把请求速率及突发形状设成实际流量；无限速发送与客户端排队都不等于服务真实到达模式。还要记录前缀缓存行为，避免重复 Prompt 的热缓存让吞吐看起来虚高。对于托管 API，应读取实际项目的请求和 token 限额，再通过应用集成重放相同到达模式。OpenAI 文档列有 RPM、TPM 等限额及限流后的重试建议；这是该供应商的实例，不是所有 API 都能无限承受突发请求的保证。

案例一：机密合同字段提取

某法务运营团队要抽取付款金额、币种、生效日期、收款方，以及改变付款时间的原文条款。部分合同含有机密交易方资料。先逐字段写明：哪些内容只能留在机构内、哪些可脱敏、指定供应商及区域是否获准、端点日志与备份怎样处理、谁复核输出。如果制度不允许把必需原文发送到托管 API，而且没有仍能完成任务的已批准变换，这条 API 路径就没通过数据门槛。租赁 GPU 仍会在基础设施供应商环境中处理数据，也需要核对合同和遥测流向。自有硬件则要证明访问和备份路径；拥有机器本身不自动等于私密。

然后冻结一组含有尾部附件修改日期、否定付款条件及无答案情况的文档。每条路径使用的模型都必须正确返回字段与支持它的原文，不出现阻断性错误。自管方案可以用量化对照试验评估较小文件，但省显存不能抵消金额或收款方错误。只有数据与任务质量都过关的路径，才进入负载和成本比较。这里给出的是待验证判定流程，并未声称任何候选已经通过。

案例二：活动期间突发的公开 FAQ

某零售商的公开商品 FAQ 平时请求很少，促销活动时突然增加。知识内容公开，顾客提问和日志仍需要保留规则。先取真实的逐分钟到达记录与输入、输出 token 分布，不要任意给日均量乘一个峰值倍数。固定答案集、升级人工规则及一组无答案问题，避免便宜或快速的方案靠答错来“胜出”。

对自有或租赁 GPU，重放普通时段与活动时段的流量，记录排队增长、KV 压力、P95 延迟、拒绝请求、冷启动，以及容量耗尽时值班人员的动作。对 API，核对当前项目的 RPM、TPM、费用上限、429 或 503 行为、重试预算与实测延迟。托管 API 可能避免在活动间歇为闲置专用 GPU 付费，但其变动费用和限流必须核对。自管 GPU 在持续高利用率时可能划算，前提是能达到活动峰值服务目标，且团队愿意承担排队和扩容。仅凭这个情境不能定赢家，须把实测结果填入矩阵。

三条路径使用同一成本单位

选同一时期、任务组合、验收规则、流量轨迹和人工复核策略。自有硬件要注明摊销周期，并计算电力、冷却、存储、网络、备件、安全和值班时间。租赁 GPU 计算保持实例分配的时间、附属服务和流量，以及团队部署与恢复的人力；不能再把租来的显卡算一遍购买价。托管 API 按有日期的模型与功能价目表，套入实际输入、缓存输入、适用时的缓存写入、输出、重试和工具量。会员订阅价格不是 API 单价。价格与资格会变化，记录来源、地区、币种和生效日期，不在本文编造统一回本数字。

每条路径都用周期总成本 ÷ 通过验收的任务数。拒收任务、重试、人工修正和事故成本留在分子中，不能用“发出的请求数”作分母。如果一条路径没有合格任务，或没有通过数据与服务硬门槛，就标为不适用，不强行算有限单位成本。隐私禁止项、严重字段错误和无人负责的事故，应单独保留，不能被金额抵消。下方工作台为三条路径提供相同证据栏，并要求写清负责人和复测事件。

常见问题

租来的云 GPU 算“本地”吗？ 它是团队自管、但运行于供应商云基础设施的推理服务。模型与服务代码由团队控制，数据、存储、遥测和管理权限仍跨过基础设施边界。

API 一定比自管方案更不私密吗？ 要看具体供应商控制和已批准的数据路径。有些 API 配置提供较强的合同与技术控制；自管服务器也可能通过暴露端点、日志、备份或外联工具泄露数据。逐项核对实际配置。

流量变大以后自建一定便宜吗？ 不一定。利用率、峰值冗余、硬件寿命、能源、值班覆盖、质量、重试和供应商报价都会改变结论。先按同一合格工作负载实测，再讨论临界点。

不适用边界

此矩阵帮助一项指定任务和负载选择推理运行路径，不是法律合规证明，也不保证供应商未来的保留规则，更不能替代模型评测和安全审查。租赁 GPU、托管推理端点与通用模型 API 即使都叫“云”，合同与计费单位也可能不同。模型许可、硬件支持、供应商条款、价格和流量一旦发生实质变化，应重新核验，并保留替换路径的能力。