AI 私有化部署的本质，是把算力采购、模型运维和合规责任一起收回内部。只有当数据不能出域、调用量足以摊平固定成本、或延迟有硬约束时，自建才明显优于云端 API。下面按判断、成本、算力、压缩、合规、落地的顺序，把这笔账拆成可以直接代入自己数据的形式。
先做三个判断，再谈技术选型
决策不该从「买哪张卡」开始，而要从三个前置判断开始。三条里一条都不成立时，自建大概率是负收益工程。
数据能否出域。当监管要求、客户合同或等保测评出现「数据不得离开内网」的硬约束，云端 API 直接被排除。需要提前对齐的是：调用境外模型服务本身可能构成数据出境，这件事要在选型早期和法务说清。
调用量能否摊平固定成本。自建是「高固定 + 低边际」，云端是「零固定 + 高边际」。日消耗还小的阶段，自建的年化摊销必然更高；只有调用量稳定越过临界点，两条成本曲线才会交叉。临界点可以算出来，方法见下一节。
延迟与可用性是否硬指标。内网推理的首 token 延迟稳定，且不受公网抖动与供应商限流影响。产线质检、语音交互、工控这类场景，单这一条就足以构成理由。
三条都不成立时，更稳的路径是先做检索增强加云端 API、对敏感字段脱敏，把场景价值验证清楚再谈迁移。
成本模型：一次性投入与长期支出要分开算
云端是按月可变的费用，自建是「一次性资本支出 + 每年运维支出」，直接比月度数字一定得出错误结论。做法是把一次性投入按三年摊销，再加上年化人力、电力与机房成本，形成一条可比的年化成本线。
| 对比维度 | 云端 API 调用 | 私有化自建 |
|---|---|---|
| 启动投入 | 接近零，注册即用 | GPU 整机或一体机、存储、网络、机房条件 |
| 边际成本 | 随 token 量线性增长 | 接近零，受硬件上限约束 |
| 弹性 | 高峰可扩容，受配额限制 | 受已购卡数限制，扩容以周计 |
| 运维责任 | 供应商承担 | 自有或外包，需半个专人常驻 |
| 数据边界 | 依赖脱敏与合同约束 | 留在内网，可审计可追溯 |
| 模型升级 | 供应商自动完成 | 自己做评测与灰度替换 |
把单价填进这个框架，通常会出现明确的分界区间：低于它云端更省，高于它自建开始占优。最常被低估的是三类支出——年化人力（推理框架升级、故障处理）、机房与电力（高功耗卡的供电与散热改造常比卡本身更麻烦）、模型迭代后的重测成本。
算力估算：先算显存，再算并发
常见错误是先按参数量买卡，上线后并发一高就爆显存。显存由三部分组成，必须一起估。
权重显存约等于参数量乘以每参数字节数：FP16 约 2 字节，INT8 约 1 字节，INT4 约 0.5 字节。7B 模型以 FP16 加载，权重就要 14 GB 左右，再叠加缓存与开销，24 GB 单卡只是「能跑」，谈不上从容。
KV 缓存随上下文长度与并发数增长，是长文档问答真正吃显存的部分，它与并发是乘法关系。框架开销与碎片需再留一到两成余量，否则压测能过、生产会抖。
- 定基线：用真实业务提示词测出平均输入输出长度与峰值并发。
- 算显存：三部分相加得到单实例需求，再乘冗余系数。
- 测吞吐：压测每秒 token 数与首 token 延迟，而不是只看「能回答」。
- 定卡数与降级：按峰值七成负载配置，超出时进队列或降级，避免直接超时。
量化与蒸馏：把模型压进有限显存
显存不够时，顺序比技术更重要：先做场景收窄与路由，再做检索增强，然后量化，最后才考虑蒸馏和微调。反过来做，容易在根本不需要大模型的场景上反复折腾。
量化优先试 INT8，精度回落通常可以接受；需要更激进时再试 INT4（AWQ、GPTQ 一类方法），但必须用业务样本重跑评测。低比特对数字、格式与长文本生成的损伤最明显。
蒸馏适合把稳定重复的子任务迁到小模型，大模型退居难例兜底，代价是标注与评测集的持续维护。检索增强性价比最高：知识更新交给向量库，权重不动；但向量库同样是数据资产，要纳入权限与审计。
数据合规：不出域只是第一步
把「数据不出内网」当成合规完成的标志远远不够。私有化只解决了传输与存储位置，剩下的责任仍在企业内部。
- 数据分级：训练数据、推理输入、日志、向量库分开定级，明确留存期限与查阅权限。
- 日志治理：推理日志默认记录用户原文，脱敏与定期清理要写进配置，而不是靠人工。
- 模型许可证：开源权重不等于可商用，许可条款要逐条核对；商用模型自托管的授权范围要落到合同。
- 法规对齐：个人信息保护与数据安全的公开要求、行业等保测评项，需与法务、安全团队共同确认，不能由技术侧单方判断。
实用做法是把合规项做成上线检查表并绑定发布流程：新增数据源、变更留存策略、更换模型版本，都触发复核。
落地路线：五步推进，别一步到位
- 场景与分级：选一个边界清晰、价值可衡量的场景，同时完成数据分级。
- 基线与压测：先在云端跑出质量与延迟基线，作为自建版本的对照物。
- 选型：整机、一体机还是自组服务器，取决于运维能力而非单价，供电与散热要同步评估。
- 双轨灰度：新版本先承接小比例流量，云端保留兜底通道，出问题能立刻切回。
- 运维与评估：评测集、延迟与错误率监控、回滚预案三样齐了，再谈全量。
若项目涉及端侧设备、固件与云端协同，接口边界和 OTA 策略要在选型阶段就定下来。这部分分工可以参考趣凡科技在AI 软硬件解决方案中的做法，也可对照站内AI 硬件方案落地一文的软硬云边界划分。
三个常见误区
把自建等同于省钱。只有调用量越过临界点、且人力成本被真实计入时，自建才更便宜。低频场景的自建单价常年高于云端。
只看显卡不看配套。高功耗卡的供电改造、机房散热、存储带宽与网络隔离，任何一项没到位都会让整机跑不满。边缘侧还要考虑环境温度与远程运维，AI 边缘计算硬件选型里讨论过的约束同样适用。
忽略评测与版本管理。自建之后模型版本由自己负责，没有评测集就无法判断升级是进步还是退步。深圳不少团队已把评测集当成与代码同等重要的资产，趣凡科技在交付时也要求客户保留这套基线，必要时与嵌入式与软件开发团队配合，把推理服务纳入统一发布流程。
常见问题
私有化部署一定要买 GPU 服务器吗？
不一定。只做分类、抽取或小参数模型时，CPU 推理配合量化即可；要跑 7B 以上生成式模型且有并发要求，GPU 才成为必需品。先按场景定模型规模，再按模型定硬件。
自建与云端 API 的成本临界点怎么估？
自建一次性投入按三年摊销，加上年化人力、电力与机房成本得到年化成本；云端单价乘年 token 消耗得到云端年账单，两条线的交叉点就是临界点。峰值并发对应的硬件冗余必须算进去，否则会低估固定投入。
量化到 INT4 会影响业务效果吗？
可能影响，且影响不均匀。数字、格式与长文本生成最敏感，分类和抽取通常更耐受。判断标准只能是自己的评测集：量化前后跑同一批样本比对关键指标，而不是看通用榜单。
数据不出内网就算合规了吗？
不算。私有化解决的是数据位置，还需处理数据分级、日志留存与脱敏、模型许可的商用范围、访问权限与审计。具体要求应与法务和安全团队共同确认。
小团队适合直接上私有化吗？
通常不适合。小团队调用量往往撑不起固定成本。更现实的做法是云端 API 加脱敏与审计，把场景跑通之后再评估迁移。