私有化部署要什么硬件？按模型规模与并发算配置
过去一年我们给南昌和省内几家企业做过私有化部署的配置评估，常见两种翻车方式正好相反：一种是把 8 卡机器塞进办公室，日活三十几个人，显卡常年跑在 5% 利用率；另一种是拿一张 24G 消费卡硬上 70B 量化模型，两个人同时提问就开始排队，业务方试了两周就不用了。硬件买错，钱是小事，耽误的是业务方对 AI 的信任。
这篇按我们实际估配置的顺序写：先算并发，再算显存，然后才是卡型、存储、网络、电力。
先算并发，再选卡，顺序反了必翻车
并发不是员工总数。内部知识库问答场景，日活 100 人，峰值真正同时在等答案的请求通常只有 3-8 个；对外客服或营销页面的问答，峰值能到日活的 5%-10%，而且集中在工作时间的两三个小时里。你要估的是那个峰值，不是平均值。
还有两个乘数经常被漏掉：上下文长度和输出长度。同样 20 个并发，4K 上下文和 16K 上下文的显存占用差四倍；输出 200 字和输出 2000 字，响应时间差十倍。做 AI 智能体私有化部署 时，智能体要带工具调用和多轮记忆，上下文天然比单轮问答长，按单轮问答的并发去配卡，上线就崩。
显存怎么估：权重一本账，KV Cache 一本账
权重显存好算：参数量 × 每参字节数。FP16 是 2 字节，INT8 是 1 字节，INT4 大约 0.5 字节。7B 的 FP16 权重约 14GB，INT4 压到 4GB 左右；70B 的 FP16 要 140GB，INT4 大约 35-40GB。
难算的是 KV Cache，它随并发数和上下文长度线性增长。粗估公式：每 token 占用 ≈ 2 × 层数 × 隐藏维度 × 字节数。7B 模型（32 层、4096 维）每 token 约 0.5MB，一条 4K 上下文的会话就要 2GB；70B 模型（80 层、8192 维）每 token 约 2.6MB，一条 4K 会话超过 10GB。这就是为什么「70B 塞进一张 80G 卡」理论可行，实际并发只有 3-4 路。
按模型规模和并发档位给配置区间
| 模型规模 | 推理精度 | 权重显存 | 单条 4K 会话 KV | 建议卡型 | 4K 上下文下典型并发 |
|---|---|---|---|---|---|
| 7B | INT4 | 约 4GB | 约 2GB | RTX 4090 24G ×1 | 8-12 路 |
| 13B / 14B | INT8 | 约 13GB | 约 3GB | 4090 24G ×1（偏紧）或 48G ×1 | 6-10 路 |
| 32B | INT4 | 约 18GB | 约 5GB | 48G ×1 或 4090 ×2 | 6-8 路 |
| 70B | INT4 | 约 35-40GB | 约 10GB | 80G ×1 或 48G ×2 | 3-6 路 |
注意这是量级估算，实际还要看推理框架。vLLM、SGLang 这类做了 PagedAttention 和连续批处理，同样的卡能多撑 1.5-2 倍并发；用原生 Transformers 直接跑，显存碎片会让可用并发掉一半。有时候换框架比换卡划算，这笔账采购前就该算。
对应到并发档位：5 路以内，单张消费级卡够用；5-20 路，单卡 48G 显存或双卡；20-50 路，需要单机多卡做张量并行；50 路以上，多机加负载均衡。多卡张量并行要注意卡间通信，没有 NVLink 的机器靠 PCIe 4.0 x16 也能跑，但吞吐会打折，这一点在报价单上看不出来，得单独问供应商。
存储：别把模型和知识库塞同一块盘
- 模型盘：单模型文件 7B INT4 约 4-8GB，70B INT4 约 40GB，多版本共存很快上百 GB。用 NVMe，别用机械盘——从机械盘加载 40GB 权重，冷启动要好几分钟，用户以为系统挂了。
- 数据盘：企业知识库的原文、切分后的向量、对话日志分开存。10 万份文档的向量库加上原文，几十 GB 起步，日志增长比想象中快。
- 备份：NVMe 系统盘加独立 NVMe 数据盘做 RAID1，再配一台 NAS 存模型和数据的离线副本。这块成本不高，省掉的是灾难恢复时的通宵。
网络：内网带宽和出网策略是两件事
单机部署，用户侧千兆基本够（纯文字问答单次响应几 KB 到几十 KB）。真正吃带宽的是文档上传解析和多模态，一份 50MB 的 PDF，几十个人同时传就能打满百兆。
多机推理是另一回事。张量并行和流水线并行对机间延迟敏感，25GbE 起步，有条件的上 RDMA；用普通千兆交换机组多机，性能衰减可能到一半以上，不如老老实实单机多卡。
安全上，模型服务只在内网暴露，出网走白名单代理，网关层做鉴权和限流。这套东西比卡便宜得多，但出事的时候是它兜底。
电力、散热、承重：办公室放不下 8 卡机
一张 4090 TDP 450W，8 卡整机峰值 4-5kW，加上 CPU、主板、风扇还要往上走。普通办公室一个回路 3-4kW，插上去就跳闸。需要独立空开、UPS（至少撑 10 分钟，让在跑的推理任务优雅退出）、专门的制冷——4kW 的热量，靠办公区中央空调是压不住的。噪音也要考虑，满配服务器风扇 60-70dB，放办公区没人受得了，得单独机房或隔音机柜。整机 30-40kg，普通办公地板承重也得看一眼。
只跑单卡或双卡的小机器，这些要求会低很多。很多企业初期部署就放在机房角落的一台塔式机里，这是合理的起点。完整方案可以看 私有化部署 的说明。
买、租还是混合
日请求量稳定、数据不能出内网、有长期使用计划，采购划算，一台机器的回本周期通常在 12-24 个月。处在试验期、请求量波动大、或者只是想验证场景，先租 GPU 云按月付费试两个月，比买错卡便宜。
混合是现在比较务实的做法：本地小卡跑 7B/13B 处理日常问答和敏感数据，复杂推理和长文档任务走 API。这需要一套能按任务路由、能统计每个部门花了多少钱的机制，模型 API 与成本管理 里写了具体做法。
价格给个区间参考：单卡消费级整机 3-5 万，48G 专业卡整机 8-15 万，80G 数据中心卡整机 25 万起，渠道和显存型号波动很大，以实际方案与报价为准。
我们建议的落地顺序
- 挑一个真实场景，别笼统地说「上大模型」。客服问答、合同审查、内部知识库，选一个。
- 用一台机器做两周 POC，记录真实请求量、上下文长度分布、峰值并发、平均响应时间。这四组数据比任何厂商的推荐配置表都准。
- 按实测峰值乘 1.5-2 倍冗余定配置，同时留出模型升级空间——今天跑 13B，明年想换 32B，显存要多备一倍。
- 再谈存储、网络、电力，最后签合同。
更多实际部署中的配置记录和踩坑，我们整理在 知识库 里，可以按场景翻。如果你手上有具体的模型和预估并发量，想让人帮忙算一遍配置，把场景和数据发给我们，或者直接打 400-873-2750，我们按你给的数字出一份带取舍说明的硬件清单。