私有化部署要什么硬件？按模型规模与并发算配置 私有化部署：算力与模型都在内网闭环 过去一年我们给南昌和省内几家企业做过私有化部署的配置评估，常见两种翻车方式正好相反：一种是把 8 卡机器塞进办公室，日活三十几个人，显卡常年跑在 5% 利用率；另一种是拿一张 24G 消费卡硬上 70B 量化模型，两个人同时提问就开始排队，业务方试了两周就不用了。硬件买错，钱是小事，耽误的是业务方对 AI 的信任。 这篇按我们实际估配置的顺序写：先算并发，再算显存，然后才是卡型、存储、网络、电力。 先算并发，再选卡，顺序反了必翻车 并发不是员工总数。内部知识库问答场景，日活 100 人，峰值真正同时在等答案的请求通常只有 3-8 个；对外客服或营销页面的问答，峰值能到日活的 5%-10%，而且集中在工作时间的两三个小时里。你要估的是那个峰值，不是平均值。 还有两个乘数经常被漏掉：上下文长度和输出长度。同样 20 个并发，4K 上下文和 16K 上下文的显存占用差四倍；输出 200 字和输出 2000 字，响应时间差十倍。做 AI 智能体私有化部署 时，智能体要带工具调用和多轮记忆，上下文天然比单轮问答长，按单轮问答的并发去配卡，上线就崩。 显存怎么估：权重一本账，KV Cache 一本账 权重显存好算：参数量 × 每参字节数。FP16…