买卡前必须搞清的六个算力指标

选 GPU 卡的对话里，最耗时的往往不是挑型号，而是把参数表翻来覆去看完，还是不知道该买哪种。同一款卡，业务方觉得算力够了，运维同事盯着功耗和散热，采购在比单价。三个视角说的不是同一件事，讨论于是卡住。

问题出在多数参数表只给数字，不给含义。显存写 24GB 还是 48GB，跟你的任务能跑多大批量、能不能撑住并发，关系得自己换算；峰值算力写着多少 TFLOPS，跟真实推理吞吐之间，还隔着精度格式、算子实现和带宽瓶颈。这篇把买卡前必须看懂的六项指标逐条拆开，每一项说清它决定了什么、怎么核对，顺带列出几个最常见的误判。

一、选卡最容易卡在哪一步

先说结论：大多数选卡难题不是技术问题，是需求没量化。业务提”要做大模型推理”，没说要处理多大并发、多长上下文、响应时间压到多少。参数再详细，也没法直接对号入座。

另一种常见卡点是只看单卡参数，忽略整机视角。单卡跑得动，不代表装进机柜后还能跑得动——供电、散热、网络拓扑都会反过来限制实际可用性能。指标是要连着看的。

二、六项指标对照：决定了什么，怎么看

把六项指标放进同一张表看，逻辑会清楚很多。每一项都对应一个具体决策，核对方式也各不相同。

指标	决定了什么	怎么看	常见误判
显存容量	能装下多大的模型与批量，决定能不能跑、跑多并发	按模型权重 + KV Cache + 激活值估算，留两成余量	只看能装下模型，忽略长上下文的显存占用
显存带宽	决定推理是算力瓶颈还是搬运瓶颈	看算力与带宽的比值，长上下文生成阶段尤其吃带宽	认为峰值算力高就一定跑得快
算力精度	决定同一张卡能换算出多少有效算力	区分 FP16、BF16、FP8、INT8 的实际折算关系	把不同精度的 TFLOPS 数字直接横向比较
卡间互联	决定多卡是并行加速还是互相等待	看互联带宽与拓扑层级，确认集合通信走哪条通道	按卡数线性估算整体性能
整机功耗	决定机房供电、散热与长期运行成本	算单柜功率密度、确认供电冗余与散热方案	只比单卡功耗，不算机柜与配套
稳定性	决定产线能不能连续跑，不靠重启续命	看长时间满载压测的稳定性、驱动版本与故障率	把短时跑分当成长时可用性

表里每一行都对应一个真实的选型分歧点。显存容量最常被低估，因为长上下文的 KV Cache 会随并发一起膨胀，只看权重占用会算少一半。显存带宽决定推理阶段究竟卡在算还是卡在搬数据，生成一个 token 要把权重读一遍，带宽不够时加算力也没用。算力精度要统一口径再比，FP8 与 FP16 的标称数字不是同一件事。

卡间互联决定多卡场景能不能把优势吃满，模型并行对通信更敏感，拓扑不合理时加卡反而变慢。整机功耗关系到机柜供电与散热能不能接住。稳定性则决定这套配置是产线还是实验台，跑不满一周的方案不适合放生产。

三、落地路径：按优先级排指标

六项指标没法同时优化，得按业务场景排出优先级。下面三步是实际操作顺序。

1. 先定场景，再定指标权重

推理场景里带宽权重通常高于峰值算力，因为每生成一个 token 都要全量读权重；训练场景里算力与互联权重更高，因为梯度反向传播要反复读写参数。场景定清楚，六个指标自然分出轻重。

这一步要跟业务方一起做，把并发量、上下文长度、响应时间目标三项写成具体数字。数字写不出来，说明需求还没想清楚，后面所有选型都会反复返工。

2. 用同一套口径做横向对比

把候选卡放进一张表，统一按业务真实负载测试，而不是跑厂商给的跑分脚本。至少记录三项：同批次请求下的吞吐量、首字延迟与尾部延迟、以及连续运行时的功耗与温度曲线。

口径统一的意义在于让结论可复现。不同测试条件下的数字放在一起没有可比性，跨厂商对比尤其容易失真。

3. 先小规模验证，再决定批量采购

选型结论先在一到两台机器上跑真实业务验证几周，确认吞吐、稳定性与实际功耗都达到预期，再谈扩量。租用的方式在这里优势明显，测试成本低，换型号的代价也小。

四、成本与风险：容易被漏掉的部分

成本侧最容易漏的是配套开销。单卡价格之外，还要算机柜位、供电改造、散热改造、网络交换与运维人力。这些在小型部署里占比不高，扩到十几台以上就会变成主要支出。带宽指标高也意味着整机功耗更高，电费与制冷成本随之上升。

风险侧有三点值得提前确认。一是长上下文场景里显存不够，换卡不一定解决，得从并发或上下文长度上做取舍。二是互联拓扑不匹配导致的扩展困难，采购前就要问清机柜内的互联方案。三是二手或翻新卡的来源与保修，这类风险留给生产环境代价很高。此外还有交付周期，如果项目时间点很紧，配货周期短的渠道比参数领先但要等货的方案更稳妥。

五、怎么验收：谁负责，交什么

验收要留下能核对的东西，否则选型结论过三个月没人认。业务负责人交业务特征清单：日均请求量、峰值并发、平均与最长上下文长度、可接受的首字延迟与尾部延迟目标。这份决定指标权重怎么排。

技术负责人交候选卡的同口径对比数据：每张候选卡在真实负载下的吞吐量、P50 与 P95 延迟、满载功耗曲线，以及显存占用的实测峰值。机房或运维负责人交配套确认材料：机柜供电与散热能力、单机柜功率密度上限、互联拓扑说明。

采购或财务负责人交全口径成本表：单卡价格、配套改造、托管与带宽费用按同一周期折算。三类材料合起来能回答三个问题：这套配置能不能扛住业务峰值，机房接不接得住，一年的总投入是多少。

六、结论

回到开头那三个视角：业务方关心能不能跑，运维关心稳不稳，采购关心花多少。六项指标正好对应这三问——显存容量与精度决定能不能跑，稳定性决定稳不稳，带宽、互联与功耗共同决定花多少能跑稳。

具体怎么落地：算力选型与价格对比看GPU 算力租赁价格对比，推理场景的机型与部署方案看AI 推理部署算力方案，训练场景看大模型训练 GPU 算力方案，短期用卡或还没定选型看GPU 算力租赁。想按你们的真实业务负载做一版选型对照表，联系我们，电话 400-873-2750。