买卡前必须搞清的六个算力指标

买卡前必须搞清的六个算力指标 选 GPU 卡的对话里,最耗时的往往不是挑型号,而是把参数表翻来覆去看完,还是不知道该买哪种。同一款卡,业务方觉得算力够了,运维同事盯着功耗和散热,采购在比单价。三个视角说的不是同一件事,讨论于是卡住。 问题出在多数参数表只给数字,不给含义。显存写 24GB 还是 48GB,跟你的任务能跑多大批量、能不能撑住并发,关系得自己换算;峰值算力写着多少 TFLOPS,跟真实推理吞吐之间,还隔着精度格式、算子实现和带宽瓶颈。这篇把买卡前必须看懂的六项指标逐条拆开,每一项说清它决定了什么、怎么核对,顺带列出几个最常见的误判。 一、选卡最容易卡在哪一步 先说结论:大多数选卡难题不是技术问题,是需求没量化。业务提”要做大模型推理”,没说要处理多大并发、多长上下文、响应时间压到多少。参数再详细,也没法直接对号入座。 另一种常见卡点是只看单卡参数,忽略整机视角。单卡跑得动,不代表装进机柜后还能跑得动——供电、散热、网络拓扑都会反过来限制实际可用性能。指标是要连着看的。 二、六项指标对照:决定了什么,怎么看 把六项指标放进同一张表看,逻辑会清楚很多。每一项都对应一个具体决策,核对方式也各不相同。 指标 决定了什么 怎么看 常见误判 显存容量 能装下多大的模型与批量,决定能不能跑、跑多并发 按模型权重 + KV Cache + 激活值估算,留两成余量 只看能装下模型,忽略长上下文的显存占用 显存带宽 决定推理是算力瓶颈还是搬运瓶颈 看算力与带宽的比值,长上下文生成阶段尤其吃带宽 认为峰值算力高就一定跑得快 算力精度 决定同一张卡能换算出多少有效算力 区分 FP16、BF16、FP8、INT8 的实际折算关系 把不同精度的 TFLOPS 数字直接横向比较 卡间互联…

